在线工具
Excel / CSV 表格去重(在线,按指定列)
Duaer 免费工具:上传 Excel 或 CSV,选择按哪几列判断重复,保留第一条,可忽略大小写和空格,显示删掉了多少行,文件不上传。
怎么用
- 把 Excel 或 CSV 拖进上面的框,或粘贴 CSV 后点「转换」。
- 勾选判断重复的列,例如只勾「手机号」;都不勾就按整行比较。
- 看状态里删掉了几行,点「下载 .xlsx」或「下载 .csv」。
去重规则
- 从上往下看,同一个键第一次出现的那行保留,后面的删掉。想保留最新的一条,先在 Excel 里按日期倒序排好再去重。
- 比较的是单元格显示的文字;勾选「忽略大小写和首尾空格」后,`A@x.com ` 和 `a@x.com` 算重复。
- Excel 文件读第一个工作表。
在 Duaer 里自动去重
在 Duaer 里用 Remove Duplicates 节点:选 Remove Items Repeated Within Current Input,再指定比较的字段;跨多次运行去重用 Remove Items Processed in Previous Executions。写法见 去重。
常见问题
去重后想保留最后一条怎么办?
Duaer 的去重工具保留先出现的那条。先在 Excel 里把表按时间倒序排,再用 Duaer 去重,留下的就是最新的。
能看到删掉的是哪些行吗?
Duaer 的去重工具只显示删掉的数量。要逐条核对,可以先用 Excel 的条件格式标出重复值。
同组
文件转换
Duaer 在线文件转换工具
Duaer 提供的免费表格与文件工具:格式互转、合并、拆分、去重、编码转换和 JSON 格式化,全部在浏览器里完成,文件不上传。
文件转换合并多个 Excel / CSV 文件(在线,按表头对齐)
Duaer 免费工具:一次选多个 Excel 或 CSV,按表头名称对齐列,合成一张表,可加「来源文件」列,文件不上传。
文件转换按列拆分 Excel 表格(在线,一个值一个工作表)
Duaer 免费工具:选一列(如部门、地区、门店),每个不同的值拆成一个工作表,也可以单独下载某一组的 CSV,文件不上传。
代码片段在 Duaer 里去重:本次重复和以前处理过的
Duaer 的 Remove Duplicates 能去掉这一批里重复的数据,也能记住以前处理过的,定时任务只处理新的。