CSV重复行怎么删除？先分清“重复”的含义

稳妥的做法不是看到相同字段就直接删行，而是先约定判定规则，正确解析CSV，保留原文件，再核对实际删除的记录。小型文件可以全程在本地处理。

精确重复和业务重复不是一回事

精确重复是整行内容完全相同。业务重复则需要判断：两行虽然不完全一致，但可能指向同一客户、商品、发票或事件。

按关键字段去重也要有明确规则，例如“订单编号相同，保留时间最新的一条”。只写“删除重复客户”，既没有说明比较哪些列，也没有说明冲突时保留哪条。

一、保留原文件，另存清理结果

不要覆盖源文件。规则理解有误、编码读取错误或后续导入失败时，原文件是核对和回退的依据。建议记录输入文件名、读取编码、数据行数、唯一行数和删除的记录号。

二、按CSV结构解析

CSV字段可以包含逗号、双引号和换行。例如 17,"Chen, Mei","第一行 第二行" 仍是一条三列记录。直接按逗号或换行切分会破坏字段结构，重复判断也会失真。

应使用能识别带引号字段和转义双引号的解析器。遇到格式错误时明确报告，不要猜测字段应移动到哪一列。解析后还要确认每条记录的列数与表头一致。

三、比较前是否整理空格，要提前约定

严格比较时，001 与 1、Ada 与 ada、销售部 与末尾多一个空格的 销售部 都不相同。

如果确实要忽略首尾空格，应把清理空格列为独立步骤，并记录改变的位置。不要把客户编号、邮政编码或商品编码自动转成数值，否则前导零可能丢失。

四、先检查，再决定是否删除

先运行只检查、不修改的步骤，查看重复数量和记录号。数量异常时，应重新检查分隔符、表头、编码和去重规则。

五、删除后留下变更记录

处理精确重复时，可以保留第一次出现的记录，省略后续完全相同的行。报告至少写明输入行数、输出行数、删除数量、删除记录号及其首次匹配位置。

六、重新解析并验证输出

• 表头和列数没有变化；
• 输出行数等于输入行数减去报告中的重复数；
• 结果中不再存在精确重复行；
• 带逗号、双引号或换行的字段仍能正确解析；
• 前导零和文本编号没有改变；
• 中文和其他非ASCII字符显示正常；
• 源文件没有被修改。

还应抽查第一条、最后一条、含中文的记录、跨行字段和带前导零的编号。重新解析只能证明结构有效，抽查可以发现结构合法但业务含义已经改变的问题。

什么时候不能自动删除

某某有限公司 与 某某公司，或者邮箱相同但订单历史不同的两条记录，都不属于精确重复。遇到近似匹配，应先确定去重键、格式统一规则和保留策略。有些情况更适合生成待人工复核清单。

常见问题

说明：本页、相关软件代码和文档由AI辅助生成，并通过浏览器自动测试。这里采用保守、可核对的处理方法，不承诺自动识别所有现实业务中的重复记录。