这个工具是什么
文本去重工具把一段按行分隔的文本里重复的行去掉,只保留每种内容第一次出现的那一行,其余重复行不再输出,行的先后顺序保持不变。可以顺带去掉空行,也可以勾选忽略大小写后再比较,让「Apple」和「apple」视为同一行。
什么时候用它
- 合并多个来源的名单、关键词、编号时,去掉交叉重复的那部分。
- 清理日志或抓取输出里反复出现的行,只留首次记录。
- 整理邮箱列表、标签列表、SKU 列表,保证每行内容唯一。
- 从表格里复制出一列来查重复项:一列粘贴进来就是「每行一条」。
有什么限制
- 按整行精确比较,不做模糊匹配:两行只要差一个空格或全角半角不同就算不同,建议先清理行尾空格再粘贴。
- 勾选「忽略大小写」只影响重复判断,输出仍保留第一次出现那行的原始写法。
- 只按行处理:多列的 CSV 是整行参与比较,列顺序不同不会被认成重复;需要按某一列的值去重,请先用「表格转 JSON」把该列拆出来。
- 处理在浏览器本地完成,受浏览器内存限制,几十万行以上的超大文本可能卡顿。
常见问题
Q:去重后顺序会变吗? A:不会。输出保持每个内容第一次出现时的先后顺序,不做排序;需要排序请再用排序功能或代码处理。
Q:能按某一列去重吗? A:不能。这里按整行判断重复,需要按列的值去重时,先用表格转 JSON 或分列工具把目标列拆成单独的行。
Q:忽略大小写后输出的是大写还是小写? A:都不是。输出保留第一次出现那行的原样,忽略大小写只决定「这两行算不算同一条」。
Q:粘贴的内容会上传到服务器吗? A:不会。去重在你的浏览器里完成,内容不发送到服务器,也不需要注册登录。