文本行去重

文本行去重

按行去重,保留首次出现或统计出现次数

浏览器本地计算

每行输入一个条目,选择保留首次或末次;需要核对重复频率时,把输出模式改为次数加内容。

 

示例

输入

apple
pear
apple

示例结果

apple
pear

保留首次时得到上述顺序;保留末次时为 pear、apple。

技术细节与边界

以处理后的整行作为 Map 的键,而不是模糊匹配。保留首次时按照首次出现顺序输出;保留末次时按照末次位置排序。开启忽略大小写只改变比较键,输出仍采用被保留行的原始大小写;空行也参与去重。

关于此工具

按整行去重,可保留首次或最后一次出现的行,并输出出现次数。支持忽略大小写与去除首尾空白,适合清理重复名单、日志键和导出的文本列表。

适用场景

  • 合并多份名单后去重。
  • 看日志里哪些请求路径出现次数最多。

操作步骤

  1. 把文本粘进输入框。
  2. 选择匹配选项和输出方式;结果自动更新。

注意事项

去重按整行比较,行首行尾的空白默认会先去掉再比。保留顺序时以首次出现的位置为准;行内的差异(哪怕只差一个空格)都算不同的行。

常见问题

文本去重保留首次和保留末次有什么区别?
保留首次按最早出现的位置输出,保留末次按最后出现的位置输出。例如A、B、A共3行,前者得到A、B,后者得到B、A,结果都是2行;请根据清单顺序或日志覆盖规则选择保留方式。
忽略大小写去重会修改原始文本吗?
忽略大小写只改变重复比较规则,输出仍使用被保留行的原始大小写。例如A与a这2行会被视为重复,最终保留1行;选择保留首次还是末次,将决定输出哪一种写法,空行也会参与去重。
重复行统计按整行还是按部分关键词比较?
重复行统计以处理后的整行为键,不会按局部关键词模糊合并。例如abc1和abc2是2个不同条目,出现相同abc1两次才计为2次;若启用清理空白或忽略大小写,应按调整后的整行理解结果。

相关工具

文本行去重 · 按行去重,保留首次出现或统计出现次数
文本行去重 — 工具示意图 · dayeku.com