文本行去重

文本行去重

按行去重,保留首次出现或统计出现次数

浏览器本地计算

每行输入一个条目,选择保留首次或末次;需要核对重复频率时,把输出模式改为次数加内容。

 

示例

输入

apple
pear
apple

示例结果

apple
pear

保留首次时得到上述顺序;保留末次时为 pear、apple。

技术细节与边界

以处理后的整行作为 Map 的键,而不是模糊匹配。保留首次时按照首次出现顺序输出;保留末次时按照末次位置排序。开启忽略大小写只改变比较键,输出仍采用被保留行的原始大小写;空行也参与去重。

关于此工具

按整行去重,可保留首次或最后一次出现的行,并输出出现次数。支持忽略大小写与去除首尾空白,适合清理重复名单、日志键和导出的文本列表。

适用场景

  • 合并多份名单后去重。
  • 看日志里哪些请求路径出现次数最多。

操作步骤

  1. 把文本粘进输入框。
  2. 选择匹配选项和输出方式;结果自动更新。

常见问题

看起来相同的两行为什么没有合并?
可能包含首尾空格、不同大小写或 Unicode 组合形式。按需开启去空白及忽略大小写;本工具不会自动做 Unicode 规范化。
能显示每一行出现了几次吗?
选择次数输出模式,结果以“次数、Tab、内容”逐行显示。比较规则仍遵循大小写和去空白选项。
去重是否会自动按字母排序?
不会。结果按被保留行的首次或末次位置输出;需要排序时使用相关的行排序工具。
忽略大小写后,结果会全部变成小写吗?
不会,该选项只影响比较键。输出保留首次或末次条目的大小写;如果勾选去首尾空白,输出也会去掉这些空白。

相关工具

文本行去重 · 按行去重,保留首次出现或统计出现次数
文本行去重 — 工具示意图 · dayeku.com