文本行去重
按行去重,保留首次出现或统计出现次数
每行输入一个条目,选择保留首次或末次;需要核对重复频率时,把输出模式改为次数加内容。
示例
输入
apple pear apple
示例结果
apple pear
保留首次时得到上述顺序;保留末次时为 pear、apple。
技术细节与边界
以处理后的整行作为 Map 的键,而不是模糊匹配。保留首次时按照首次出现顺序输出;保留末次时按照末次位置排序。开启忽略大小写只改变比较键,输出仍采用被保留行的原始大小写;空行也参与去重。
关于此工具
按整行去重,可保留首次或最后一次出现的行,并输出出现次数。支持忽略大小写与去除首尾空白,适合清理重复名单、日志键和导出的文本列表。
适用场景
- 合并多份名单后去重。
- 看日志里哪些请求路径出现次数最多。
操作步骤
- 把文本粘进输入框。
- 选择匹配选项和输出方式;结果自动更新。
常见问题
- 看起来相同的两行为什么没有合并?
- 可能包含首尾空格、不同大小写或 Unicode 组合形式。按需开启去空白及忽略大小写;本工具不会自动做 Unicode 规范化。
- 能显示每一行出现了几次吗?
- 选择次数输出模式,结果以“次数、Tab、内容”逐行显示。比较规则仍遵循大小写和去空白选项。
- 去重是否会自动按字母排序?
- 不会。结果按被保留行的首次或末次位置输出;需要排序时使用相关的行排序工具。
- 忽略大小写后,结果会全部变成小写吗?
- 不会,该选项只影响比较键。输出保留首次或末次条目的大小写;如果勾选去首尾空白,输出也会去掉这些空白。
相关工具