文本行去重
按行去重,保留首次出现或统计出现次数
每行输入一个条目,选择保留首次或末次;需要核对重复频率时,把输出模式改为次数加内容。
示例
输入
apple pear apple
示例结果
apple pear
保留首次时得到上述顺序;保留末次时为 pear、apple。
技术细节与边界
以处理后的整行作为 Map 的键,而不是模糊匹配。保留首次时按照首次出现顺序输出;保留末次时按照末次位置排序。开启忽略大小写只改变比较键,输出仍采用被保留行的原始大小写;空行也参与去重。
关于此工具
按整行去重,可保留首次或最后一次出现的行,并输出出现次数。支持忽略大小写与去除首尾空白,适合清理重复名单、日志键和导出的文本列表。
适用场景
- 合并多份名单后去重。
- 看日志里哪些请求路径出现次数最多。
操作步骤
- 把文本粘进输入框。
- 选择匹配选项和输出方式;结果自动更新。
注意事项
去重按整行比较,行首行尾的空白默认会先去掉再比。保留顺序时以首次出现的位置为准;行内的差异(哪怕只差一个空格)都算不同的行。
常见问题
- 文本去重保留首次和保留末次有什么区别?
- 保留首次按最早出现的位置输出,保留末次按最后出现的位置输出。例如A、B、A共3行,前者得到A、B,后者得到B、A,结果都是2行;请根据清单顺序或日志覆盖规则选择保留方式。
- 忽略大小写去重会修改原始文本吗?
- 忽略大小写只改变重复比较规则,输出仍使用被保留行的原始大小写。例如A与a这2行会被视为重复,最终保留1行;选择保留首次还是末次,将决定输出哪一种写法,空行也会参与去重。
- 重复行统计按整行还是按部分关键词比较?
- 重复行统计以处理后的整行为键,不会按局部关键词模糊合并。例如abc1和abc2是2个不同条目,出现相同abc1两次才计为2次;若启用清理空白或忽略大小写,应按调整后的整行理解结果。
相关工具