文字行去重
按行去重,保留首次出現或統計出現次數
每行輸入一個條目,選擇保留首次或末次;需要核對重復頻率時,把輸出模式改為次數加內容。
範例
輸入
apple pear apple
示例結果
apple pear
保留首次時得到上述順序;保留末次時為 pear、apple。
技術細節與邊界
以處理後的整行作為 Map 的鍵,而不是模糊匹配。保留首次時按照首次出現順序輸出;保留末次時按照末次位置排序。開啓忽略大小寫只改變比較鍵,輸出仍採用被保留行的原始大小寫;空行也參與去重。
關於此工具
按整行去重,可保留首次或最後一次出現的行,並輸出出現次數。支持忽略大小寫與去除首尾空白,適合清理重復名單、日誌鍵和導出的文本列表。
適用場景
- 合併多份名單後去重。
- 看日誌裡哪些請求路徑出現次數最多。
操作步驟
- 把文字貼進輸入框。
- 選擇比對選項與輸出方式;結果自動更新。
注意事項
去重按整行比較,行首行尾的空白預設會先去掉再比。保留順序時以首次出現的位置為準;行內的差異(哪怕只差一個空格)都算不同的行。
常見問題
- 文本去重保留首次和保留末次有甚麼區別?
- 保留首次按最早出現的位置輸出,保留末次按最後出現的位置輸出。例如A、B、A共3行,前者得到A、B,後者得到B、A,結果都是2行;請根據清單順序或日誌覆蓋規則選擇保留方式。
- 忽略大小寫去重會修改原始文本嗎?
- 忽略大小寫只改變重復比較規則,輸出仍使用被保留行的原始大小寫。例如A與a這2行會被視為重復,最終保留1行;選擇保留首次還是末次,將決定輸出哪一種寫法,空行也會參與去重。
- 重復行統計按整行還是按部分關鍵詞比較?
- 重復行統計以處理後的整行為鍵,不會按局部關鍵詞模糊合併。例如abc1和abc2是2個不同條目,出現相同abc1兩次才計為2次;若啓用清理空白或忽略大小寫,應按調整後的整行理解結果。
相關工具