文字行去重
按行去重,保留首次出現或統計出現次數
每行輸入一個條目,選擇保留首次或末次;需要核對重復頻率時,把輸出模式改為次數加內容。
範例
輸入
apple pear apple
示例結果
apple pear
保留首次時得到上述順序;保留末次時為 pear、apple。
技術細節與邊界
以處理後的整行作為 Map 的鍵,而不是模糊匹配。保留首次時按照首次出現順序輸出;保留末次時按照末次位置排序。開啓忽略大小寫只改變比較鍵,輸出仍採用被保留行的原始大小寫;空行也參與去重。
關於此工具
按整行去重,可保留首次或最後一次出現的行,並輸出出現次數。支持忽略大小寫與去除首尾空白,適合清理重復名單、日誌鍵和導出的文本列表。
適用場景
- 合併多份名單後去重。
- 看日誌裡哪些請求路徑出現次數最多。
操作步驟
- 把文字貼進輸入框。
- 選擇比對選項與輸出方式;結果自動更新。
常見問題
- 看起來相同的兩行為甚麼沒有合併?
- 可能包含首尾空格、不同大小寫或 Unicode 組合形式。按需開啓去空白及忽略大小寫;本工具不會自動做 Unicode 規範化。
- 能顯示每一行出現了幾次嗎?
- 選擇次數輸出模式,結果以“次數、Tab、內容”逐行顯示。比較規則仍遵循大小寫和去空白選項。
- 去重是否會自動按字母排序?
- 不會。結果按被保留行的首次或末次位置輸出;需要排序時使用相關的行排序工具。
- 忽略大小寫後,結果會全部變成小寫嗎?
- 不會,該選項只影響比較鍵。輸出保留首次或末次條目的大小寫;如果勾選去首尾空白,輸出也會去掉這些空白。
相關工具