文字行去重

文字行去重

按行去重,保留首次出現或統計出現次數

瀏覽器本地計算

每行輸入一個條目,選擇保留首次或末次;需要核對重復頻率時,把輸出模式改為次數加內容。

 

範例

輸入

apple
pear
apple

示例結果

apple
pear

保留首次時得到上述順序;保留末次時為 pear、apple。

技術細節與邊界

以處理後的整行作為 Map 的鍵,而不是模糊匹配。保留首次時按照首次出現順序輸出;保留末次時按照末次位置排序。開啓忽略大小寫只改變比較鍵,輸出仍採用被保留行的原始大小寫;空行也參與去重。

關於此工具

按整行去重,可保留首次或最後一次出現的行,並輸出出現次數。支持忽略大小寫與去除首尾空白,適合清理重復名單、日誌鍵和導出的文本列表。

適用場景

  • 合併多份名單後去重。
  • 看日誌裡哪些請求路徑出現次數最多。

操作步驟

  1. 把文字貼進輸入框。
  2. 選擇比對選項與輸出方式;結果自動更新。

常見問題

看起來相同的兩行為甚麼沒有合併?
可能包含首尾空格、不同大小寫或 Unicode 組合形式。按需開啓去空白及忽略大小寫;本工具不會自動做 Unicode 規範化。
能顯示每一行出現了幾次嗎?
選擇次數輸出模式,結果以“次數、Tab、內容”逐行顯示。比較規則仍遵循大小寫和去空白選項。
去重是否會自動按字母排序?
不會。結果按被保留行的首次或末次位置輸出;需要排序時使用相關的行排序工具。
忽略大小寫後,結果會全部變成小寫嗎?
不會,該選項只影響比較鍵。輸出保留首次或末次條目的大小寫;如果勾選去首尾空白,輸出也會去掉這些空白。

相關工具

文字行去重 · 按行去重,保留首次出現或統計出現次數
文字行去重 — 工具示意圖 · dayeku.com