Linux uniq 命令:合并相邻重复行、计数与全文件去重

uniq 用来合并相邻的重复行,也能统计每一组连续相同行的出现次数。要统计或去除整个文件中的重复值,通常先用 sort 命令排序,让相同行排在一起,再交给 uniq。

相同内容若被其他行隔开,单独运行 uniq 不会将它们合并。排序会改变原始行序,因此处理事件时间线或日志时,应先确定自己需要的是“连续重复记录”还是“整个文件里的相同值”,再决定是否排序。

基本语法与输入输出

uniq [OPTION]... [INPUT [OUTPUT]]

OPTION 表示选项;不写 INPUT 或将其写成 - 时,从标准输入读取;不写 OUTPUT 时,结果写到标准输出,也就是通常显示在终端中。不带筛选选项时,每组相邻的相同行只保留第一行。上面是语法说明,方括号和占位词不应直接复制为实际文件名。

以下操作适用于提供 sort 和 uniq 的命令行环境,示例按 GNU Coreutils 的行为说明。不同发行版的实现或扩展选项可能不同,可先运行 man uniq 查看本机手册。

准备文件并运行常用示例

合并相邻的重复行。先在可写的工作目录运行下面这段完整示例。它创建新的 uniq-demo 目录和两个小型文本文件,再处理事件文件;若目录已存在,命令会停止,请换一个未使用的目录名,保留已有文件。

mkdir uniq-demo && cd uniq-demo && (
  set -e
  set -o noclobber
  printf 'login\nlogin\nlogout\nlogin\n' > events.txt
  printf 'apple\nbanana\napple\ncherry\nbanana\napple\n' > names.txt
  uniq events.txt
)

结果依次为 login、logout、login,各占一行。开头两个连续的 login 合并为一个,最后的 login 因为被 logout 隔开而保留。命令只读取 events.txt,不会改写原文件;后续文件示例继续在 uniq-demo 目录中运行。

统计整个文件中的重复值。排序将相同名字聚集后,-c 在每行前面加上该组的行数:

LC_ALL=C sort names.txt | LC_ALL=C uniq -c

上述文件会得到 3 apple、2 banana、1 cherry,数字前可能有用于对齐的空格。这统计的是每个值的出现次数,并非“重复次数减一”。输入文件保持原样,输出顺序按排序结果排列。

只列出重复的值。使用 -d 时,每个至少出现两次的组只输出一行:

LC_ALL=C sort names.txt | LC_ALL=C uniq -d

结果是 apple 和 banana,各占一行;仅出现一次的 cherry 不会输出。若把 -d 换成 -u,这里仅输出 cherry。若只需所有不同值各一份,则使用排序后不加 -d 或 -u 的 uniq。

相邻重复与全文件重复有什么不同

下面的独立示例可以直接运行,无须先准备文件。最后一行 apple 和开头两个相同的行不相邻,因此它们属于不同的组:

printf 'apple\napple\nbanana\napple\n' | uniq -c

示例输出如下,数字前的对齐空格因实现而异:

2 apple
1 banana
1 apple

此时 uniq -d 只输出第一组的 apple;uniq -u 则输出单独成组的 banana 和最后一个 apple。这说明 -u 判断的是当前相邻分组,并不代表该值在整个文件里只出现过一次。只有先把所有相同值排到一起,才适合用它查找全文件仅出现一次的值。

如果必须保留第一次出现的先后顺序,sort | uniq 会改变这个顺序,应采用能够记住已见内容的其他处理方法。需要统计同一秒内的日志或某个字段时,也应先决定比较整个行还是提取出的字段,避免把不同事件误当作重复内容。

主要选项与比较范围

选项 含义与适用范围
-c 在每个输出组前显示连续出现的总行数;只出现一次的组也会计数。
-d 只输出至少含两行的相邻重复组,每组保留一行。
-u 只输出恰好含一行的组,排除重复组。
-i GNU 扩展:比较时忽略大小写,输出保留组内第一行的原文字形。
-f N 比较时跳过开头 N 个字段。字段按空白及后续非空白内容划分,不是任意逗号分隔的列。

-f N 只改变比较范围,不会从输出中删除这些字段。例如相邻的 01 ready 和 02 ready 在 uniq -f 1 下会合并,输出第一行 01 ready。若跳过的字段数超过某行的字段数,其比较部分视为空字符串。涉及字段或忽略大小写时,事先排序也需要与实际比较规则配合;单纯按整行排序未必能把所有需要合并的记录放在一起。

区域设置与安全保存结果

区域设置会影响 sort 的排序规则,也可能影响字符、空白和大小写的解释。需要按字节进行可复现的文本比较时,上面的管道对两条命令分别设置了 LC_ALL=C;只在 sort 前面写这个变量,不会自动把同一设置传给管道另一端的 uniq。这套规则不适合表达所有语言的自然排序或大小写关系。

需要保存结果时,选择不同且未使用的输出文件名,例如 uniq events.txt events-unique.txt,再用 cat events-unique.txt 检查内容;已有输出文件可能被覆盖。不应把输入文件同时作为输出文件,也不要运行 uniq events.txt > events.txt:重定向可能在读取前清空输入文件。POSIX(可移植操作系统接口)uniq 规范也没有规定输入、输出为同一文件时的结果。保留原件,先验证新文件再决定如何替换。

成功时退出状态为 0,错误时为非零值。没有找到重复组而输出为空,不等于命令执行失败;如果提示文件不存在,应检查当前目录和文件名。管道运行时还应检查前一条命令的错误信息,因为后一条命令成功并不能证明输入完整。

常见问题

为什么 uniq 没有删除被其他行隔开的重复记录?

它仅比较相邻行,不会记住文件前面出现过的所有内容。若不需要保留原顺序,可先排序;若顺序重要,则应采用保留首次出现顺序的去重方法。

手册与规范

GNU Coreutils 项目提供的 uniq 手册页说明 GNU 选项;上面的 POSIX 规范用于核对可移植行为。安装版本支持哪些扩展,以本机 man uniq 为准。