Linux comm 命令:比较排序文件的共有行与独有行

comm 逐行比较两份已经排序的文本文件,区分仅在第一份文件中的行、仅在第二份文件中的行,以及两边共有的行。默认输出三列;若只要交集或某一侧的差异,可用 -1、-2、-3 隐藏不需要的列。

默认输出用制表符区分第二、第三列。这里的“列”表示比较结果的类别,不是从原文本中提取某个字段。需要查看文本在原始位置上的修改及上下文时,可使用 diff 文本差异比较;排序后运行 comm 会丢失原始行序的信息。

基本语法与准备条件

comm [OPTION]... FILE1 FILE2

OPTION 表示选项,两份文件分别替换 FILE1、FILE2,语法占位词不能原样当成实际文件名。输入必须按当前比较所用的排序规则排列;comm 不会替你排序。一个文件参数可以写成 - 来读取标准输入,不要把两份输入都设成同一条标准输入流。

下面按 GNU Coreutils 的行为说明,使用 GNU 扩展 --check-order 明确检查顺序。不同发行版或实现的选项可能不同,可通过 comm --version 和 man comm 核对本机支持。

完整示例:排序后查看三类结果

先准备两份文件。在可写工作目录运行下面整个代码块。它新建 comm-demo 目录、写入练习数据,再创建排序副本后比较。若目录已存在,命令会停止,请换一个未使用的目录名,保留已有文件。

mkdir comm-demo && cd comm-demo && (
  set -e
  set -o noclobber
  printf 'banana\napple\n' > old.txt
  printf 'cherry\nbanana\n' > new.txt
  LC_ALL=C sort old.txt > old.sorted
  LC_ALL=C sort new.txt > new.sorted
  LC_ALL=C comm --check-order old.sorted new.sorted
)

输出依次是:apple 前面没有制表符,表示仅在旧文件中;banana 前面有两个制表符,表示两边共有;cherry 前面有一个制表符,表示仅在新文件中。整体输出仍按比较的排序顺序出现,并不是先列完第一类再列第二类。

终端中制表符显示成较宽空白,不同制表位设置会让外观不同。不要把空白宽度误当成数据中的固定空格数;确认类别时,应结合保留了哪些列来阅读。下面的文件示例继续在 comm-demo 目录中运行。

只输出共有的行。-12 同时隐藏第一列和第二列,留下原第三列:

LC_ALL=C comm --check-order -12 old.sorted new.sorted

结果只有 banana,不再带用于区分前两列的制表符。选项中的数字表示“隐藏哪一列”,不是选择第一、第二列。

只输出第二份文件独有的行。-13 隐藏第一列和共有列:

LC_ALL=C comm --check-order -13 old.sorted new.sorted

结果只有 cherry。相对地,-23 只保留第一份文件独有的行,这里就是 apple。

一个独立的共有行练习

下面的括号把操作放在子 Shell 中,在一个新的练习子目录内准备两份已按 C 区域设置排序的简单文本。完整运行即可,不会改写前面的排序副本;目录已存在时会停止。

(
  set -e
  set -o noclobber
  mkdir comm-common-demo
  cd comm-common-demo
  printf 'apple\nbanana\n' > first.txt
  printf 'banana\ncherry\n' > second.txt
  LC_ALL=C comm --check-order -12 first.txt second.txt
)

输出如下:

banana

只有 banana 两边都有,因此只输出这一行。这个结果描述的是排序后的完整文本行是否相同,不是按某个键字段配对;若需要按共同字段连接记录,应使用相应的字段连接工具。

主要选项与组合

选项 作用
-1 隐藏仅在第一份文件中的行。
-2 隐藏仅在第二份文件中的行。
-3 隐藏两份文件共有的行。
--check-order GNU 扩展,检查两份输入是否正确排序。

不加数字选项时显示全部三类;-12 留共有行,-13 留第二份文件独有行,-23 留第一份文件独有行。单独使用 -3 会保留两侧差异,此时来自第二份文件的行仍有一个前导制表符。若同时隐藏三列,即 -123,标准输出为空。

隐藏列后,剩余列的前导制表符数量会随之减少。因此不能把任何输出中的“一个制表符”都固定解释为第二份文件独有;应先确认前面的类别是否被隐藏,再按剩余列的位置判断。

区域设置、重复行与顺序错误

两份输入的 sort 排序与后续 comm 必须采用相同规则。示例在三条命令前分别设置 LC_ALL=C;不能在一种语言区域设置下排序后,随意换另一种设置比较。行尾格式、空格及大小写不同也可能让看似相同的行实际不同。

comm 不会自动把重复行转换成集合。若第一份文件含三行 apple,第二份文件仅一行,排序后比较会有一行共有的 apple,以及第一份文件多出的两行。仅仅看到共有行,并不表示两边出现次数完全相同。

如果目标是忽略重复次数、只比较不同值的集合,可先分别用 LC_ALL=C sort -u 生成新的去重排序副本,再以同样设置比较;如果重复次数代表实际事件数量,就应保留它们,先决定计数含义。不要为得到预期交集而直接丢弃重复记录。

使用 --check-order 检测到乱序时,应修正输入并重新运行。程序在报错前可能已输出部分内容,这些内容不能作为完整比较结果;不要关闭检查来掩盖问题。GNU 扩展在其他实现上不一定存在,基础的预排序条件始终需要满足。

保存结果与判断成功

命令默认只读取输入,结果写到标准输出。若要保存共有行,可在练习目录运行 LC_ALL=C comm --check-order -12 old.sorted new.sorted > common.txt,再用 cat common.txt 核对。选择不同且未使用的目标路径;已有文件可能被覆盖,也不要把输出重定向回任一输入文件,否则可能在读取前清空它。

成功时退出状态是 0,发生错误时为非零值。两份文件不同并不导致 comm 返回非零,这点与许多差异比较工具不同;共有行输出为空也可能只是两份文件没有交集。要判断有无差异,应检查需要的输出内容,不能只看命令是否成功。

常见问题

comm 默认的三列各表示什么?

第一列仅在第一份文件中,第二列仅在第二份文件中,第三列在两边共有。默认分别带零个、一个、两个前导制表符;隐藏列之后,应按剩余类别重新解读缩进。

手册与规范

GNU Coreutils 项目提供的 comm 手册页说明 GNU 选项;POSIX(可移植操作系统接口)comm 规范规定三列输出、隐藏列后的制表符及排序要求。本机可用选项以 man comm 为准。