Linux join 命令:按共同字段连接文件、排序与检查缺失项
join 把两份文本文件中连接字段相同的行组合为一行。它根据字段中的键值匹配记录,与按行号横向组合的 paste 命令不同;默认以两份文件的第一字段为键,只输出匹配成功的记录。
两份输入必须先按连接键及相同的排序规则排列。若还要保留或检查没有匹配项的记录,可使用 -a 或 -v。先明确键在哪一列、字段如何分隔和是否允许重复键,再进行连接。
基本语法与字段规则
join [OPTION]... FILE1 FILE2
OPTION 是选项,FILE1 和 FILE2 是两份输入文件,语法占位词需替换后再运行。默认按空白划分字段,连续空白合并处理并忽略行首空白;输出通常以一个空格分隔,依次包含连接键、第一份文件其余字段、第二份文件其余字段。
字段编号从 1 开始。-t ':' 可把输入及输出分隔符改成冒号,此时每个冒号都参与分列,连续冒号会产生空字段。这里讨论的是简单文本字段,不能把带引号内分隔符或跨行字段的 CSV(逗号分隔值)文件直接当作相同格式。
下例使用 GNU Coreutils 的 join,其中 --check-order 是 GNU 扩展。发行版与实现可能不同,运行 join --version 和 man join 可核对本机支持情况。
完整示例:准备、排序、连接与检查缺失项
请一次运行整个代码块。它在子 Shell 的括号内,用 mktemp -d 建立新的临时目录,所有练习文件都在这个目录中创建,不覆盖当前工作目录里的文件;完成后最后一行显示练习位置,外部 Shell 的工作目录不变。查看结果后,仅清理自己确认不再需要的练习文件。
(
set -eu
labdir=$(mktemp -d)
cd "$labdir"
printf 'b Bob
a Ana
c Cat
' > names.txt
printf 'a 7
b 12
' > scores.txt
LC_ALL=C sort -k1,1 names.txt > names.sorted
LC_ALL=C sort -k1,1 scores.txt > scores.sorted
LC_ALL=C join --check-order names.sorted scores.sorted
LC_ALL=C join --check-order -a 1 names.sorted scores.sorted
printf 'a:Ana
b:Bob
' > users.txt
printf 'a:reader
b:writer
' > roles.txt
LC_ALL=C sort -t ':' -k1,1 users.txt > users.sorted
LC_ALL=C sort -t ':' -k1,1 roles.txt > roles.sorted
LC_ALL=C join --check-order -t ':' users.sorted roles.sorted
printf 'Lab files: %s\n' "$labdir"
)
姓名输入故意先放 b Bob,再放 a Ana、c Cat;排序后的第一字段为 a、b、c。第一条连接输出两行:a Ana 7 和 b Bob 12。键 c 在分数文件中不存在,所以默认不输出。
第二条连接增加 -a 1,除上述两行外,还输出 c Cat。这不是将缺失分数当作零,而是保留第一份文件中的未匹配记录;默认输出并不自动为缺失的分数补上一个固定占位列。
最后的冒号示例独立准备并排序用户、角色文件,结果为 a:Ana:reader 和 b:Bob:writer,各占一行。最后另有一行 Lab files: 开头的路径提示,它用于定位练习文件,不属于连接结果。
示例中 sort 排序和 join 都显式使用 LC_ALL=C,让排序与比较采用相同区域设置。键按字符串比较;01 与 1 是不同的键,不能因为业务上把它们看作相同数值,就只改用数值排序后直接连接。
常用选项与输出列
| 选项 | 作用 |
|---|---|
-t 字符 |
指定输入及输出的字段分隔字符。 |
-1 N / -2 N |
分别指定第一份、第二份文件的连接键字段编号。 |
-a 1 / -a 2 |
除匹配记录外,也输出指定文件的未匹配记录。 |
-v 1 / -v 2 |
仅输出指定文件的未匹配记录,抑制匹配记录。 |
-o 格式 |
明确指定要输出的字段及先后顺序。 |
例如在练习目录中运行 LC_ALL=C join --check-order -v 1 names.sorted scores.sorted,只会输出 c Cat;改为 -v 2 则没有输出,因为练习中的两个分数键都有姓名。没有未匹配项而输出为空,可以是正常结果。
-o '0,1.2,2.2' 中,0 表示连接键,1.2 是第一份文件的第二字段,2.2 是第二份文件的第二字段。配合 -a 1 -e 'NA',可将未匹配的第三行输出为 c Cat NA。使用 -a 1 -a 2 时,输出格式中的 0 还能为任一侧未匹配记录保留其键。
如果两份文件的键分别在第二列和第一列,可用 -1 2 -2 1;排序也必须分别使用相应字段,不能只改连接选项。默认空白字段规则与显式 -t 的规则不同,应核对实际文本,而不是只看屏幕上列的对齐。
排序、重复键与结果检查
两边应按各自连接键、兼容的分隔规则及相同的区域设置排序。完整示例没有行首空白,使用 sort -k1,1;一般的默认空白字段输入若需要忽略键的前导空白,应核对 sort -k1b,1 等与默认 join 相容的排序方式。冒号示例则在排序及连接两边都指定 -t ':'。
GNU 的 --check-order 能检查输入顺序。若检测失败,程序可能已经输出了部分行,不能把这些行当作完整结果。应修正排序并重新运行,既检查错误信息,也检查退出状态;不要通过关闭检查来掩盖数据顺序问题。
重复键会产生所有匹配组合。例如第一份文件有两条键为 a 的记录,第二份文件有三条,则该键可以产生六条输出,不是两两对应。需要一对一关系时,应先检查两边键的唯一性,再决定清理或汇总规则,不能为了减少结果行数而随意丢弃记录。
表头也不应被当作普通键连接。GNU 提供 --header 扩展,但其他实现不保证支持;应按本机手册处理表头,再确保数据行满足排序要求。输入的行尾、编码及键中的空格也要保持一致,避免看似相同的值无法匹配。
安全保存与排查问题
命令默认把结果写到标准输出,不修改原文件。需要保存时,选择不同且未使用的输出路径,例如在练习目录运行 LC_ALL=C join --check-order names.sorted scores.sorted > joined.txt,再用 cat joined.txt 核对。已有输出文件可能被覆盖;不要把结果重定向到任一输入文件,Shell 可能在读取前清空它。
成功退出状态为 0,错误为非零。输出为空时,先核对两边键是否确实相同、字段号和分隔符是否正确,再用 -v 1 或 -v 2 查看遗漏项。保存时如果命令失败,输出文件也可能留下不完整内容,应保留输入并重新生成验证后的结果。
常见问题
没有排序的文件能直接交给 join 吗?
通常必须先让两份文件按连接字段及相同区域设置排序。建立排序后的副本,再使用本机支持的顺序检查选项进行连接;不要把碰巧匹配的部分输出当作输入无需排序的证明。
手册与规范
GNU Coreutils 项目提供的 join 手册页说明 GNU 选项;POSIX(可移植操作系统接口)join 规范规定基本的匹配、排序和输出字段规则。可用扩展及实现差异以本机 man join 为准。




