Linux 文本处理练习:grep、sort、uniq、cut 与 wc 的组合

在 Linux 中,grep 筛选匹配行,sort 排序,uniq 合并相邻重复行,cut 提取分隔字段,wc 统计换行、单词或字节。这些命令通常把结果送到标准输出,按顺序连接即可完成小型文本处理。本课使用已知的五行数据逐步核对结果,并通过只增加一条记录来观察计数变化。

命令之间用管道传递数据的原理,可参见Shell 变量与执行流程(英语)。这里以 Bash、GNU grep 与 GNU Coreutils 为基础,重点区分“匹配哪一行”“按什么单位计数”和“结果是否改写原文件”。

准备五行示例数据

以普通用户在主目录中新建 linux-course-12-practice。同名目录若已存在,请换名并调整路径。逐条执行命令,mkdir 或 cd 失败就停止,不要继续写入文件;pwd 应确认当前位置是刚建立的空目录。后面使用的 > 通常会清空已有目标,因此不能在存有旧资料的目录中直接重做练习。

mkdir ~/linux-course-12-practice
cd ~/linux-course-12-practice
pwd

核对位置后,创建 records.txt。每行由名称、冒号与状态组成,printf 中的 \n 写入换行。重定向把输出存入文件,接着 cat 把内容显示出来:

printf 'alpha:ready\nbeta:waiting\nalpha:done\ngamma:ready\nbeta:ready\n' > records.txt
cat records.txt

应看到 alpha:ready、beta:waiting、alpha:done、gamma:ready、beta:ready 这五行,顺序与命令中的输入一致。后面的例子都使用这个文件,不必分别造另一套数据。

用 grep 查找匹配行

grep 输出符合模式的整行,-n 显示该行在输入文件中从 1 开始的行号。先查询包含 ready 的行:

grep -n 'ready' records.txt

预期得到三行,waiting 不包含 ready:

1:alpha:ready
4:gamma:ready
5:beta:ready

这条查询匹配的是“包含 ready”,并不是“状态字段严格等于 ready”的通用校验;如果以后数据变化,模式也要按实际条件调整。GNU grep 默认使用基本正则表达式,点号、方括号等字符可能有特殊意义。只想按字面字符串查找时可用 grep -F;给模式加 Shell 引号并不会自动把正则变成字面匹配。

常规情况下,找到匹配的退出状态为 0,没有匹配为 1,发生错误为 2。因而“没有输出”可能是未匹配,也可能是路径、权限或模式有问题,应同时看错误信息和退出状态。这里讨论的是示例的普通模式;-q 等选项对某些错误情形的退出规则另有约定。

用 cut 提取字段,用 wc 计数

cut -d: -f1 把冒号作为分隔符,提取从 1 编号的第一个字段。本例留下的是名称,不是整行记录:

cut -d: -f1 records.txt
alpha
beta
alpha
gamma
beta

cut 适合这种简单分隔格式。它不会把引号中的分隔符、转义或字段内换行当成完整 CSV 语法解析;复杂 CSV 应使用相应解析器。另外,没有分隔符的行默认也可能原样输出,不能把本例当成输入格式验证。

用 wc -l 检查 records.txt,应显示计数 5 和文件名:

wc -l records.txt

严格来说,wc -l 统计换行符。这里每条记录都以换行结束,所以结果等于五行;若文件末尾有一段没有换行的文字,视觉上的最后一行不会额外增加这个计数。

wc -w 按空白分隔的词计数,不是按冒号分字段;本例每条记录没有空白,因此每条通常算一个词。wc -c 统计字节,GNU wc -m 统计当前语言环境下的字符。中文等多字节文本的字节数与字符数可能不同,字符计数也不等于屏幕宽度;处理编码时应核对 locale 与输入编码是否一致。

先确定重复单位,再连接 sort 与 uniq

sort 排列各行,uniq 只合并相邻的相同行。名字若散落在不同位置,直接 uniq 不会把它们全部合并。管道符 | 把上一命令的标准输出交给下一命令的标准输入;下面先取名称,再排序,再计数:

cut -d: -f1 records.txt | sort | uniq -c

结果应是 alpha 两次、beta 两次、gamma 一次。示例中数字前面的空格用于对齐,实际空格和排序可能随实现及语言环境变化:

      2 alpha
      2 beta
      1 gamma

如果直接对完整 records.txt 运行 sort | uniq,alpha:ready 与 alpha:done 是不同的行,仍会分别保留。应先决定要比较“名称”还是“整条记录”,再选择字段。sort 还受 locale 的排序规则影响,跨环境对比时应核对 locale;不能把一个系统的顺序视为所有语言环境都相同。

按目标选工具并验证变化

目标 工具 关键条件
筛选匹配行 grep 区分正则表达式与字面字符串
排列行顺序 sort 核对排序依据和 locale
合并重复或统计频次 uniq 相同值必须相邻
提取简单分隔字段 cut 指定分隔符与字段编号
统计换行、词或字节 wc 用选项明确计数对象

结果为空或不符合预期时,先用 cat records.txt 检查输入,再把长管道拆成各步运行,依次核对模式、分隔符与排序。只检查最后一段的结果,可能漏掉前一段的错误。

接下来只改变一个输入:在原五行后追加一条 beta:ready。>> 表示追加,beta 应由 2 次增加到 3 次,总换行数由 5 增至 6。随后覆盖写回本课原始五行,再次统计:

printf 'beta:ready\n' >> records.txt
cut -d: -f1 records.txt | sort | uniq -c
wc -l records.txt
printf 'alpha:ready\nbeta:waiting\nalpha:done\ngamma:ready\nbeta:ready\n' > records.txt
cut -d: -f1 records.txt | sort | uniq -c
wc -l records.txt

追加后的计数应为 alpha 2、beta 3、gamma 1,总共 6 行;恢复后应回到 alpha 2、beta 2、gamma 1,总共 5 行。覆盖操作只能用于本课新建的 records.txt,不要套用到已有业务文件。如果此前改过练习数据,应先保存想保留的内容,而不是把这条恢复命令视为通用撤销。

没有重定向或写入选项时,本课的筛选、排序与计数不会改写原文件正文。要保存结果,应使用另一个明确的目标文件;不要直接把读取 records.txt 的管道重定向回 records.txt,因为 Shell 可能在命令读取前就清空它。

官方文档

匹配规则与退出状态见 GNU grep(1)。其余选项可核对 man7 托管的上游手册:sort(1)、uniq(1)、cut(1) 和 wc(1)。