Linux awk 命令:字段提取、条件筛选与数值合计

awk 把输入分成记录和字段,按条件提取列、筛选行或计算合计,适合处理结构明确的文本和日志。默认一行是一条记录,连续空格或制表符用于分隔字段;当前记录是 $0,第一列是 $1,字段数是 NF,累计记录编号是 NR。

使用前先确认分隔规则、表头和数值格式。awk 能自动进行数值转换,但这不等于输入已经有效;缺失值、表头或任意字符串不能未经检查就当成零参加合计。默认命令输出结果,不会自动改写输入文件。

基本语法与字段的含义

awk [OPTION]... 'pattern { action }' [FILE]...

OPTION、pattern、action 和 FILE 是占位符,分别对应选项、匹配条件、动作和输入文件。匹配条件成立时执行花括号里的动作;省略条件时对每条记录执行,省略动作时通常打印匹配的整条记录。没有输入文件时,从标准输入读取,例如 printf 'Ana 12\n' | awk '{print $2}' 输出 12。

固定 awk 程序应放在单引号中,让 $1、$2 由 awk 解释,而不是先被 Shell 当成位置参数展开。空白分隔的默认规则会忽略行首和行末的空白,并把中间连续空白视为分隔区域;$0 仍表示原记录文本,不是只含第一列。

NR 是所有已读输入的累计记录数;FNR 是当前文件内的记录编号。一次处理多个带表头的文件时,NR > 1 只跳过整个输入的第一条记录,不能当成“跳过每个文件的表头”。如果改变了记录分隔符,记录也不一定等于一行。

完整练习:字段提取、条件筛选与合计

下面整个代码块需要 Bash、mktemp 和支持所用功能的 awk。错误信息使用 /dev/stderr,可在 GNU gawk 环境验证;其他实现应先确认该路径或等效错误输出方式。它在子 Shell 内创建新的临时目录,准备所有输入,不覆盖当前工作目录里的文件,也不改变外层 Shell 的工作目录。最后会打印练习路径,核对后只清理确认属于本次练习的资料。

(
set -eu
labdir=$(mktemp -d)
cd "$labdir"
printf 'name amount\nAna 12\nBob 7\nCara 11\n' > amounts.txt
awk 'NR > 1 {print $2}' amounts.txt
awk 'NR > 1 && $2 >= 10 {print $1}' amounts.txt
awk 'NR > 1 {sum += $2} END {print sum}' amounts.txt
printf 'Dana missing\n' >> amounts.txt
awk 'NR == 1 {next}
     NF != 2 || $2 !~ /^[0-9]+([.][0-9]+)?$/ {
         print "invalid row " NR ": " $0 > "/dev/stderr"
         bad = 1; next
     }
     {sum += $2}
     END {if (bad) exit 1; print sum}' amounts.txt || test "$?" -eq 1
printf 'Lab files: %s\n' "$labdir"
)

第一次命令跳过表头,输出第二列的 12、7、11,每个值占一行。第二次命令用 && 同时要求“不是表头”和“金额至少为 10”,因此输出 Ana、Cara。第三次命令累加有效的三条练习数据,在 END 中输出 30。

追加 Dana missing 后,文件有五行。验证规则应把 invalid row 5: Dana missing 写到标准错误,且不输出一个看似成功的合计。NF != 2 检查字段数量,!~ 检查第二列不符合数值正则,bad 保存错误标记,next 跳过当前记录的后续规则;最终的 END 根据标记返回失败,而不是把无效金额悄悄当零。

这里允许的数值格式是一个或多个数字,后面可带小数点及一个或多个数字,因此接受 12、12.5、0,但不接受负号、指数形式、.5 或 12.。这是本例的数据规则,不代表所有合法数字格式。需要负数、其他小数点形式或区域化数据时,应先定义规则再修改验证,不能仅靠数值比较推断有效性。

末尾的 || test "$?" -eq 1 允许演示中预期的验证失败继续到打印目录路径;它不是生产脚本里的成功判据。外部程序若要依赖校验结果,应直接检查验证命令的状态,并在失败时停止后续处理。后续查看 amounts.txt 时,应进入最后打印的实际目录;此时文件已包含那条无效数据。

分隔符、变量与开始和结束规则

选项或规则 含义
-F separator 设置输入字段分隔符 FS;复杂分隔规则可按正则处理,不能一律当成普通字符串。
-v name=value 在程序及 BEGIN 执行前给 awk 变量赋值。
BEGIN 读取输入记录前执行,适合初始化。
END 输入处理结束后执行,适合输出合计,也要根据错误标记决定是否允许输出。

例如 printf 'Ana:12\n' | awk -F: '{print $2}' 输出 12。-F 控制输入拆分,OFS 则控制 print 输出多个表达式时的分隔符;二者不是同一个设置。printf 'Ana 12\n' | awk 'BEGIN {OFS=":"} {print $1,$2}' 会输出 Ana:12。

printf 'Ana 12\nBob 7\n' | awk -v limit=10 '$2 >= limit {print $1}' 输出 Ana。从 Shell 传值时可用 -v limit="$limit" 这一结构,先确认 Shell 变量已经设置且格式有效;不要把不可信数据直接拼进 awk 程序。-v 的字符串仍有转义处理,不应把它当成任意字节的透明传输方式。

数值、CSV 与实现差异

先验证,再计算。awk 在需要数值时可能把非数值字符串转换成零,带数字开头的字符串也可能只取数字前缀;比较还可能因值的类型而变成字符串比较。因此演示前半段的简单筛选和合计只针对已知有效的三条输入,不能直接替代后半段的格式检查。空输入、仅表头的文件、空行和多余字段应根据实际业务明确接受或拒绝。

本例没有为“必须至少有一条有效数据”增加额外规则,仅有表头时不会被视作格式错误,未经赋值的 sum 也未必显示为明确的零。普通浮点计算与默认打印格式不保证财务级精度;金额结算等用途应另行选择数值表示与舍入规则,不要只看演示中的整数合计正确就推断所有小数都精确。

逗号拆分不等于 CSV 解析。awk -F, 不会正确理解引号内的逗号或跨行字段。应使用能处理该格式的解析器;提供 --csv 的 gawk 版本可使用其专门 CSV 模式,但不能把这个扩展假设为所有 awk 都支持。实际输入若是 JSON 或其他结构化格式,也应选适合该格式的工具。

Linux 上的 awk 可能指向 gawk 或其他实现。GNU 扩展、错误输出特殊路径、区域设置和字符处理应结合本机说明确认;可以通过 man awk 查阅当前实现。需要固定区域规则时,可按具体命令设置 LC_ALL=C 来检查相应数据,但不能用来保证任意语言文本都按 Unicode 语义处理。不要将输出重定向到同一个输入路径,Shell 可能先清空原文件;需要保存时选择新的文件再核对。

常见问题

awk 的 $0 和 $1 有什么区别?

$0 是当前整条记录,$1 是按当前字段规则拆分后的第一字段。默认逐行处理时,$0 是整行;指定不同记录或字段分隔规则后,应按新的规则理解。

规范与本机手册

Debian 官方提供的 GNU gawk 手册页说明字段、类型转换、规则及扩展;POSIX awk 规范定义标准选项与语言行为。脚本跨系统使用前,应核对实际实现和数据格式。