awk 含义: Aho, Weinberger & Kernighan interpreted language,是由这两个人共同发明的。
这不是一个工具,「这是一个伟大、有着奇怪的名字的语言」。
发音:awk [ɔk]
基本用法
awk '{ print }' /etc/passwd # 相当于 "cat /etc/passwd"
awk '{ print $0 }' /etc/passwd # 与前面一行语句等价
- 花括号里的 print 函数用于将匹配到的每一行逐行打印出来
- print 和 print $0 等价
Multiple Fields
awk -F":" '{ print "username: " $1 "\t\tuid:" $3 }' /etc/passwd # 打印第一列和第三列的字符串,并以制表符分隔
awk -F":" ' \
BEGIN{ \
print "username\tuid" \
}; { \
print $1 "\t" $3 \
}' /etc/passwd # 同上,但是将 username 和 uid 放置表头打印,看起来更美观
- -F 参数表示以 “:” 作为分隔符
- BEGIN 表示会在匹配第一行之前执行,因此很适合用作打印表头
Block(pattern-action,man-page 的说法)
如你所见,AWK 单引号内的脚本被称作「AWK Script」,脚本内由一个或多个花括号对组成,每一个花括号被叫做 Block。像「基本用法」里的单个 Block 是最简单的 Block。AWK 是按行处理文本的,每拿到一行字符串,都会将 AWK Script 内的 Block 按序匹配,匹配成功时则执行 Block 内的代码。
awk ' \
BEGIN { \
FS = ":"; \
count = 0; \
print "username\tuid"; \
} \
{ \
count += 1; \
print $1 "\t" $3 \
} \
END { \
print "Totals:" count \
}' /etc/passwd
awk -f block.awk /etc/passwd # 如果你嫌在命令行里输入麻烦,还可以将脚本以文件的方式执行
以上代码共有三个 Block,awk 每拿到一行字符串都会从前到后匹配这三个 Block,如若匹配上,则执行里面的代码。BEGIN 里定义了分隔符 FS(Field Seperator),这和之前的「Multiple Fields」里的 -F 选项是完全等价的效果。此外还定义了一个记录行数的变量 count,第二个 Block 没有定义任何条件,因此从第一行到最后一行都会被匹配成功!END 行最后输出行数。
awk 会在待匹配的文本第一行之前和最后一行之后各插入一行空行,BEGIN 和 END Block 则只有当分别匹配到这两行空行的时候才会执行。BEGIN 和 END 就好像语法糖一样,只是执行的时间一个最靠前,一个最靠后,其它与正常的 Block 并没有任何区别
正因为 BEGIN 这样的特性,因此你可以将变量定义、打印表头等初始化工作放在这里;END 适合用来做一些总结性的操作,打印行数、总字符数、行平均长度等等。
带条件的 Block
awk ' \
BEGIN { x=0 } \
/^$/ { x=x+1 } \
END { print "I found " x " blank lines. :)" }' file
以上代码用于打印文件中所有的空行,如果你是 JSer 或者 Perl-er,可能会对 /^$/ 比较熟悉,借鉴关系链:JavaScript <- Perl <- awk。awk 可以说是这套正则表示的鼻祖。
其实在每一个 Block 之前都存在一个隐含条件,无条件的 Block 会匹配所有文件中存在的行(不包括 awk 插入的两行空行)。当 Block 被附加条件后,只有当条件为真时才会执行。
awk '( $1 == /[0-9]+\.[0-9]*/ ) && NR%3 { print }' file
以上仅仅打印以浮点数开头且行数不为 3 的倍数的行,由于 AWK Script 是弱类型的,因此像 0 会被判为 false。在 awk 里,Record 就是行,因此 NR 表示 Number of Record。
在 AWK Script 中,所有变量的类型都是 string,当对 string 进行算术运算(比如加减乘除)时,awk 会将string 解析为 number,如果不是合法的 number,则视为 0;然后再进行算术运算。
为了更好的表现 BEGIN 的含义,欣赏下面的代码:
awk ' !/^$/ && NR <= 100 { \
if (NR == 1) { \
FS = ":"; \
} \
# 过滤掉注释和 NF 小于 3 的行 \
if (!($1 ~ /^#/) || NF >= 3) { \
print $1 ":" $3; \
} \
}' /etc/passwd
整个代码只有一个 Block,这个 Block 只有在非空的行以及行数小于 100 里才能执行,当 awk 拿到第一行(NR == 1)时,定义了分隔符 FS(Field Seperate),这原本是在 BEGIN Block 中完成的(因为这个例子中的第一个 if 每次都会被执行,浪费性能)。第二个 if 过滤掉注释语句且 NF(Number of Field)大于 3 才执行,在 awk 中,NF 表示每一行被 FS 分隔后得到的 Field 的数量,相当于 NF = line.split(FS)。这个例子说明了 BEGIN 和 END 仅仅是语法糖,在本质上和普通的 Block 没有任何区别。像 NF 和 FS 这一类的是 awk 的自带变量,变量可以出现在 Block 的匹配条件里,同时也可以修改自带变量的值来改变 awk 的行为。
函数
awk 靠 AWK Script 脚本工作,为了方便,awk 提供了一些内置函数,以及允许你定义函数的功能。下面是一个找出 /etc/passwd 文件中第三列最大的数所对应的行。
function find_max(n1, n2)
{
if (n1 > n2) {
return n1;
}
return n2;
}
BEGIN {
FS = ":";
max = -1;
}
{
if (NF < 3) {
next
}
# 第一行
max = $3;
mR = NR;
while (getline == 1) {
_max = find_max(max,$3);
if (max < _max) {
max = _max;
mR = NR;
}
}
}
END {
print "max is:" max;
print "NR is:" mR;
}
然后执行 awk -f ./max.awk /etc/passwd
。
find_max 是自定义函数,调用的时候要带上圆括号,像 getline 和 next 则是内建函数,内建函数的调用不需要带圆括号。其中 next 用来跳过本次执行,主要用于处理文件开头的一些注释;getline 用来获取下一行,getline 会把下一行赋值给 $x(x 代表数字)。如果没有下一行就返回 0,while 循环结束。getline 改变了 awk 的行为,awk 从开始到结束只执行了一次 Block。
还有一些数学函数(如 sin、cos、sqrt)以及字符串处理函数(length、sprintf 格式化字符串)属于内建函数。
总结
awk 可玩性极强,借助 AWK Script,你可以用它模拟其它常见的文本处理工具(谁又会这么做呢?)