awk
一个强大的工具，可以同时处理行和列，好多C语言内置函数可以集成进来，非常灵活。基本模式是awk 'BEGIN{print "start"} pattern {commands} END {print "end"} file'，其中BEGIN和END可选，就是开始执行真正的循环之前和之后执行的操作。
简介
有几个特殊的变量：
-
NR：number of current row，当前行号； -
NF：number of fields，总共有多少个字段，默认是按空格分字段的； -
$0：当前行段内容； -
$1：第一个字段的内容
执行逻辑是：
- 执行BEGIN块里命令
- 读取一行内容（文件或stdin），匹配模式，若匹配成功，执行commands；匹配不成功，不执行；如果没有模式，默认都执行；重复这一步
- 执行END块里命令
下面还是以student.csv为例:
| name | gender | score | grade |
|---|---|---|---|
| David | male | 85 | B |
| Michael | female | 90 | A |
| Cammy | male | 88 | A |
| Tom | female | 59 | C |
Cookbook
简单常见操作：
-
awk '{print $1}' student.csv：打印第一个字段，默认空格分割 -
awk '/Tom/ {print $2}' student.csv：若该行包含Tom，打印第二列，默认空格分割 -
awk -F ',' '{print $NF}' student.csv：打印最后一列，指定是按逗号分隔 -
awk '{s+=$3} END {print s}' student.csv：计算第三列的和，如果没有表头的话 -
awk 'BEGIN {getline; print $0} {s+=$3} END {print s}' student.csv：getline跳过第一行，尤其是CSV文件 -
awk 'END{print NR}' student.csv：统计有几行
计算一列和
awk -F"," 'BEGIN {getline} {s+=$3} END {print s}' student.csv结果算出score列和为322。
其中-F","告诉awk用逗号分隔；BEGIN里的get line告诉awk跳过第一行；后面每次循环加上第三列的值，结果就是求个sum。
计算某列最大值
awk -F"," 'BEGIN{getline} max < $3 {max = $3} END{print max}' student.csv得出结果90。
同样开始的时候，跳过第一行；max < $3是一个条件判断，如果遇到更大的值，将其赋给max，如果没有，继续；最后打印最大值。
awk -F"," 'BEGIN{getline} max < $3 {max = $3; maxline=$0} END{print maxline }' student.csv可以打印最大值这一行。
交换两列值
awk -F"," 'BEGIN{OFS=","} {tmp=$3; $3=$4; $4=tmp; print $0}' student.csv结果如下：
| name | gender | grade | score |
|---|---|---|---|
| David | male | B | 85 |
| Michael | female | A | 90 |
| Cammy | male | A | 88 |
| Tom | female | C | 59 |
其中BEGIN模块里先指定Output Field Separator，默认的是空格，可以重新指定为逗号；后面建立一个临时变量，然后交换第三四列；打印交换后的行。
给加一个列id
awk 'BEGIN {getline; print "id," $0} {print NR-1 "," $0}' student.csv
| id | name | gender | score | grade |
|---|---|---|---|---|
| 1 | David | male | 85 | B |
| 2 | Michael | female | 90 | A |
| 3 | Cammy | male | 88 | A |
| 4 | Tom | female | 59 | C |
第一行的时候，直接加id即可；其他行，利用NR变量自动加，同时用变量$0保留原来行数据。
