9.6 awk（上）
awk其实是一种程序设计语言，叫样式扫描和处理语言。简单来说awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。
命令格式：awk [选项] ' 模式 = ( {内置变量} + 表达式 + {动作} ) ' 文件名
表达式里可以是正则表达式：里面的查找关键词用 / /号括起来，如 /root/ 。 其中 “模式” 表示 awk 在数据中查找的内容、规则表达式和操作动作。花括号（{ }）不需要在程序中始终出现，但它们用于根据特定的模式对一系列指令进行分组。
awk语言的最基本功能是在文件或者字符串中基于指定规则浏览和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用来格式化文本文件中的信息。
通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。
常用的awk功能是指定分隔符，对文件的行进行分段，然后再处理。
awk -F ':' '{print $1}' 1.txt ：指定用：号分隔行为几段，输出打印第一段。
-F 指定分隔符的选项： $1 表示第一段，$0 表示所有段。
[root@lgs-01 awk]# awk -F ':' '{print $1}' passwdtest
root
bin
daemon
adm
lp
sync
shutdown
halt
mail
operator
games
ftp
nobody
systemd-network
dbus
polkitd
postfix
sshd
chrony
lgs
abc
[root@lgs-01 awk]# awk -F ':' '{print $0}' passwdtest
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin
systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
dbus:x:81:81:System message bus:/:/sbin/nologin
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
postfix:x:89:89::/var/spool/postfix:/sbin/nologin
sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
lgs:x:1008:1000::/home/lgs:/bin/bash
abc:x:1001:1000::/home/abc:/bin/bash
不用-F指定分隔符，默认以“空格” 或者“空白字符”为分隔符。
awk -F ':' '{print $2,$6,$7}'：打印多个段，以逗号,割开写，也可以用#号隔开写
[root@lgs-01 awk]# awk -F ':' '{print $2,$6,$7}' passwdtest
x /root /bin/bash
x /bin /sbin/nologin
x /sbin /sbin/nologin
x /var/adm /sbin/nologin
x /var/spool/lpd /sbin/nologin
x /sbin /bin/sync
x /sbin /sbin/shutdown
x /sbin /sbin/halt
x /var/spool/mail /sbin/nologin
x /root /sbin/nologin
x /usr/games /sbin/nologin
x /var/ftp /sbin/nologin
x / /sbin/nologin
x / /sbin/nologin
x / /sbin/nologin
x / /sbin/nologin
x /var/spool/postfix /sbin/nologin
x /var/empty/sshd /sbin/nologin
x /var/lib/chrony /sbin/nologin
x /home/lgs /bin/bash
x /home/abc /bin/bash
awk -F ':' '$1 ~ /oo/' 1.txt ：第一段中包含oo的行。~号表示指定段落里包含oo的匹配
[root@lgs-01 awk]# awk -F ':' '$1 ~ /oo/' passwdtest
root:x:0:0:root:/root:/bin/bash
awk -F ':' '$7~ /binn+/' 1.txt：支持正则，可以不用加转义字符。
[root@lgs-01 awk]# awk -F ':' '$7~ /binn+/' passwdtest
1:2:3:4:5:6:binnn
支持运算符：
awk -F ':' '$3>=200 {print $0}' 1.txt ：如果 第三段大于等于0，就输出打印匹配行的所有段。
[root@lgs-01 awk]# awk -F ':' '$3>=200 {print $0}' passwdtest
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
lgs:x:1008:1000::/home/lgs:/bin/bash
abc:x:1001:1000::/home/abc:/bin/bash
运算字符串要加" "号括起来：
awk -F ':' '$7!="/sbin/nologin" {print $0}' 1.txt：如果第7段不等于sbin，就输出打印匹配行的所有段。
[root@lgs-01 awk]# awk -F ':' '$7!="/sbin/nologin" {print $0}' passwdtest
root:x:0:0:root:/root:/bin/bash
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
lgs:x:1008:1000::/home/lgs:/bin/bash
abc:x:1001:1000::/home/abc:/bin/bash
awk -F ':' '$3>$4' test.txt ：第3段与第4段的对比。
[root@lgs-01 awk]# awk -F ':' '$3>$4 {print $0}' passwdtest
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
operator:x:11:0:operator:/root:/sbin/nologin
polkitd:x:999:997:User for polkitd:/:/sbin/nologin
chrony:x:998:996::/var/lib/chrony:/sbin/nologin
lgs:x:1008:1000::/home/lgs:/bin/bash
abc:x:1001:1000::/home/abc:/bin/bash
12:22:55
多个条件 匹配：
awk -F ':' '$3>5 && $4<7' 1.txt：第3段大于5，并且第4段小于7
[root@lgs-01 ~]# awk -F ':' '$3>5 && $4<7' passwdtest
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
operator:x:11:0:operator:/root:/sbin/nologin
12:22:55
awk -F ':' '{OFS="#"} $3>1000 || $4<5 {print $1,$2,$3,$4} ' 1.txt：OFS变量，指定分隔符#号 输出打印指定段
[root@lgs-01 ~]# awk -F ':' '{OFS="#"} $3>1000 || $4<5 {print $1,$2,$3,$4}' passwdtest
root#x#0#0
bin#x#1#1
daemon#x#2#2
adm#x#3#4
sync#x#5#0
shutdown#x#6#0
halt#x#7#0
operator#x#11#0
lgs#x#1008#1000
abc#x#1001#1000
12#22#55#
587#1##
12#21##
12#200##
1###
9###
51###
59###
abc#0##
abc#y##
9.7 awk（下）
awk -F ':' '{print NR ": " $0}' 1.txt：NR变量，显示行号。
[root@lgs-01 ~]# awk -F ':' '{print NR ": " $0}' passwdtest
1: root:x:0:0:root:/root:/bin/bash
2: bin:x:1:1:bin:/bin:/sbin/nologin
3: daemon:x:2:2:daemon:/sbin:/sbin/nologin
4: adm:x:3:4:adm:/var/adm:/sbin/nologin
5: lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
6: sync:x:5:0:sync:/sbin:/bin/sync
7: shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
8: halt:x:7:0:halt:/sbin:/sbin/halt
9: mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
10: operator:x:11:0:operator:/root:/sbin/nologin
11: games:x:12:100:games:/usr/games:/sbin/nologin
12: ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
13: nobody:x:99:99:Nobody:/:/sbin/nologin
14: systemd-network:x:192:192:systemd Network Management:/:/sbin/nologin
15: dbus:x:81:81:System message bus:/:/sbin/nologin
16: polkitd:x:999:997:User for polkitd:/:/sbin/nologin
17: postfix:x:89:89::/var/spool/postfix:/sbin/nologin
18: sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
19: chrony:x:998:996::/var/lib/chrony:/sbin/nologin
20: lgs:x:1008:1000::/home/lgs:/bin/bash
21: abc:x:1001:1000::/home/abc:/bin/bash
awk -F ':' 'NF==7 && $1 ~/root|sync/' 1.txt： NF变量，每行的段数。当NF等于7，且第一段含root或者a的，输出打印匹配的行。
[root@lgs-01 ~]# awk -F ':' 'NF==7 && $1 ~/root|a/' passwdtest
root:x:0:0:root:/root:/bin/bash
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
abc:x:1001:1000::/home/abc:/bin/bash
awk -F ':' '{print $NR ":" $NF}' 1.txt：输出打印每行的第NR段:第NF段的字符对。NR、NF是一个数字变量，是每行的行号和段数。
当NR和NF前面不加 $号的时候： NR : NF，输出的是每行的 行号: 段数
[root@lgs-01 ~]# awk -F ':' '{print $NR ": " $NF } ' passwdtest
root: /bin/bash
x: /sbin/nologin
2: /sbin/nologin
4: /sbin/nologin
lp: /sbin/nologin
/sbin: /bin/sync
/sbin/shutdown: /sbin/shutdown
: /sbin/halt
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /sbin/nologin
: /bin/bash
: /bin/bash
[root@lgs-01 ~]# awk -F ':' '{print NR ": " NF } ' passwdtest
1: 7
2: 7
3: 7
4: 7
5: 7
6: 7
7: 7
8: 7
9: 7
10: 7
11: 7
12: 7
13: 7
14: 7
15: 7
16: 7
17: 7
18: 7
19: 7
20: 7
21: 7
awk -F ':' '$1="root"' 1.txt：=号，赋值的意思。：把所有行的第一段内容赋值为root。赋值后输出结果中，分隔符会消失，可以用OFS=":"定义。
[root@lgs-01 ~]# awk -F ':' '$1="root"' passwdtest
root x 0 0 root /root /bin/bash
root x 1 1 bin /bin /sbin/nologin
root x 2 2 daemon /sbin /sbin/nologin
root x 3 4 adm /var/adm /sbin/nologin
root x 4 7 lp /var/spool/lpd /sbin/nologin
root x 5 0 sync /sbin /bin/sync
root x 6 0 shutdown /sbin /sbin/shutdown
root x 7 0 halt /sbin /sbin/halt
root x 8 12 mail /var/spool/mail /sbin/nologin
root x 11 0 operator /root /sbin/nologin
root x 12 100 games /usr/games /sbin/nologin
root x 14 50 FTP User /var/ftp /sbin/nologin
root x 99 99 Nobody / /sbin/nologin
root x 192 192 systemd Network Management / /sbin/nologin
root x 81 81 System message bus / /sbin/nologin
root x 999 997 User for polkitd / /sbin/nologin
root x 89 89 /var/spool/postfix /sbin/nologin
root x 74 74 Privilege-separated SSH /var/empty/sshd /sbin/nologin
root x 998 996 /var/lib/chrony /sbin/nologin
root x 1008 1000 /home/lgs /bin/bash
root x 1001 1000 /home/abc /bin/bash
[root@lgs-01 ~]# awk -F ':' '{OFS="#" } $1="root"' passwdtest
root#x#0#0#root#/root#/bin/bash
root#x#1#1#bin#/bin#/sbin/nologin
root#x#2#2#daemon#/sbin#/sbin/nologin
root#x#3#4#adm#/var/adm#/sbin/nologin
root#x#4#7#lp#/var/spool/lpd#/sbin/nologin
root#x#5#0#sync#/sbin#/bin/sync
root#x#6#0#shutdown#/sbin#/sbin/shutdown
root#x#7#0#halt#/sbin#/sbin/halt
root#x#8#12#mail#/var/spool/mail#/sbin/nologin
root#x#11#0#operator#/root#/sbin/nologin
root#x#12#100#games#/usr/games#/sbin/nologin
root#x#14#50#FTP User#/var/ftp#/sbin/nologin
root#x#99#99#Nobody#/#/sbin/nologin
root#x#192#192#systemd Network Management#/#/sbin/nologin
root#x#81#81#System message bus#/#/sbin/nologin
root#x#999#997#User for polkitd#/#/sbin/nologin
root#x#89#89##/var/spool/postfix#/sbin/nologin
root#x#74#74#Privilege-separated SSH#/var/empty/sshd#/sbin/nologin
root#x#998#996##/var/lib/chrony#/sbin/nologin
root#x#1008#1000##/home/lgs#/bin/bash
root#x#1001#1000##/home/abc#/bin/bash
awk -F ':' '{(tot=tot+$3); END {print tot}}' 1.txt：求和一列。tot从0开始，累加每行的第三段的内容，直到尾行结束，然后输出toto的值。有变量的地方，都用{ }花括号括起来。
[root@lgs-01 ~]# awk -F ':' '{(tot=tot+$3)}; END {print tot}' passwdtest
4669