awk命令:
Linux文本处理三剑客:grep sed awk
awk gawk: 报表生成器,格式化文本输出
基本用法:
gawk [options] 'program' file file ...
其中program格式为: PATTERN{ACTION_STATEMENT},ACTION_STATEMENT由语句组成,语句分隔符是;
其中ACTION包含: print, printf
# awk -F: '$3>50{print $0}' /etc/passwd 输出uid大于50的行
选项:
-F[]:指明输入字段分隔符; 不使用-F时默认以空格为字段分隔符
gawk -F: '{print $1,$3}' /etc/passwd
gawk -F: '{print $1,$3,"user"}' /etc/passwd
-v var=var 给变量赋值
1、awk的输出命令print
print item1, item2, ...
要点:
(1) 各item间使用逗号分隔,而输出时则使用输出分隔符分隔;
(2)输出的各item可以字符串或数值、当前记录的字段($n)、变量或awk的表达式;数值会被隐式转换为字符进行输出;
(3) print后面的item如果省略,相当于print $0; 输出“空白”,使用print "";
2、变量
2.1 内置变量
FS: input field seperator(输入时的字段分隔符),默认为空白字符;
gawk -v FS=":" '{print $1,$3}' /etc/passwd
RS:input record separator(输入时文件的换行符), 默认为换行符;
awk -v RS=" " '{print $0}' /etc/passwd
OFS: output field seperator(输出时的字段分割符),默认为空白字符;
ORS:output record separator(输出时文件换行符), 默认为换行符;
NF: number of field in current record,字段数;
awk '{print NF}' /etc/passwd 输出字段个数
awk '{print $NF}' /etc/passwd 输出最后一个字段
NR:行数,所有文件统一计数;
awk '{print NR}' /etc/passwd /etc/issue
awk '{print NR,$0}' /etc/passwd /etc/issue 在每一行前加上行号
FNR:行数,各文件分别计数;
awk '{print FNR}' /etc/passwd /etc/issue
awk '{print FNR,$0}' /etc/passwd /etc/issue
FILENAME:当前文件名;
awk '{print FILENAME,$0}' /etc/passwd /etc/issue 在每一行前加上文件名
ARGC:命令行参数的个数;
awk '{print ARGC}' /etc/issue
ARGV:数组,保存了命令行参数;
awk '{print ARGV[0]}' /etc/issue
2.2 自定义变量
-v var=val: 变量名区分字符大小写
定义变量的位置:
(1) 可以在program中定义变量;
awk '{file="passwd";print file,$1}' /etc/passwd
(2) 通过-v选项定义变量;
awk -v file="passwd" '{print file,$1}' /etc/passwd
3、printf命令
格式: printf format, item1, item2, ...
awk 'BEGIN{printf "%d\n",6}'
要点:
(1) format是必须的;
(2) 不会自动换行,需显式给定行分隔符;
(3) format中需要分别为后面的每个item指定一个格式符;
格式符:都以%开头,后跟一个字符
%c: 显示字符的ASCII码;
%d,%i: 显示十进制整数;
%e, %E: 科学计数法显示数值;
%f: 显示为浮点数;
%g, %G: 以科学计数法格式或浮点数格式显示数值;
%s: 字符串
%u: 无符号的整数
%%: 显示%自身
修饰符:
#[.#]: 第一个#指定显示宽度,例如%30s;第二个#表示小数点后的精度;
awk -F: '{printf "%20s:%5d\n",$1,$3}' /etc/passwd
-: 左对齐
awk -F: '{printf "%20s:%-5d\n",$1,$3}' /etc/passwd
4、操作符:
算术操作符:
x+y, x-y, x*y, x/y, x^y, x%y
-x: 负值
+x: 转换为数值
字符串操作:字符串连接
赋值操作符:
=, +=, -=, *=, /=, %=, ^=
++, --
比较操作符:
>, >=, <. <=, ==, !=
模式匹配符:
~
!~
# awk -F: '$1~/root/{print $7}' /etc/passwd 让$1匹配模式/root/
逻辑操作符:
&&
||
条件表达式:
selector?if-true-expression:if-false-expression
例子:~]# awk -F: '{$3>=500?usertype="common user":usertype="sysuser or admin";printf "%20s:%-s\n",$1,usertype}' /etc/passwd
函数调用:
function_name(argu1,argu2,...)
5、PATTERN
(1) /regular expression/: 仅处理能够被/regular expression/所匹配到的行;
awk -F: '/^\<root\>/{print $3}' /etc/passwd
(2) relational expression:关系表达式,有真假之分,一般来说,其结果为非0或非空字符串时为“真”,否则,为“假”;
awk -F: '$3>=500{print $1,$3}' /etc/passwd
awk -F: '$5~/root/{print $0}' /etc/passwd
(3) line ranges:行范围,类似sed或vim的地址定界法;startline, endline
(4) BEGIN/END: 特殊模式,仅在awk运行程序之前执行一次(BEGIN),或仅在awk运行程序之后执行一次(END);
awk -F: 'BEGIN{print "username","shell\n"----------------}$7~/bash\>/{print $1,$7}END{print "--------------\n"}' /etc/passwd
awk -F: 'BEGIN{username="username";shell="shell";printf "%10s%10s\n",username,shell;print "-----------"}$7~/bash\>/{printf "%10s%10s\n",$1,$7}END{print "---------------"}' /etc/passwd
(5) empty: 空模式,匹配任意行;
6、常用的action
(1) 表达式
(2) 控制语句
(3) 输入语句
(4) 输出语句
7、控制语句
if (condition) statement [ else statement ]
while (condition) statement
do statement while (condition)
for (expr1; expr2; expr3) statement
for (var in array) statement
break
continue
delete array[index]
delete array
exit [ expression ]
{ statements }
7.1 if-else
用法:对awk取得的整行或行中的字段做条件判断;
语法:
if (condition) statement [ else statement ]
if (condition) { statements; } [ else { statements; }]
# awk -F: '{if ($3>=500) print $1," is a common user." }' /etc/passwd
# awk -F: '{if ($3>=500) {print $1," is a common user."} else {print $1," is a system user or admin."}}' /etc/passwd
# awk '{if (NF>6) print NF, $0 }' /etc/inittab
7.2 while循环
用法:通常用于在当前行的各字段间进行循环;
语法:while (condition) statement
while (condition) { statements }
条件为真时进行循环,直到为假退出;
# awk '{i=1;while(i<=NF){printf "%20s:%d\n",$i,length($i); i++}}' /etc/inittab
# awk '{i=1;while(i<=NF){if (length($i)>5) {printf "%20s:%d\n",$i,length($i);} i++}}' /etc/inittab
7.3 do-while循环
语法:do statement while (condition)
do { do-while-body } while (condition)
意义:至少执行一次循环体;
7.4 for循环
语法:for (expr1; expr2; expr3) statement
for (expr1; expr2; expr3) { statements }
# awk '{for(i=1;i<=NF;i++) {printf "%s:%d\n", $i, length($i)}}' /etc/inittab
for循环在awk中有一个专用于遍历数组元素:
语法:for (var in array) { for-body }
7.5 switch
语法:switch (expression) {case VALUE or /REGEXP/: statement; ...; default: statementN}
7.6 break and continue
break [n]: 退出当前循环
continue:提前结束本轮循环,直接进入下轮循环
7.7 next
提前结束对本行的处理而进入下一行的处理
~]# awk -F: '{if($3%2!=0) next;print $1,$3}' /etc/passwd
8、Array
关联数组:array[index-expression]
index-expression: 可以使用任意字符串, 注意: 如果用数字索引,index-expression从1开始
如果某数组元素事先不存在,在引用时,awk会自动创建此元素并将其值初始化为空串,因此,若要判断数组是否存在某元素,要使用“index in array”进行;
a[mon]="Monday"
print a[mon]
要遍历数组中的每个元素,使用: for (var in array) { for body },注意:var会遍历array的每一个索引,print array[var]
例子:统计每一行中各单词分别出现的次数
# awk '{for(i=1;i<=NF;i++) {count[$i]++}}END{for(j in count) {print j,count[j]}}' awk.txt
# awk '{for(i=1;i<=NF;i++) {count[$i]++};for(j in count) {print j,count[j]};for(j in count) {count[j]=""};print "---------------"}' awk.txt
# ss -tan | awk '!/^State/{state[$1]++}END{for (i in state) {print i,state[i]}}'
# netstat -tan | awk '/^tcp/{state[$NF]++}END{for(i in state){print i,state[i]}}'
练习:统计httpd访问日志中,每个IP出现的次数;
~]# awk '{ip[$1]++}END{for(i in ip){print i,ip[i]}}' /var/log/httpd/access_log
9、函数
9.1 内置函数
数值处理:
rand(): 返回0和1之间一个随机数;
字符串处理:
length([s]): 返回指定字符串的长度
sub(r, s [, t]):以r所表示的模式来查找t字符串中的匹配,将其第一次出现替换同s所表示的字符串;
sub(ab,AB,$0)
gsub(r, s [, t]):以r所表示的模式来查找t字符串中的匹配,将其所有的出现均替换同s所表示的字符串;
split(s, a [, r]): 以r为分隔符切割字符串s,并将切割的结果保存至a表示数组中;
# netstat -tan | awk '/^tcp/{len=split($5,client,":");ip[client[len-1]]++}END{for(i in ip){print i,ip[i]}}'
substr(s, i [, n]): 从s表示的字符串中取子串,从i开始,取n个字符;
时间类的函数:
systime(): 取时间戳;
位运算函数:
and(v1,va2):
9.2 自定义函数
function f_name(p,q)
{
...
}
书面作业:
文件名awkfile
++++++++++++++++
Mike Harrington:[510] 548-1278:250:100:175
Christian Dobbins:[408] 538-2358:155:90:201
Susan Dalsass:[206] 654-6279:250:60:50
Archie McNichol:[206] 548-1348:250:100:175
Jody Savage:[206] 548-1278:15:188:150
Guy Quigley:[916] 343-6410:250:100:175
Dan Savage:[406] 298-7744:450:300:275
Nancy McNeil:[206] 548-1278:250:80:75
John Goldenrod:[916] 348-4278:250:100:175
Chet Main:[510] 548-5258:50:95:135
Tom Savage:[408] 926-3456:250:168:200
Elizabeth Stachelin:[916] 440-1763:175:75:300
上面的数据库中包含名字,电话号码和过去三个月里的捐款
1.显示所有电话号码
awk -F: '{print $2}' awkfile
2.显示Dan的电话号码
awk -F: '/Dan/{print $2}' awkfile
3.显示Susan的名字和电话号码
awk -F: '/Susan/{print $1,$2}' awkfile
4.显示所有以D开头的姓
awk '$2~/^D/{split($2,arr,":"); print arr[1]}' awkfile
5.显示所有以一个C或E开头的名
awk '$1~/^[CE]/{print $1}' awkfile
6.显示所有只有四个字符的名
awk '{if(length($1)==4) print $1}' awkfile
7.显示所有区号为916的人名
awk -F: '$2~/^\[916\]/{print $1}' awkfile
8.显示Mike的捐款.显示每个值时都有以$开头.如$250$100$175
awk -F: '$1~/^Mike/{printf "$%s $%s $%s\n", $3, $4, $5}' awkfile
9.显示姓,其后跟一个逗号和名,如Jody,Savage
awk -F: '{split($1, arr, " "); printf "%s,%s\n", arr[1],arr[2]}' awkfile