linux报告生成器之awk

awk就是把文件逐行的读入，以空格为默认分隔符将每行切片，切开的部分再进行各种分析处理。

模式

/正则表达式/：使用通配符的扩展集。
关系表达式：使用运算符进行操作，可以是字符串或数字的比较测试
模式匹配表达式：用运算符～（匹配）和～！（不匹配）。
BEGIN语句块，pattern语句块，END语句块

使用方法：

awk '{pattern + action}' {filenames}

pattern表示AWK在数据中查找的内容，而action是在找到匹配内容时所执行的一系列命令。花括号{}不需要再程序中始终出现，但他们用于根据特定对一系列指令进行分组。pattern就是要表示的正则表达式，用斜杠括起来。
awk语言的最基本功能是在文件或者字符串中基于指定浏览规则和抽取信息，awk抽取信息后，才能进行其他文本操作。完整的awk脚本通常用于格式化文本文件中的信息。
通常，awk是以文件的一行为处理单位的。awk每接收文件的一行，然后执行相应的命令，来处理文本。

入门实例

这里写图片描述
awk工作流程：读入有‘\n’换行符分割的一条记录，然后按指定的列分割符划分列，填充列， $0则表示所有列，$ 1表示第一列， $n表示第n列。默认列分割符为“空白键”或“tab”，所以$ 1表示登录用户。

只显示/etc/passwd的账户：-F：指定分隔符为：
这里写图片描述

显示/etc/passwd的账户和对应的shell，账户与shell之间以tab键分割
这里写图片描述

显示/etc/passwd的账户和对应的shell，账户和shell之间以逗号分割，而且在所有行添加列名name,shell，在最后一行添加“blue，/bin/nosh”。
这里写图片描述
先执行BEGIN，然后读取文件，读入有\n换行符的一条记录，然后将记录按指定的分隔符读取，随后开始执行模式所对应的动作。接着读入第二条记录。。。。最后执行END操作。

搜索/etc/passwd有root关键字的所有行
这里写图片描述
这种是pattern的使用示例，匹配了pattern（这里是root）的行才会执行action（没有指定action，默认输出每行的内容）。搜索支持正则，例如找root开头的行： awk -F: ‘/^root/’ /etc/passwd

搜索/etc/passwd有root关键字的所有行，并显示对应的shell
这里写图片描述

awk内置变量

FILENAME  浏览的文件名
FNR    浏览文件的记录数
FS     设置输入域分割符，等价于命令行 -F选项
NF     浏览记录的域的个数，列数
NR     已读的记录数,行数
OFS    输出域分隔符
ORS    输出记录分隔符
RS     控制记录分隔符

统计/etc/passwd：文件名，每行的行号，每列的列数，对应的完整行内容：
这里写图片描述

使用printf替代print，可以让代码更加简洁，易读

awk -F: '{printf("filename:%10s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd

print和printf

awk中同时提供了print和printf两种打印输出的函数。
其中print函数的参数可以是变量，数值或者字符串。字符串必须用双引号引用，参数用逗号分隔。如果没有都好，参数就串联在一起而无法区分。这里，逗号的作用与输出文件的分隔符的作用是一样的，只是后者是空格而以。
printf函数，其用法和C语言中的printf基本相似，可以格式化字符串，输出复杂时，printf更加好用，代码更易懂。

awk编程

除了awk的内置变量，awk还可以自定义变量。
统计/etc/passwd的账户人数
这里写图片描述
如果没有初始化，count的值默认是0，但是妥当的做法还是初始化为0；
count是自定义变量，之前的action{}里都是只有一个print，其实print只是一个语句，而action{}可以有多个语句，以；分隔。

统计某个文件夹下的文件占用的字节数

~]# ls -l | awk 'BEGIN{size=0;}{size = size+$5;} END{print"[end] size is",size}'
[end] size is 70350

如果以M为单位显示

ls -l | awk 'BEGIN{size=0;} {size = size+$5;} END{print "[end]size is ",size/1024/1024,"M"}'
[end]size is 23.4523M

注意不包括子文件夹的子目录

条件语句

if (expression) {
    statement;
} else {
    statement;
}

统计某个文件夹下的文件占用的字节数，过滤4096大小的文件（一般都是文件夹）

~]# ls -l | awk 'BEGIN{size=0;print"[start]size is",size} {if($5!=4096){size=size+$5;}} END{print"[end]size is",size/1024/1024,"M"}'
[start]size is 0
[end]size is 0.067091 M

数组

因为awk中数组的下表可以是字母和数字，数组的下标通常被称为关键字（key）。值和关键字都存储在内部的一张针对key/value应用hash的表格里。由于hash不是顺序存储，因此在显示数组内容时会发现，他们并不是按照你预料的顺序显示出来的。数组和变量一样，都是在使用时自动创建的，awk也同样会自动判断其存储的是数字还是字符串。一般而言，awk中的数组用来从记录中收集信息，可以用于计算总和，统计单词以及跟踪模板被匹配的次数等。

~]# awk -F: 'BEGIN{count=0;} {name[count]=$1;count++} END{for (i=0; i<NR; i++) print i,name[i]}' /etc/passwd
0 root
1 bin
2 daemon
3 adm
4 lp

只查看/etc/passwd文件内第20行到第30行的内容

~]# awk '{if(NR>=20 && NR<=30) print $1}' /etc/passwd
unbound:x:996:993:Unbound
colord:x:995:992:User
usbmuxd:x:113:113:usbmuxd
geoclue:x:994:991:User
saslauth:x:993:76:Saslauthd
libstoragemgmt:x:992:989:daemon
abrt:x:173:173::/etc/abrt:/sbin/nologin
setroubleshoot:x:991:988::/var/lib/setroubleshoot:/sbin/nologin
rpc:x:32:32:Rpcbind
rtkit:x:172:172:RealtimeKit:/proc:/sbin/nologin
chrony:x:990:987::/var/lib/chrony:/sbin/nologin

已知test.txt文件内容为：

[root@Gin scripts]# cat test.txt
I am Poe,my qq is 33794712

请从该文件中过滤出’Poe’字符串与33794712，最后输出的结果为：Poe 33794712

[root@Gin scripts]# awk -F '[ ,]+' '{print $3" "$7}' test.txt
Poe 33794712

http://www.cnblogs.com/ggjucheng/archive/2013/01/13/2858470.html
https://www.cnblogs.com/ginvip/p/6352157.html
https://blog.csdn.net/shuizhizhiyin/article/details/52421685