文章目录
awk内置变量（预定义变量）
说明：[A][N][P][G]表示第一个支持变量的工具，[A]=awk、[N]=nawk、[P]=POSIXawk、[G]=gawk
- $n 当前记录的第n个字段，比如n为1表示第一个字段，n为2表示第二个字段。
- $0 这个变量包含执行过程中当前行的文本内容。
- [N] ARGC 命令行参数的数目。
- [G] ARGIND 命令行中当前文件的位置（从0开始算）。
- [N] ARGV 包含命令行参数的数组。
- [G] CONVFMT 数字转换格式（默认值为%.6g）。
- [P] ENVIRON 环境变量关联数组。
- [N] ERRNO 最后一个系统错误的描述。
- [G] FIELDWIDTHS 字段宽度列表（用空格键分隔）。
- [A] FILENAME 当前输入文件的名。
- [P] FNR 同NR，但相对于当前文件。
- [A] FS 字段分隔符（默认是任何空格）。
- [G] IGNORECASE 如果为真，则进行忽略大小写的匹配。
- [A] NF 表示字段数，在执行过程中对应于当前的字段数。
- [A] NR 表示记录数，在执行过程中对应于当前的行号。
- [A] OFMT 数字的输出格式（默认值是%.6g）。
- [A] OFS 输出字段分隔符（默认值是一个空格）。
- [A] ORS 输出记录分隔符（默认值是一个换行符）。
- [A] RS 记录分隔符（默认是一个换行符）。
- [N] RSTART 由match函数所匹配的字符串的第一个位置。
- [N] RLENGTH 由match函数所匹配的字符串的长度。
- [N] SUBSEP 数组下标分隔符（默认值是34）。
转义序列
- \ \自身
- $ 转义$
- \t 制表符
- \b 退格符
- \r 回车符
- \n 换行符
- \c 取消换行
示例
echo -e "line1 f2 f3\nline2 f4 f5\nline3 f6 f7" | awk '{print "Line No:"NR", No of fields:"NF, "$0="$0, "$1="$1, "$2="$2, "$3="$3}'
输出结果：
Line No:1, No of fields:3 $0=line1 f2 f3 $1=line1 $2=f2 $3=f3
Line No:2, No of fields:3 $0=line2 f4 f5 $1=line2 $2=f4 $3=f5
Line No:3, No of fields:3 $0=line3 f6 f7 $1=line3 $2=f6 $3=f7
使用print N F 可以打印出一行中的最后一个字段，使用 NF可以打印出一行中的最后一个字段，使用 NF可以打印出一行中的最后一个字段，使用(NF-1)则是打印倒数第二个字段，其他以此类推：
echo -e "line1 f2 f3\n line2 f4 f5" | awk '{print $NF}'
输出结果：
f3
f5
echo -e "line1 f2 f3\n line2 f4 f5" | awk '{print $(NF-1)}'
输出结果：
f2
f4
打印每一行的第二和第三个字段：
awk '{ print $2,$3 }' filename
统计文件中的行数：
awk 'END{ print NR }' filename
以上命令只使用了END语句块，在读入每一行的时，awk会将NR更新为对应的行号，当到达最后一行NR的值就是最后一行的行号，所以END语句块中的NR就是文件的行数。
一个每一行中第一个字段值累加的例子：
seq 5 | awk 'BEGIN{ sum=0; print "总和：" } { print $1"+"; sum+=$1 } END{ print "等于"; print sum }'
输出结果：
总和：
1+
2+
3+
4+
5+
等于
15
将外部变量值传递给awk
借助 -v选项 ，可以将外部值（并非来自stdin）传递给awk：
VAR=10000
echo | awk -v VARIABLE=$VAR '{ print VARIABLE }'
另一种传递外部变量方法：
var1="aaa"
var2="bbb"
echo | awk '{ print v1,v2 }' v1=$var1 v2=$var2
当输入来自于文件时使用：
awk '{ print v1,v2 }' v1=$var1 v2=$var2 filename
查找进程pid
netstat -antup | grep 7770 | awk '{ print $NF NR}' | awk '{ print $1}'
awk运算与判断
作为一种程序设计语言所应具有的特点之一，awk支持多种运算，这些运算与C语言提供的基本相同。awk还提供了一系列内置的运算函数（如log、sqr、cos、sin等）和一些用于对字符串进行操作（运算）的函数（如length、substr等等）。这些函数的引用大大的提高了awk的运算功能。作为对条件转移指令的一部分，关系判断是每种程序设计语言都具备的功能，awk也不例外，awk中允许进行多种测试，作为样式匹配，还提供了模式匹配表达式（匹配）和!（不匹配）。作为对测试的一种扩充，awk也支持用逻辑运算符。
算术运算符
运算符 描述
-
- 加，减
- / & 乘，除与求余
-
- ! 一元加，减和逻辑非
^ *** 求幂
++ – 增加或减少，作为前缀或后缀
- ! 一元加，减和逻辑非
例：
awk 'BEGIN{a="b";print a++,++a;}'
输出结果：
0 2
注意：所有用作算术运算符进行操作，操作数自动转为数值，所有非数值都变为0
赋值运算符
运算符 描述
= += -= *= /= %= ^= **= 赋值语句
例：
a+=5; 等价于：a=a+5; 其它同类
逻辑运算符
运算符 描述
|| 逻辑或
&& 逻辑与
例：
awk 'BEGIN{a=1;b=2;print (a>5 && b<=2),(a>5 || b<=2);}'
输出结果：
0 1
正则运算符
-
运算符 描述
-
!~ 匹配正则表达式和不匹配正则表达式
^ 行首
$ 行尾
. 除了换行符以外的任意单个字符
- 前导字符的零个或多个
.* 所有字符
[] 字符组内的任一字符
[^]对字符组内的每个字符取反(不匹配字符组内的每个字符)
[] 非字符组内的字符开头的行
[a-z] 小写字母
[A-Z] 大写字母
[a-Z] 小写和大写字母
[0-9] 数字
< 单词头单词一般以空格或特殊字符做分隔,连续的字符串被当做单词
> 单词尾
正则需要用 /正则/ 包围住
例：
awk 'BEGIN{a="100testa";if(a ~ /^100*/){print "ok";}}'
输出结果：
ok
关系运算符
运算符 描述
< <= > >= != == 关系运算符
例：
awk 'BEGIN{a=11;if(a >= 9){print "ok";}}'
输出结果：
ok
注意：> < 可以作为字符串比较，也可以用作数值比较，关键看操作数如果是字符串就会转换为字符串比较。两个都为数字才转为数值比较。字符串比较：按照ASCII码顺序比较。
其它运算符
运算符 描述
$ 字段引用
空格 字符串连接符
?: C条件表达式
in 数组中是否存在某键值
例：
awk 'BEGIN{a="b";print a=="b"?"ok":"err";}'
输出结果：
ok
awk 'BEGIN{a="b";arr[0]="b";arr[1]="c";print (a in arr);}'
输出结果：
0
awk 'BEGIN{a="b";arr[0]="b";arr["b"]="c";print (a in arr);}'
输出结果：
1
运算级优先级表
!级别越高越优先
级别越高越优先
awk高级输入输出
读取下一条记录
awk中next语句使用：在循环逐行匹配，如果遇到next，就会跳过当前行，直接忽略下面语句。而进行下一行匹配。next语句一般用于多行合并：
cat text.txt
a
b
c
d
e
awk 'NR%2==1{next}{print NR,$0;}' text.txt
当记录行号除以2余1，就跳过当前行。下面的print NR,$0也不会执行。下一行开始，程序有开始判断NR%2值。这个时候记录行号是：2 ，就会执行下面语句块：‘print NR,$0’
分析发现需要将包含有“web”行进行跳过，然后需要将内容与下面行合并为一行：
cat text.txt
web01[192.168.2.100]
httpd ok
tomcat ok
sendmail ok
web02[192.168.2.101]
httpd ok
postfix ok
web03[192.168.2.102]
mysqld ok
httpd ok
0
awk '/^web/{T=$0;next;}{print T":"t,$0;}' text.txt
简单地读取一条记录
awk getline用法：输出重定向需用到getline函数。getline从标准输入、管道或者当前正在处理的文件之外的其他输入文件获得输入。它负责从输入获得下一行的内容，并给NF,NR和FNR等内建变量赋值。如果得到一条记录，getline函数返回1，如果到达文件的末尾就返回0，如果出现错误，例如打开文件失败，就返回-1。
getline语法：getline var，变量var包含了特定行的内容。
awk getline从整体上来说，用法说明：
- 当其左右无重定向符|或<时： getline作用于当前文件，读入当前文件的第一行给其后跟的变量var或$0（无变量），应该注意到，由于awk在处理getline之前已经读入了一行，所以getline得到的返回结果是隔行的。
- 当其左右有重定向符|或<时： getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。
示例：
执行linux的date命令，并通过管道输出给getline，然后再把输出赋值给自定义变量out，并打印它：
awk 'BEGIN{ "date" | getline out; print out }' test
执行shell的date命令，并通过管道输出给getline，然后getline从管道中读取并将输入赋值给out，split函数把变量out转化成数组mon，然后打印数组mon的第二个元素：
awk 'BEGIN{ "date" | getline out; split(out,mon); print mon[2] }' test
命令ls的输出传递给geline作为输入，循环使getline从ls的输出中读取一行，并把它打印到屏幕。这里没有输入文件，因为BEGIN块在打开输入文件前执行，所以可以忽略输入文件。
awk 'BEGIN{ while( "ls" | getline) print }'
关闭文件
awk中允许在程序中关闭一个输入或输出文件，方法是使用awk的close语句。
close("filename")
filename可以是getline打开的文件，也可以是stdin，包含文件名的变量或者getline使用的确切命令。或一个输出文件，可以是stdout，包含文件名的变量或使用管道的确切命令。
输出到一个文件
awk中允许用如下方式将结果输出到一个文件：
echo | awk '{printf("hello word!n") > "datafile"}'
# 或
echo | awk '{printf("hello word!n") >> "datafile"}'
从零学 python
【从零学习python 】92.使用Python的requests库发送HTTP请求和处理响应
【从零学习python 】91. 使用装饰器和字典管理请求路径的简洁Web应用
【从零学习python 】93.使用字典管理请求路径
【从零学习python 】89. 使用WSGI搭建简单高效的Web服务器
【从零学习python 】88. WSGI接口详解：实现简单高效的Web开发
【从零学习python 】87. 手动搭建HTTP服务器的Python实现及多线程并发处理
【从零学习python 】86. 深入了解HTTP协议及其在浏览器和服务器通信中的作用
【从零学习python 】85.Python进程池的并行计算技术应用
【从零学习python 】84.深入理解线程和进程
【从零学习python 】83. Python多进程编程与进程池的使用
【从零学习python 】82. 基于多线程的聊天程序实现
【从零学习python 】81.Python多线程通信与队列的应用
【从零学习python 】80.线程访问全局变量与线程安全问题
【从零学习python 】79. 线程访问全局变量与线程安全问题
【从零学习python 】78. 文件下载案例
【从零学习python 】77. TCP服务端编程及注意事项
【从零学习python 】76.服务器与客户端：网络通信的关键组成部分
【从零学习python 】75. TCP协议：可靠的面向连接的传输层通信协议
【从零学习python 】74. UDP网络程序：端口问题与绑定信息详解
【从零学习python 】73. UDP网络程序-发送数据
【从零学习python 】72. 深入理解Socket通信及创建套接字的方法
【从零学习python 】71. 网络端口及其作用
【从零学习python 】70.网络通信方式及其应用：从直接通信到路由器连接多个网络
【从零学习python 】69. 网络通信及IP地址分类解析
【从零学习python 】68. Python正则表达式中的贪婪和非贪婪模式
【从零学习python 】67.Python中的re模块：正则替换与高级匹配技术
【从零学习python 】66.深入了解正则表达式：模式匹配与文本处理的利器
【从零学习python 】65. Python正则表达式修饰符及其应用详解
【从零学习python 】64. Python正则表达式中re.compile方法的使用详解
【从零学习python 】63.正则表达式中的re.Match类及其属性和方法介绍
【从零学习python 】62. Python正则表达式：强大的字符串匹配工具
【从零学习python 】61.Python中的property属性详解和应用示例
【从零学习python 】60.探索生成器：迭代的灵活利器
【从零学习python 】59.迭代器：优化数据遍历的高效工具
【从零学习python 】58.Python中的自定义异常及引发异常的方法
【从零学习python 】57.Python中使用with关键字正确关闭资源
【从零学习python 】56. 异常处理在程序设计中的重要性与应用
【从零学习python 】55.Python中的序列化和反序列化，JSON与pickle模块的应用
【从零学习python 】54. 内存中写入数据
【从零学习python 】53. CSV文件和Python的CSV模块
【从零学习python 】52.文件的读写 - Python文件操作指南
【从零学习python 】51.文件的打开与关闭及其在Python中的应用
【从零学习python 】49. Python中对象相关的内置函数及其用法
【从零学习python 】48.Python中的继承与多继承详解
【从零学习python 】47. 面向对象编程中的继承概念及基本使用
【从零学习python 】46. Python中的__new__和__init__方法解析及单例设计模式
【从零学习python 】45.Python中的类方法和静态方法
【从零学习python 】44.面向对象编程中的私有属性和方法
【从零学习python 】43. Python面向对象编程中的实例属性和类属性
【从零学习python 】42.Python中的内置属性和方法
【从零学习python 】41.python魔法方法(二)
【从零学习python 】40.python魔法方法(一)
【从零学习python 】39.面向对象基本语法及应用示例
【从零学习python 】38.Python包的使用及导入方式
【从零学习python 】37.Python自定义模块的使用和注意事项
【从零学习python 】36.Python中使用pip进行第三方包管理的方法与技巧
【从零学习python 】35. Python常见系统模块及其用法
【从零学习python 】34.Python模块的导入和使用方法详解
【从零学习python 】33.装饰器的作用(二)
【从零学习python 】32.装饰器的作用(一)
【从零学习python 】31.深入理解Python中的高阶函数和闭包
【从零学习python 】30.深入理解递归函数和匿名函数
【从零学习python 】29. 「函数参数详解」——了解Python函数参数的不同用法
【从零学习python 】28. Python中的局部变量和全局变量
【从零学习python 】27. Python 函数的使用及嵌套调用
【从零学习python 】25.函数：提高代码编写效率的利器
【从零学习python 】24. Python中的字符串操作与遍历方法
【从零学习python 】23. Python中集合（set）的使用方法和常见操作
【从零学习python 】22. Python中的字典的增删改查及字典的变量
【从零学习python 】21.Python中的元组与字典
【从零学习python 】20. Python列表操作技巧及实例
【从零学习python 】19. 循环遍历列表和列表嵌套的应用
【从零学习python 】18. Python列表的基本操作详解(一)
【从零学习python 】17. Python字符串的format方法(二)
【从零学习python 】16. Python字符串的format方法(一)
【从零学习python 】15.深入了解字符串及字符集编码
【从零学习python 】14.Python字符串常见操作(二)
【从零学习python 】13.Python字符串常见操作(一)
【从零学习python 】12.Python字符串操作与应用
【从零学习python 】11.Python循环语句和控制流程
【从零学习python 】10.Python条件语句和if嵌套详解
【从零学习python 】09.Python 中的条件判断语句
【从零学习python 】08.Python了解位运算符, 运算符优先级
【从零学习python 】07.Python运算符详解：赋值、比较和逻辑运算符
【从零学习python 】06. Python中运用算数运算符进行计算和字符串拼接
【从零学习python 】05. Python中的输出和输入
【从零学习python 】04. Python编程基础：变量、数据类型与标识符
【从零学习python 】03. Python交互式编程及注释详解
【从零学习python 】02. 开发工具介绍
【从零学习python 】01. 安装配置python