一、cut （cut 命令可以从一个文本文件或者文本流中提取文本列 ）
1、cut语法
cut -d '分隔字符' -f fields 用于有特定分隔字符
cut -c 字符区间 用于排列整齐的信息
选项与参数：
-d：后面接分隔字符。与 -f 一起使用
-f：依据 -d 的分隔字符将一段信息分割成为数段，用 -f 取出第几段的意思
-c：以字符 (characters) 的单位取出固定字符区间
2、例：
echo $PATH /usr/local/sbin:/usr/local/bin:/sbin:/bin:/usr/sbin:/usr/bin:/root/bin
将 PATH 变量取出，找出第五个路径 echo $PATH | cut -d ':' -f 5 /usr/sbin
将 PATH 变量取出，找出第三和第五个路径 echo $PATH | cut -d ':' -f 3,5 /sbin:/usr/sbin
将 PATH 变量取出，找出第三到最后一个路径 echo $PATH | cut -d ':' -f 3- /sbin:/bin:/usr/sbin:/usr/bin:/root/bin
将 PATH 变量取出，找出第一到第三，还有第五个路径 echo $PATH | cut -d ':' -f 1-3,5 /usr/local/sbin:/usr/local/bin:/sbin:/usr/sbin
3、例
先准备已空格分开的这么段数据：
huangbo 18 jiangxi
xuzheng 22 hunan
wangbaoqiang 44 liujiayao
获取中间的年龄： cut -f 2 -d ' ' sutdent.txt
18
22
44
获取第二个字符到第三个字符之间的字符：cut -c 2-3 sutdent.txt
ua
uz
an
二、grep
1、基本使用
查询包含hadoop的行 grep hadoop /etc/password
grep hadoop ./*.txt ## 寻找当前路径下的所有 txt 当中内容那些是带了 huangbo 字符串的
./mazhonghua.txt:my name is huangbo is is huangbo
./sutdent.txt:huangbo 18 jiangxi
2、cut 截取以:分割保留第七段
grep hadoop /etc/passwd | cut -d: -f 7 /bin/bash
3、 查询不包含 hadoop 的行
grep -v hadoop /etc/passwd
4、 正则表达包含 oo
grep '.*oo.*' /etc/passwd
root:x:0:0:root:/root:/bin/bash
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
uucp:x:10:14:uucp:/var/spool/uucp:/sbin/nologin
5、 正则表达(点代表任意一个字符) grep 'h.*p' /etc/passwd
6、 正则表达以 hadoop 开头 grep '^hadoop' /etc/passwd
7、 正则表达以 hadoop 结尾 grep 'hadoop$' /etc/passwd
正则表达式的简单规则：
. : 任意一个字符
a* : 任意多个 a(零个或多个 a)
a? : 零个或一个 a
a+ : 一个或多个 a
.* : 任意多个任意字符
\. : 转义.
o\{2\} : o 重复两次
8、查找不是以#开头的行 grep -v '^#' a.txt | grep -v '^$' （ '^$'代表空行）
hua$
liu
de
grep -v '^#' huangbo.txt
hua$
liu
de
9、以 h 或 r 开头的 grep '^[hr]' /etc/passwd
不是以 h 和 r 开头的 grep '^[^hr]' /etc/passwd
不是以 h 到 r 开头的 grep '^[^h-r]' /etc/passwd
三、sed 命令
1、 删除： d 命令
sed '2d' huangbo.txt -----删除 huangbo.txt 文件的第二行。
sed '2,$d' huangbo.txt -----删除 huangbo.txt 文件的第二行到末尾所有行。
sed '$d' huangbo.txt -----删除 huangbo.txt 文件的最后一行。
sed '/test/'d huangbo.txt -----删除 huangbo.txt 文件所有包含 test 的行。
2、 替换： s 命令
sed 's/test/mytest/g' huangbo.txt ## 在整行范围内把 test 替换为 mytest。如果没有 g 标记，则只有每行第一个匹配的 test 被替换成 mytest。
sed -n 's/^test/mytest/p' huangbo.txt ## (-n)选项和 p 标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头 的 test 被替换成 mytest，就打印它。
sed 's/^192.168.0.1/&localhost/' huangbo.txt
sed -n 's/4444444/&test/gp' huangbo.txt ## &符号表示追加一个串到找到的串后。所有以 192.168.0.1 开头的行都会被替换成它自已 加 localhost，变成 192.168.0.1localhost。
sed -n 's/\(love\)able/\1rs/p' huangbo.txt
sed -n 's/\(wang\)www/\1test/p' huangbo.txt ## love 被标记为 1，所有 loveable 会被替换成 lovers，而且替换的行会被打印出来。
sed 's#10#100#g' huangbo.txt ## 不论什么字符，紧跟着 s 命令的都被认为是新的分隔符，所以，“ #”在这里是分隔符， 代替了默认的“ /”分隔符。表示把所有 10 替换成 100。
选定行的范围：逗号
sed -n '/test/,/check/p' huangbo.txt
sed -n 's#4444444#bbbbbbb#gp' huangbo.txt ## 所有在模板 test 和 check 所确定的范围内的行都被打印。
sed -n '5,/^test/p' huangbo.txt ## 打印从第五行开始到第一个包含以 test 开始的行之间的所有行。
sed '/test/,/check/s/$/sed test/' huangbo.txt ## 对于模板 test 和 west 之间的行，每行的末尾用字符串 sed test 替换。
多点编辑： e 命令
sed -e '1,5d' -e 's/test/check/' huangbo.txt ## (-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除 1 至 5 行，第二 条命令用 check 替换 test。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那 么第一个替换命令将影响第二个替换命令的结果。
sed --expression='s/test/check/' --expression='/love/d' huangbo.txt ## 一个比-e 更好的命令是--expression。它能给 sed 表达式赋值。
3、 从文件读入： r 命令
sed '/test/r file' huangbo.txt -----file 里的内容被读进来，显示在与 test 匹配的行下面，如果匹配多行，则 file 的内容将显 示在所有匹配行的下面。
4、 写入文件： w 命令
sed -n '/test/w file' huangbo.txt -----在 huangbo.txt 中所有包含 test 的行都被写入 file 里。
5、 追加命令： a 命令
sed '/^test/a\\--->this is a example' huangbo.txt ## '--->this is a example'被追加到以 test 开头的行(另起一行)后面， sed 要求命令 a 后面有一 个反斜杠。
6、 插入： i 命令
sed '/test/i\\some thing new -------------------------' huangbo.txt 如果 test 被匹配，则把反斜杠后面的文本插入到匹配行的前面。
7、 下一个： n 命令
sed '/test/{ n; s/aa/bb/; }' huangbo.txt -----如果 test 被匹配，则移动到匹配行的下一行，替换这一行的 aa，变为 bb，并打印该行， 然后继续。
8、 退出： q 命令
sed '10q' huangbo.txt -----打印完第 10 行后，退出 sed。
四、AWK
awk 是一个强大的文本分析工具，相对于 grep 的查找， sed 的编辑， awk 在其对数据分析并 生成报告时，显得尤为强大。简单来说 awk 就是把文件逐行的读入，以空格为默认分隔符 将每行切片，切开的部分再进行各种分析处理。
1、假设 last -n 5的输出如下
root pts/0 192.168.123.1 Wed Dec 28 01:55 still logged in
reboot system boot 2.6.32-573.el6.x Tue Dec 27 04:25 - 03:11 (22:46)
root pts/1 192.168.123.1 Tue Dec 27 02:00 - 02:00 (00:00)
root pts/1 192.168.123.1 Tue Dec 27 01:59 - 02:00 (00:00)
root pts/0 192.168.123.1 Tue Dec 27 01:59 - down (00:16)
2、只显示5个最近登录的账号 last -n 5 | awk '{print $1}'
root
reboot
root
root
root
awk 工作流程是这样的：读入有'\n'换行符分割的一条记录，然后将记录按指定的域分隔符 划分域，填充域， $0 则表示所有域,$1 表示第一个域,$n 表示第 n 个域。默认域分隔符是"空 白键" 或 "[tab]键",所以$1 表示登录用户， $3 表示登录用户 ip,以此类推
3、 显示/etc/passwd 的账户： cat /etc/passwd |awk -F ':' '{print $1}'
root
bin
daemon
adm
lp
这种是 awk+action 的示例，每行都会执行 action{print $1}。 -F 指定域分隔符为':'
4、显示/etc/passwd 的账户和账户对应的 shell,而账户与 shell 之间以 tab 键分割 cat /etc/passwd |awk -F ':' '{print $1"\t"$7}'
root /bin/bash
bin /sbin/nologin
daemon /sbin/nologin
adm /sbin/nologin
lp /sbin/nologin
5、 如果只是显示/etc/passwd 的账户和账户对应的 shell,而账户与 shell 之间以逗号分割,而且 在所有行添加列名 name,shell,在最后一行添加"blue,/bin/nosh"。
cat /etc/passwd |awk -F ':' 'BEGIN {print "name,shell"} {print $1","$7} END {print "blue,/bin/nosh"}'
cat /etc/passwd | awk -F ':' 'BEGIN {print "name \t shell"} {print$1"\t"$7} END {print "blue,/bin/bash"}'
结果：
name,shell
root,/bin/bash
daemon,/bin/sh
bin,/bin/sh
sys,/bin/sh
....
blue,/bin/nosh
awk 工作流程是这样的：先执行 BEGING，然后读取文件，读入有/n 换行符分割的一条记录， 然后将记录按指定的域分隔符划分域，填充域， $0 则表示所有域,$1 表示第一个域,$n 表示 第 n 个域,随后开始执行模式所对应的动作 action。接着开始读入第二条记录•直到所有的记
录都读完，最后执行 END 操作。
6、搜索/etc/passwd 有 root 关键字的所有行 awk -F: '/root/' /etc/passwd
root:x:0:0:root:/root:/bin/bash
这种是 pattern的使用示例，匹配了 pattern(这里是 root)的行才会执行 action(没有指定 action， 默认输出每行的内容)。
7、搜索支持正则，例如找 root 开头的: awk -F: '/^root/' /etc/passwd
搜索/etc/passwd 有 root 关键字的所有行，并显示对应的 shell
awk -F':' '/root/{print $7}' /etc/passwd
/bin/bash
这里指定了 action{print $7}
8、统计/etc/passwd:文件名，每行的行号，每行的列数，对应的完整行内容:
awk -F ':' '{print "filename:" FILENAME ",linenumber:" NR ",columns:" NF ",linecontent:"$0}' /etc/passwd
awk -F':' '{print "filename:" FILENAME ",linenumber:" NR ",colums:" NF "linecotent:" $0}' /etc/passwd
结果：
filename:/etc/passwd,linenumber:1,columns:7,linecontent:root:x:0:0:root:/root:/bin/bash
filename:/etc/passwd,linenumber:2,columns:7,linecontent:daemon:x:1:1:daemon:/usr/sbin:/bin/sh
filename:/etc/passwd,linenumber:3,columns:7,linecontent:bin:x:2:2:bin:/bin:/bin/sh
filename:/etc/passwd,linenumber:4,columns:7,linecontent:sys:x:3:3:sys:/dev:/bin/sh
使用 printf 替代 print,可以让代码更加简洁，易读
awk -F ':' '{printf("filename:%s,linenumber:%s,columns:%s,linecontent:%s\n",FILENAME,NR,NF,$0)}' /etc/passwd