呕心沥血半月终于写出来了！！！Shell正则表达式中的编程三剑客——grep、sed、awk

文章目录

在 Linux/UNIX 系统中包含很多种文本处理器或文本编辑器，其中包括我们之前提到过的VIM 编辑器与 grep 等。
而 grep，sed，awk 更是 shell 编程中经常用到的文本处理工具，被称之为 Shell 编程三剑客。

一、sed编辑器

（1）、sed编辑器概述

sed是一种流编辑器，流编辑器会在编辑器处理数据之前基于预先提供的一组规则来编辑数据流。
sed编辑器可以根据命令来处理数据流中的数据，这些命令要么从命令行中输入，要么存储在一个命令文本文件中。

（2）、sed编辑器工作流程

sed工作流程主要包括：读取、执行、显示三个过程

读取：sed从输入流(文件、管道、标准输入)中读取一行内容并存储到临时的缓冲区中(又称模式空间, pattern space)
执行：默认情况下,所有的sed命令都在模式空间中顺序地执行,除非指定了行的地址,否则sed命令将会在所有的行上依次执行。
显示:发送修改后的内容到输出流。在发送数据后,模式空间将会被清空。在所有的文件内容都被处理完成之前,上述过程将重复执行直至所有内容被处理完。

注意：默认情况下所有的sed命令都是在模式空间内执行的，因此输入的文件并不会发生任何变化，除非是用重定向存储输出。

（3）、sed命令格式

sed -e '操作' 文件1 文件2 ...  就是普通的命令，但如果和下面的-n（其他的选项）一起使用时，不能省略

sed -n-e '操作' 文件1 文件2..        不会输出结果

sed -f 脚本文件 文件1 文件2...     执行命令在脚本文件里，对后面的文件1、2...内容进行处理

sed -i -e '操作' 文件1 文件2...     会对文本进行直接的修改


sed -e 'n{

操作1

操作2
...
}' 文件1 文件2...

命名要用 ‘ ’括起来

（4）、常见的sed命令选项

-e或--expression=：表示用指定命令来处理输入的文本文件，只有一个操作命令时可省略，一般在执行多个操作命令使用

-f或--file=：表示用指定的脚本文件来处理输入的文本文件。

-h或--help：显示帮助。

-n，--quiet或silent：禁止sed编辑器输出，但可以与p命令一起使用完成输出。

-i：直接修改目标文本文件。

（5）、sed常用操作

s：替换，替换指定字符。

d：删除，删除选定的行。

a：增加，在当前行下面增加一行指定内容。

i：插入，在选定行上面插入一行指定内容。

c：替换，将选定行替换为指定内容。

y：字符转换，转换前后的字符长度必须相同。

p：打印，如果同时指定行，表示打印指定行：如果不指定行，则表示打印所有内容;如果有非打印字符，则以ASCII码输出。其通常与"-n"选项一起使用。

=：打印行号。

l (小写L)：打印数据流中的文本和不可打印的ASCIl字符(比如结束符$、制表符\t)
                                     ASCIL码可以讲是二进制码

示例：

打印内容
在这里插入图片描述

= 打印行号
在这里插入图片描述

二、使用地址寻找

sed编辑器有2种寻址方式：
1、以数字形式表示行区间
2、用文本模式来过滤出行

1、  打印第一行

在这里插入图片描述

2、打印最后一行

在这里插入图片描述

3、打印第一行到第三行

在这里插入图片描述

4、打印第三行到最后一行

在这里插入图片描述

5、打印第三行到第五行

在这里插入图片描述

6、打印第一行之后的连续三行---即1-4行

在这里插入图片描述

7、sed -n 'p;n' testfile 打印奇数行
   n表示移动到下一行，当打印完第一行后直接跳到第三行，以此循环，所以打印的全是奇数行

在这里插入图片描述

8、sed -n 'n;p' testfile 打印偶数行
   原理同上 n表示移动到下一行 所以直接打印第二行也就是偶数行  所以 n 在前 p 在后

在这里插入图片描述
--------------------------------下面是用文本模式来过滤出行-------------------------------------

[root@192~ zhengze1]#sed -n '/user/p' /etc/passwd    #/user/表示过滤出带有user这个字符串的行，要记得加//，而且//中区分字母大小写
saslauth:x:996:76:Saslauthd user:/run/saslauthd:/sbin/nologin
rpcuser:x:29:29:RPC Service User:/var/lib/nfs:/sbin/nologin
tss:x:59:59:Account used by the trousers package to sandbox the tcsd daemon:/dev/null:/sbin/nologin
usbmuxd:x:113:113:usbmuxd user:/:/sbin/nologin
qemu:x:107:107:qemu user:/:/sbin/nologin
radvd:x:75:75:radvd user:/:/sbin/nologin

[root@192~ zhengze1]#sed -n '/^a/p' /etc/passwd      #过滤出以a开头的行
adm:x:3:4:adm:/var/adm:/sbin/nologin
abrt:x:173:173::/etc/abrt:/sbin/nologin
avahi:x:70:70:Avahi mDNS/DNS-SD Stack:/var/run/avahi-daemon:/sbin/nologin

[root@192~ zhengze1]#sed -n '/bash$/p' /etc/passwd    #过滤出以bash结尾的行
root:x:0:0:root:/root:/bin/bash
gcc:x:1000:1000:gcc:/home/gcc:/bin/bash
wangyi:x:1001:1001::/home/wangyi:/bin/bash
wanger:x:1002:1002::/home/wanger:/bin/bash
wangsan:x:1003:1003::/home/wangsan:/bin/bash
wangsi:x:1004:1004::/home/wangsi:/bin/bash

[root@192~ zhengze1]#sed -n '/ftp\|root/p' /etc/passwd     #打印具有ftp或(“|”)root的行，这里加转义符\是以防|具有其他的意义，比如|具有管道符号的作用
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin

[root@192~ zhengze1]#sed -n '2,/nobody/p' /etc/passwd     #从第二行开始打印，一直打印到具有第一个具有nobody的行停止
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
games:x:12:100:games:/usr/games:/sbin/nologin
ftp:x:14:50:FTP User:/var/ftp:/sbin/nologin
nobody:x:99:99:Nobody:/:/sbin/nologin


[root@192~ zhengze1]#sed -nr '/ro{1,}t/p' /etc/passwd      #加 r 表示支持正则表达式，ro{1,}t表示匹配前导符o不少于1次
root:x:0:0:root:/root:/bin/bash
operator:x:11:0:operator:/root:/sbin/nologin

三、删除行

sed 'd' sed.txt        全部删除

sed '3d' sed.txt       删除第3行

sed '2,4d' sed.txt     删除2-4行

sed '$d' sed.txt       删除最后一行 

sed '/^$/d' testfile   删除空行

sed '/e$/d' sed.txt   #删除以e结尾的行

sed '/e$/!d' sed.txt   #除了e结尾的都删了，“!”表示取反操作

sed '/1/,/c/d' sed.txt   #从第一个位置打开行删除功能，到第二个位置关闭行删除功能，按行删除（慎用）

1、sed 'd' sed.txt        全部删除

在这里插入图片描述

2、sed '3d' sed.txt       删除第3行

在这里插入图片描述

3、sed '2,4d' sed.txt     删除2-4行

在这里插入图片描述

4、sed '$d' sed.txt       删除最后一行

在这里插入图片描述

5、sed '/^$/d' testfile   删除空行

在这里插入图片描述

四、替换

格式：

sed [选项] '行范围 s/旧字符串/新字符串/替换标记'

四种替换标记

数字：表明新字符串将替换第几处匹配的地方

g：表明新字符串将会替换所有匹配的地方

p：打印与替换命令匹配的行，与-n一起使用

w 文件：将替换的结果写到文件中

sed -n 's/root/admin/p' /etc/passwd     将root替换成admin   只替换遇到的第一个字符串

sed -n 's/root/admin/2p' /etc/passwd     将流水遇到的第2个root替换成admin

sed -n 's/root/admin/gp' /etc/passwd      将所有的root都替换成admin

五、插入

[root@192 zhengze1]#sed '/45/c ABC' testfile2     #将内容有45的行，整行替换为ABC

[root@192 zhengze1]#sed '/45/ y/45/AB/' testfile2    #将内容45装换为AB，注意使用“y”时需要转换前后的字符长度必须相同

[root@192 zhengze1]#sed '1,3a ABC' testfile1      #在1-3行，每行的下面都插入ABC
one
ABC
two
ABC
three
ABC
four
five
six

[root@192 zhengze1]#sed '1i ABC' testfile1    #在第一行的上面插入ABC
ABC
one
two
three

[root@192 zhengze1]#sed '1r /etc/resolv.conf' testfile1    #“-r” 是读入的操作符，此命令的意思是将/etc/reslv.conf中的内容读入到testfike1文件的第一行的下面
one
# Generated by NetworkManager
nameserver 192.168.200.2
two
three

[root@192 zhengze1]#sed '/root/{H;d};$G' /etc/passwd    #将带有/root的行剪切到末尾，H表示复制到剪切板，d表示删除，G表示粘贴到指定行之后

[root@192 zhengze1]#sed '1,2H;3,4G'  testfile1    #将1，2行复制到3和4行的下面，注意第三行和第四行都会复制1，2两行的内容
one
two
three

one
two
four

one
two
five
six
seven

六、awk编辑器

在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具，逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理，可以在无交互的情况下实现相当复杂的文本操作，被广泛应用于 Shell 脚本，完成各种自动化配置任务。

（一）、工作原理

逐行读取文本，默认以空格或tab键为分隔符进行分隔，将分隔所得的各个字段保存到内建变量中，并按模式或者条件执行编辑命令。

sed命令常用于一整行的处理，而awk比较倾向于将一行分成多个“字段”然后再进行处理。awk信息的读入也是逐行读取的，执行结果可以通过print的功能将字段数据打印显示。在使用awk命令的过程中,可以使用逻辑操作符“&&”表示“与”、“||”表示“或”、“!”表示“非”；还可以进行简单的数学运算，如+、-、*、/、%、^分别表示加、减、乘、除、取余和乘方。

（二）、命令格式

awk  选项   '模式或条件 {操作}'  文件1   文件2...
awk  -f   脚本文件   文件1    文件2...

(三)、awk常见的内建变量（可直接用）如下所示

FS：列分割符。指定每行文本的字段分隔符，默认为空格或制表位。与"-F"作用相同
NF：当前处理的行的字段个数。
NR：当前处理的行的行号（序数）。
$0：当前处理的行的整行内容。
$n：当前处理行的第n个字段（第n列）。
FILENAME：被处理的文件名。
RS：行分隔符。awk从文件上读取资料时,将根据RS的定义把资料切割成许多条记录,而awk一次仅读入一条记录,以进行处理。预设值是’\n’

（四）、按行输出文本

输出所有内容

awk  '{
    
    print)’ testfile1        #输出所有内容
awk '{
    
    print $0}’ testfile1        #输出所有内容

在这里插入图片描述

-输出指定行内容

awk 'NR==1, NR==3{print}'  testfile1       #输出第1-3行内容
awk  '(NR>=1) &&  (NR<=3)  {print}'  testfile1       #输出第1-3行内容

awk  'NR==1 || NR==3 {print}'    testfile1       #输出第1行、第3行内容

在这里插入图片描述

输出奇数行，偶数行内容

awk '(NR%2)==1{print}'  testfile1      #输出奇数行
awk '(NR%2)==0{print}'  testfile1       #输出偶数行

在这里插入图片描述

输出以…开头，以…结尾的内容

awk '/^root/{print}'  /etc/passwd        #输出以root开头的内容
awk '/nologin$/{print}'  /etc/passwd     #输出以nologin结尾的内容

在这里插入图片描述

（五）、按字段输出文本

awk -F ":" '{print $3}' /etc/passwd          #输出每行中（以”:“分割的）的第三个字段

awk -F ":" '{print $1,$3}' /etc/passwd       #输出每行中（以”:“分割的）的第1，3个字段

awk -F ":" '$3<5{print $1,$3}' /etc/passwd   #输出第三个字段的值小于5的行的第1，3个字段

awk -F ":" '!($3<200){print}' /etc/passwd    #输出第三个字段的值不小于200的行的内容

awk 'BEGIN {FS=":"};{if ($3>=200){print}}'  /etc/passwd   #先处理BEGIN里面的内容（将列分隔符改为：）再打印文本里的内容（如果第三段的的值大于等于200，就输出）

awk -F ":" '{max=($3>$4)?$3:$4;{print max}}' /etc/passwd
#($3>$4)?$3:$4是三元运算符，如果第三个字段的值大于第四个字段的值，则把第三个字段的值赋给max，否则把第四个字段的值赋给max

awk -F ":" '{print NR,$0}' /etc/passwd        #输出内行的内容和行号，没处理完一条记录，NR值（当前处理的行的行号）加1

awk -F ":" '$7~"/bash"{print $1}' /etc/passwd    #输出以冒号分割且第7个字段中包含/bash的行的第1个字段

awk -F ":"  '($1~"root")&&(NF==7){print $1,$2}' /etc/passwd    #输出第1个字段中包含root且有7个字段的行的第1、2个字段（NF：当前处理的行的字段个数）

awk -F ":" '($7!="/bin/bash")&&($7!="/sbin/nologin"){print}' /etc/passwd  #输出第7个字段不为/bin/bash，也不为/sbin/nologin的所有行

（六）、通过管道符号、双引号调用shell命令

echo $PATH | awk 'BEGIN{RS=":"};END{print NR}'  #统计以冒号分隔的文本段落数，END{
    
    }语句块中，往往会放入打印结果等语句

awk -F ":" '/bash$/{print | "wc -l"}' /etc/passwd   
#调用 wc -l 命令统计使用 bash 的用户的个数(即以bash结尾的行)，等同于
grep -c "bash$"  /etc/passwd

free -m | awk '/Mem:/ {print int($3/($3+$4)*100)"%"}'     #查看当前内存使用百分比（int 指字符类型，这里代表整数型，即没有小数点）

top -b -n 1 | grep Cpu | awk -F ',' '{print $4}' | awk '{print $1}'   
#查看当前cpu空闲率，（-b -n 1表示只需要1次的输出结果）  
整句命令意思是：动态输出一次进程的结果（top -b -n 1）；过滤出Cpu那一行(grep Cpu)；以逗号进行分隔，打印出第四列（awk -F ',' '{print $4}'）;接着打印出过滤出的第四列的第一个值（awk '{print $1}'）

date -d "$(awk -F "." '{print $1}' /proc/uptime) second ago" +"%F %H:%M:%S"
#显示上次系统重启的时间，等同于uptime: second ago为显示多少秒前的时间，+"%F %H:%M:%S"等同于+”%Y-%m-%d %H:%M:%S“的时间格式

awk 'BEGIN {n=0 ; while ("w" | getline) n++ ; {print n-2}}'    
#调用w命令，并用来统计在线用户数；w命令可以获取当前在线的用户的详细信息；getline是取行；打印n-2行是因为w显示的信息的前两行是没有用的，所以去掉前两行。
[root@gcc zhengze1]#w
 15:41:01 up 19:50,  1 user,  load average: 0.00, 0.01, 0.05
USER     TTY      FROM             LOGIN@   IDLE   JCPU   PCPU WHAT
root     pts/0    192.168.200.1    11:19    5.00s  0.12s  0.01s w

awk 'BEGIN {"hostname" | getline ; {print $0}}'     #调用hostname命令，输出当前的主机名
----------------------------------------------------------------------------------------------------------------------------------------------------------------
当getline左右无重定向符“<"或"|"时, awk首先读取到了第一行，就是1，然后getline，就得到了1下面的第二行，就是2，因为getline之后，awk会改变对应的NF，NR，FNR和$0等内部变量，所以此时的$0的值就不再是1，而是2了，然后将它打印出来。
当getline左右有重定向符"<"或"|"时，getline则作用于定向输入文件，由于该文件是刚打开，并没有被awk读入一行，只是getline读入，那么getline返回的是该文件的第一行，而不是隔行。

seq 10 | awk '{getline; print $0)'         #可以得出偶数行
seq 10 | awk '{print $0; getline}'         #可以得出奇数行

（七）、CPU使用率

cpu_us='top -b -n 1 | grep Cpu | awk '(print $2}'
cpu_sy='top -b -n 1 | grep Cpu | awk -F ','  '{
    
    print $2}'  | awk  '{
    
    print $1}'  
cpu_sum=$ ( ($cpu_us+$cpu_sy))
echo $cpu_sum