Linux中 sed和awk 简单实用

sed：流处理编辑器---（相当于读文件的流，只对流进行每一行的处理，但是不对文本进行处理）
awk：文本处理工具
在fressh.log中查找所有报错的日期
$sed -n '/Error/p' | awk '{print $1}' fresh.log

单个字符的查找方式
   正向查找：[a-zA-Z],[0-9],[A-Z] 等等
       注意：[259]代表查找单个字符2,5,9，不是查找259这个
   反向查找：[^a-zA-Z],[^0-9],[^A-Z] 等等
   任意字符： .
       但是要注意，[.]和\. 代表只查找.符号，
   边界字符头：^
   边界字符尾：$
   元字符（代表普通字符或者特殊字符）
   \w：匹配任何字类字符，包括下划线，[A-Za-z0-9]
   \W：匹配任何非字类，和\w相反，[^A-Za-z0-9]
   \b：代表单词的分隔，\bx\b：代表查找 :x: 规避 ixa

多个字符组合的查找方式 (符号前面的\是为了不被识别成我要匹配该符号，在LINUX中适用，根据实际情况使用)
   [0-9]*：零次或多次匹配前面的字符或者表达式\{0,\}
   [0-9]\+：一次或多次匹配前面的字符或者表达式\{1,\}
   [0-9]\?：零次或一次匹配前面的字符或者表达式\{0,1\}
   [0-9]\{n,m\}：n次或m次匹配前面的字符或者表达式

任意字符串的表达：.* * 还可以替换成 + ？ {,}
   注意，正则的匹配是贪婪地，会尽可能长的去匹配
字符串逻辑的表示: | 或者x=$a\|b$匹配x=a或者x=b

sed [options] 'command(reg)' file(s)

command ：
   p (print,建议配合-n使用，因为会不用-n每行会打印两次)
       ----sed -n 'p' test.txt
       ----sed -n 'Np' test.txt         代表将第N行打印出来,查看对不对可用 nl test.txt |sed -n 'Np'
       ----sed -n '/value/p' test.txt    代表将匹配value的行都打印出来
       ----sed -n 'N,Mp'                 代表将第N行到第M行都打印出来
       ----sed -n '/value1,/value2/p'   代表将第一个符合value1的行到最后一个符合value2的行都打印出来
       ----sed -n 'N,M!p'             代表将除了第N行到第M行都打印出来，意为取反
       ----sed -n 'N~Mp'               代表从N行开始打印，间隔M行打印一次（1~2，打印的是1,3,5行），没有N，M~L的写法哟
       ----对行的选取操作，以下参数也适用
   a (sed 'Na CONTENT1' 在第N行后面append内容行CONTENT1)
   i (sed 'Ni CONTENT1' 在第N行后面insert内容行CONTENT1)
   c (sed 'Nc CONTENT1' 将第N行内容cover换成内容行CONTENT1 不同的是N,Mc 代表N到M行替换成一行CONTENT1)
   d (sed 'Nd CONTENT1' 将第N行delete删除)
       ----删除空行 sed /^$/d test.txt
   s (sed 's/CONTENT1/CONTENT2/' test.txt)                 将test.txt文件流中匹配到的第一个的CONTENT1替换成CONTENT2)
       ----sed 's/CONTENT1/CONTENT2/g' test.txt             带上了g代表替换所有，global全局
       ----sed -n '/CONTENT1/p' test.txt |sed 's/reg1//'     显示一个被替换过的行，其实就是对获取的某一行进行修改
       ----sed '{N,Md;s/CONTENT1/CONTENT2/}'                 意思是将两个命令放到一块执行，不同命令用;分号分隔，依次执行
       ----sed '{n;command}' test.txt                        n的意思是跳行，所以这条命令是，先跳一行，然后在执行command
       ----sed 's/CONTENT1/&CONTENT2/' test.txt             将test.txt文件流中的CONTENT1后面加上CONTENT2
       ----ls | sed 's/^.\+/\U&/'                         将ls读取到的文件流中的所有字母都变成大写
           \u,\L,\l                                       首字母大写，小写，首字母小写
   -r 复制指定文件插入到匹配行
       ----sed '1r 123.txt' abc.txt                       将abc.txt中的数据插入到读取123.txt读取流的第一行
   -w 复制匹配行拷贝到指定文件
       ----sed '1w abc.txt' 123.txt                        将123.txt的第一行，写到abc.txt，覆盖原内容，重写

awk [options] 'command' files
   command1:pattern{awk操作命令}
   操作命令：内置函数、控制指令
   $0:整个当前行，$1:每行的第一个字段，
   awk -F field-separator(默认为空格)，用split()，例如awk -F 'test' == split(test)

   ~，!~ 匹配正则表达式
   ==,!=,<,> 判断逻辑表达式
   awk -F 'test' '$1~/^a.*/{print $1}' test.txt 输出第一个字段是a开头的行

   awk -F 'test' 'BEGIN{print "begin"} {print "pattern"} END{print "end"}'
   相当于开始执行一次BEGIN，然后执行中间函数，结束时候执行一次END，类似于junit的Before,After
   ls -l |awk 'BEGIN{size=0}{size+=$5}END{print "size is" size}'
   输出文件的的大小和

   netstat -anp|awk '$6~/CONNECTED|LISTEN/{sum[$6]++}END{for (i in sum )print i,sum[i]}'

Linux中 sed和awk 简单实用

猜你喜欢