grep及正则表达式

grep

grep: Global search REgular expression and Print out the line

作用：文本搜索工具，根据用户指定的“模式”对目标文本逐行进行匹配检

查；打印匹配到的行

模式：由正则表达式字符及文本字符所编写的过滤条件

grep [OPTIONS] PATTERN [FILE...]

grep root /etc/passwd  直接搜索与root相关的行

grep "$USER" /etc/passwd   读取变量$USER相关的行  因为双引号是可以读取变量的，其实在这里不用加双引也可以执行的但为了规范最好加上双引号。

grep '$USER' /etc/passwd 这里因为用的是单引号，会被认为是$USER的单一字符串，所以不会被匹配到。

grep `whoami` /etc/passwd  在这里whoami因为是一条命令，所以用反引号，这样会将命令执行的结果当做搜索条件，如果不加反引的话是无法执行命令的，只能搜索字符相关的行。

grep命令选项

 --color=auto: 对匹配到的文本着色显示   加上颜色可以更直观的观察到所匹配的字符，一般情况下最好在.bashrc下加上别名这样能方便的观察到匹配的字符。

 -v: 显示不被pattern匹配到的行  使用-v选项可以显示所匹配到字符的相关行

 -i: 忽略字符大小写    当所要搜索的相关字符有不规则的大小写是，可以使用-i选项来忽略大小写

 -n：显示匹配的行号    加上-n选项后会在匹配到后显示所匹配的字符在哪一行

 -c: 统计匹配的行数    加上-c选项后 可以显示所配以到的字符所属的行有几行

 -o: 仅显示匹配到的字符串    使用-o后 只会显示所要搜索的相关字符，这样在后期写脚本时，做判断是很经常用到的。

 -q: 静默模式，不输出任何信息      使用-q后 是否被匹配到都不会显示，但可以通过ehco $?如果是非0就表示执行错误，0表示执行成功，后期写脚本时使用

 -A #: after, 后#行   显示匹配的行 已经后面的n行

 -B #: before, 前#行

 -C #：context, 前后各#行

 -e：实现多个选项间的逻辑or关系

grep –e ‘cat ’ -e ‘dog’ file

 -w：匹配整个单词   -w时匹配整个单词 其中一般的标点符号会被认为是分隔符后的单词会被匹配

 -E：使用ERE

 -F：相当于fgrep，不支持正则表达式

正则表达式

REGEXP：由一类特殊字符及文本字符所编写的模式，其中有些字符（元字符）

不表示字符字面意义，而表示控制或通配的功能

程序支持：grep,sed,awk,vim, less,nginx,varnish等

分两类：

基本正则表达式：BRE

扩展正则表达式：ERE

grep -E, egrep  可以同时搜索多个

 

正则表达式引擎：

采用不同算法，检查处理正则表达式的软件模块

PCRE（Perl Compatible Regular Expressions）

元字符分类：字符匹配、匹配次数、位置锚定、分组

man 7 regex

基本正则表达式元字符

字符匹配:

. 匹配任意单个字符  

[] 匹配指定范围内的任意单个字符    会匹配中括号里的字符，只要其中一个有匹配到都会被显示出来

[^] 匹配指定范围外的任意单个字符      就是去非得意思，就是匹配括号以外的

[:alnum:] 字母和数字    只匹配包含数字的行 如果用[^[digit]]显示非数字的

[:alpha:] 代表任何英文大小写字符，亦即 A-Z, a-z

[:lower:] 小写字母 [:upper:] 大写字母

[:blank:] 空白字符（空格和制表符）

[:space:] 水平和垂直的空白字符（比[:blank:]包含的范围广）

[:cntrl:] 不可打印的控制字符（退格、删除、警铃...）

[:digit:] 十进制数字  只匹配包含数字的行 如果用[^[digit]]显示非数字的行

[:xdigit:]十六进制数字

[:graph:] 可打印的非空白字符

[:print:] 可打印字符

[:punct:] 标点符号

 

正则表达式

匹配次数：用在要指定次数的字符后面，用于指定前面的字符要出现的次数

* 匹配前面的字符任意次，包括0次

贪婪模式：尽可能长的匹配

.* 任意长度的任意字符

\? 匹配其前面的字符0或1次  非贪婪模式

\+ 匹配其前面的字符至少1次

\{n\} 匹配前面的字符n次

\{m,n\} 匹配前面的字符至少m次，至多n次

\{,n\} 匹配前面的字符至多n次

\{n,\} 匹配前面的字符至少n次

 

正则表达式

位置锚定：定位出现的位置

^ 行首锚定，用于模式的最左侧   只有所搜索的相关字主线收行首才能被匹配到

$ 行尾锚定，用于模式的最右侧

^PATTERN$ 用于模式匹配整行

^$ 空行

 

^[[:space:]]*$ 空白行

\< 或 \b 词首锚定，用于单词模式的左侧

\> 或 \b 词尾锚定；用于单词模式的右侧

\<PATTERN\> 匹配整个单词

正则表达式

分组：\(\) 将一个或多个字符捆绑在一起，当作一个整体进行处理，如：

\(root\)\+

分组括号中的模式匹配到的内容会被正则表达式引擎记录于内部的变量中，这

些变量的命名方式为: \1, \2, \3, ...

\1 表示从左侧起第一个左括号以及与之匹配右括号之间的模式所匹配到的字符

示例： \(string1\+\(string2\)*\)

\1 ：string1\+\(string2\)*

\2 ：string2

后向引用：引用前面的分组括号中的模式所匹配字符，而非模式本身

或者：\|

示例：a\|b: a或b C\|cat: C或cat \(C\|c\)at:Cat或cat

 

练习

1、显示/proc/meminfo文件中以大小s开头的行(要求：使用两种方法)

cat /proc/meminfo |egrep "^s|^S"

grep -i ^s /proc/meminfo

grep "^[Ss]" /proc/meminfo

egrep "^(S|s)" /proc/meminfo

 

2、显示/etc/passwd文件中不以/bin/bash结尾的行

cat /etc/passwd|grep -v bash

grep "/bin/bash$" /etc/passwd

 

3、显示用户rpc默认的shell程序

cat /etc/passwd|grep rpc:|awk -F ":" '{print $1,$7}'

grep "^rpc\>" /etc/passwd |cut -d: -f7

 

4、找出/etc/passwd中的两位或三位数

cat /etc/passwd|grep -Eo "[0-9][0-9][0-9]|[0-9][0-9]"

grep "\<[0-9]\{2,3\}\>" /etc/passwd

grep -Eo "[0-9][0-9][0-9]|[0-9][0-9]" /etc/passwd

 

5、显示CentOS7的/etc/grub2.cfg文件中，至少以一个空白字符开头的且后面有非

空白字符的行

grep -n "^[[:space:]]\+[^[:space:]]*" /etc/grub2.cfg

 

6、找出“netstat -tan”命令结果中以LISTEN后跟任意多个空白字符结尾的行

netstat -tan |grep -n "\<LISTEN[[:space:]]*$"

 

7、显示CentOS7上所有系统用户的用户名和UID

cat /etc/passwd|cut -d: -f1,3

 

8、添加用户bash、testbash、basher、sh、nologin(其shell为/sbin/nologin),找

出/etc/passwd用户名和shell同名的行

grep "^\([[:alnum:]]\+\):.*\1$" /etc/passwd

grep "^\(\<.*\>\).*\1$" /etc/passwd

 

9、利用df和grep，取出磁盘各分区利用率，并从大到小排序

df -h|grep ^/dev|tr -s ' '|cut -d\  -f1,5

 

10、显示三个用户root、mage、wang的UID和默认shell

grep -E "^(root|mage|wang):" /etc/passwd|cut -d: -f1,7

 

11、找出/etc/rc.d/init.d/functions文件中行首为某单词(包括下划线)后面跟一个小括号的行

grep -E "^([a-z]|_)+\(\)" /etc/rc.d/init.d/functions

 

12、使用egrep取出/etc/rc.d/init.d/functions中其基名

echo /etc/rc.d/init.d/functions |grep -E  "[^/]+/?$"

echo /etc/rc.d/init.d/functions |grep -E -o "[^/]+\>"|tail -n1

 

13、使用egrep取出上面路径的目录名

echo /etc/rc.d/init.d/functions/ |grep -E  "/.*\<"

echo /etc/rc.d/init.d/functions |grep -E "/.*/"

 

14、统计last命令中以root登录的每个主机IP地址登录次数

last -i|grep pts|sort -k 3|tr -s ' '|cut -d\  -f3|uniq -c|sort -nr

 

15、利用扩展正则表达式分别表示0-9、10-99、100-199、200-249、250-255

(([1-9]?[0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])

 

16、显示ifconfig命令结果中所有IPv4地址

ifconfig ens33 | grep -E -o "\<(([1-9]?[0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\.){3}([0-9]|[1-9][0-9]|1[0-9][0-9]|2[0-4][0-9]|25[0-5])\>"|head -1