Shell编程（四）文本过滤

文本过滤

简介：正则表达式、find介绍、grep介绍、awk介绍、sed介绍、合并与分割（sort、uniq、join、cut、paste、split）。

正则表达式

概念：一种用来描述文本模式的特殊语法
由普通字符（例如：字符a到z），以及特殊字符（元字符，如/ * ？等）组成匹配的字符串
文本过滤工具在某种模式之下，都支持正则表达式。

基本元字符集及其含义

练习
A{3}B AAAB
A{3,}B AAAB AAAAB …
A{3,5}B AAAB AAAAB AAAAAB

使用句点匹配单字符

句点“.”可以匹配任意单字符。例如，如果要匹配一个字符串，以 beg开头，中间夹一个意字符，那么可以表示为b e g . n， “.”可以匹配字符串头，也可以是中间任意字符。
在ls -l命令中，可以匹配一定权限：

行首以^匹配字符串或字符序列

^只允许在一行的开始匹配字符或单词。例如，使用 ls -l命令，并匹配目录。之所以可以
样做是因为ls -l命令结果每行第一个字符是d，即代表一个目录。

行尾以$匹配字符串或字符

可以说$与^正相反，它在行尾匹配字符串或字符，$符号放在匹配单词后。假定要匹配以
词t r o u b l e结尾的所有行，操作为：trouble$^$ 匹配空行
^.$ 匹配包含一个字符的行

用*$匹配单字符串或其重复序列

使用\屏蔽一个特殊字符的含义

使用[]匹配一个范围或集合

假定要匹配任意一个数字，可以使用：
[0123456789]
然而，通过使用“-”符号可以简化操作：
[ 0 - 9 ]
或任意小写字母
[ a - z ]
要匹配任意字母，则使用：
[ A - Z a - z ]
表明从A - Z、a - z的字母范围。
如要匹配任意字母或数字，模式如下：
[ A - Z a - z 0 - 9 ]
在字符序列结合使用中，可以用 [ ]指出字符范围。假定要匹配一单词，以 s开头，中间有
任意字母，以t结尾，那么操作如下：
s[a-z A-Z]t

上述过程返回大写或小写字母混合的单词，如仅匹配小写字母，可使用：
s [ a - z ] t
如要匹配C o m p u t e r或c o m p u t e r两个单词，可做如下操作：
[ C c ] o m p u t e r
为抽取诸如S c o u t、s h o u t、b o u g h t等单词，使用下列表达式：
[ou] .*t
匹配以字母o或u开头，后跟任意一个字符任意次，并以t结尾的任意字母。
也许要匹配所有包含s y s t e m后跟句点的所有单词，这里S可大写或小写。使用如下操作：
[ S,s ] y s t e m \ .
[ ]在指定模式匹配的范围或限制方面很有用。结合使用 与[ ]更是有益，例如[ A - Z a - Z ] 将
匹配所有单词。
[ A - Z a - z ] *

注意^符号的使用，当直接用在第一个括号里，意指否定或不匹配括号里内容。
[^a-zA-Z]
匹配任一非字母型字符，而
[ ^ 0 - 9 ]
匹配任一非数字型字符。
通过最后一个例子，应可猜知除了使用^，还有一些方法用来搜索任意一个特殊字符。

使用{}匹配模式结果出现的次数

使用*可匹配所有匹配结果任意次，但如果只要指定次数，就应使用 \ { \ }，此模式有三种
形式，即：
pattern{n} 匹配模式出现n次。
pattern{n,} 匹配模式出现最少n次。
pattern{n,m} 匹配模式出现n到m次之间，n , m为0 - 2 5 5中任意整数。
请看第一个例子，匹配字母A出现两次，并以B结尾，操作如下：
A \ { 2 \ } B ；A出现2次匹配值为A A B
A \ { 4 , \ } B；匹配A至少4次
可以得结果A A A A B或A A A A A A A B，但不能为A A A B。
如给出出现次数范围，例如A出现2次到4次之间：
A \ { 2 , 4 \ } B
则结果为A A B、A A A B、A A A A B，而不是A B或A A A A A B等。
[0-9]{3}.[0-9]{3}.[0-9]{3}.[0-9]{3}; 匹配IP地址

find和Xargs

1、find功能，查找目录或文件
查找具有某些特征文件的命令。
可遍历当前目录甚至于整个文件系统来查找某些文件或目录。
遍历大文件系统时，要放在后台执行
2、find命令格式
find pathname -options [-print -exec -ok …]
3、find命令参数
pathname: find命令所查找的目录路径。例如用.来表示当前目录，用/来表示系统根目录。
-print： find命令将匹配的文件输出到标准输出。
-exec： find命令对匹配的文件执行该参数所给出的shell命令。相应命令的形式为’command’ { } \;，注意{ }和\；之间的空格。
-ok： 和-exec的作用相同，只不过以一种更为安全的模式来执行该参数所给出的shell命令，在执行每一个命令之前，都会给出提示，让用户来确定是否执行。
4、find命令选项
-name 按照文件名查找文件。
-perm 按照文件权限来查找文件。
-prune 使用这一选项可以使find命令不在当前指定的目录中查找，如果同时使用-depth选项，那么-prune将被find命令忽略。
-user 按照文件属主来查找文件。

-group 按照文件所属的组来查找文件。
-mtime -n +n
按照文件的更改时间来查找文件， - n表示文件更改时间距现在n天以内，+ n表示文件更改时间距现在n天以前。find命令还有-atime和-ctime 选项，但它们都和-m time选项。
-nogroup 查找无有效所属组的文件，即该文件所属的组在/etc/groups中不存在。
-nouser 查找无有效属主的文件，即该文件的属主在/etc/passwd中不存在。
-newer file1 ! file2
查找更改时间比文件file1新但比文件file2旧的文件。
-type
查找某一类型的文件，诸如：
b - 块设备文件。
d - 目录。
c - 字符设备文件。
p - 管道文件。
l - 符号链接文件。
f - 普通文件。
-size n：[c] 查找文件长度为n块的文件，带有c时表示文件长度以字节计。
-depth：在查找文件时，首先查找当前目录中的文件，然后再在其子目录中查找。
-fstype：查找位于某一类型文件系统中的文件，这些文件系统类型通常可以在配置文件/etc/fstab中找到，该配置文件中包含了本系统中有关文件系统的信息。
-mount：在查找文件时不跨越文件系统mount点。
-follow：如果find命令遇到符号链接文件，就跟踪至链接所指向的文件。
-cpio：对匹配的文件使用cpio命令，将这些文件备份到磁带设备中。
另外,下面三个的区别:
-amin n
　　查找系统中最后N分钟访问的文件
　　-atime n
　　查找系统中最后n*24小时访问的文件
　　-cmin n
　　查找系统中最后N分钟被改变文件状态的文件
　　-ctime n
　　查找系统中最后n*24小时被改变文件状态的文件
　-mmin n
　　查找系统中最后N分钟被改变文件数据的文件
　　-mtime n
　　查找系统中最后n*24小时被改变文件数据的文件

重点训练
文件名选项是f i n d命令最常用的选项，要么单独使用该选项，要么和其他选项一起使用。
以使用某种文件名模式来匹配文件，记住要用引号将文件名模式引起来。
不管当前路径是什么，如果想要在自己的根目录 $HOME中查找文件名符合* . t x t的文件，
用~作为’ p a t h n a m e参数，波浪号~代表了你的$HOME目录。

$ find ~ -name "*.txt" -print

想要在当前目录及子目录中查找所有的‘* . t x t’文件，可以用：

$ find . -name "*.txt" -print

想要的当前目录及子目录中查找文件名以一个大写字母开头的文件，可以用：

$ find . -name "[A-Z]*" -print

想要在/ e t c目录中查找文件名以host开头的文件，可以用：

$ find /etc -name "host*" -print

想要查找$ HOME目录中的文件，可以用：

$ find ~ -name "*" -print  或find . -print

要想让系统高负荷运行，就从根目录开始查找所有的文件。如果希望在系统管理员那里
留一个好印象的话，最好在这么做之前考虑清楚！

$ find / -name "*" -print

如果想在当前目录查找文件名以两个小写字母开头，跟着是两个数字，最后是 * . t x t的文
，下面的命令就能够返回名为a x 3 7 . t x t的文件：

$ find . -name "[a-z][a-z][0--9][0--9].txt" –print

希望在系统根目录下查找更改时间在5日以内的文件，可以用：

$ find / -mtime -5 -print

为了在/ v a r / a d m目录下查找更改时间在3日以前的文件，可以用：

$ find /var/adm -mtime +3 –print

次重点训练：
使用exec或ok来执行shell命令

find ./ -name "*.sh" -exec ls -l {} \;

find一般练习
二、find命令的例子；
1、查找当前用户主目录下的所有文件：
下面两种方法都可以使用

$ find $HOME -print
$ find ~ -print

2、让当前目录中文件属主具有读、写权限，并且文件所属组的用户和其他用户具有读权限的文件；

$ find . -type f -perm 644 -exec ls -l {  } \;   //注意后面要加分号

3、为了查找系统中所有文件长度为0的普通文件，并列出它们的完整路径；

$ find / -type f -size 0 -exec ls -l {  } \;

4、查找/var/logs目录中更改时间在7日以前的普通文件，并在删除之前询问它们；

$ find /var/logs -type f -mtime +7 -ok rm {  } \;

5、为了查找系统中所有属于root组的文件；

$find . -group root -exec ls -l {  } \;
-rw-r--r--    1 root     root          595 10月 31 01:09 ./fie1

6、find命令将删除当目录中访问时间在7日以来、含有数字后缀的admin.log文件。
该命令只检查三位数字，所以相应文件的后缀不要超过999。先建几个admin.log*的文件 ，才能使用下面这了查找当前文件系统中的所有目录并排序；

$ find . -name "admin.log[0-9][0-9][0-9]" -atime -7  -ok
rm {  } \;
< rm ... ./admin.log001 > ? n
< rm ... ./admin.log002 > ? n
< rm ... ./admin.log042 > ? n
< rm ... ./admin.log942 > ? n

$ find . -type d | sort

8、为了查找系统中所有的rmt磁带设备；

$ find /dev/rmt -print

find和xargs在一起
xargs - build and execute command lines from standard input
在使用find命令的-exec选项处理匹配到的文件时， find命令将所有匹配到的文件一起传递给exec执行。但有些系统对能够传递给exec的命令长度有限制，这样在find命令运行几分钟之后，就会出现 溢出错误。错误信息通常是“参数列太长”或“参数列溢出”。这就是xargs命令的用处所在，特别是与find命令一起使用。

find命令把匹配到的文件传递给xargs命令，而xargs命令每次只获取一部分文件而不是全部，不像-exec选项那样。这样它可以先处理最先获取的一部分文件，然后是下一批，并如此继续下去。

在有些系统中，使用-exec选项会为处理每一个匹配到的文件而发起一个相应的进程，并非将匹配到的文件全部作为参数一次执行；这样在有些情况下就会出现进程过多，系统性能下降的问题，因而效率不高；

而使用xargs命令则只有一个进程。另外，在使用xargs命令时，究竟是一次获取所有的参数，还是分批取得参数，以及每一次获取参数的数目都会根据该命令的选项及系统内核中相应的可调参数来确定。
来看看xargs命令是如何同find命令一起使用的，并给出一些例子。
在当前目录下查找所有用户具有读、写和执行权限的文件，并收回相应的写权限：

# ls -l
drwxrwxrwx    2 sam      adm          4096 10月 30 20:14 file6
-rwxrwxrwx    2 sam      adm             0 10月 31 01:01 http3.conf
-rwxrwxrwx    2 sam      adm             0 10月 31 01:01 httpd.conf


# find . -perm -7 -print | xargs chmod o-w
# ls -l
drwxrwxr-x    2 sam      adm          4096 10月 30 20:14 file6
-rwxrwxr-x    2 sam      adm             0 10月 31 01:01 http3.conf
-rwxrwxr-x    2 sam      adm             0 10月 31 01:01 httpd.conf

用grep命令在所有的普通文件中搜索hostname

# find . -type f -print | xargs grep "hostname"
./httpd1.conf:#     different IP addresses or hostnames and have them handled by the
./httpd1.conf:# VirtualHost: If you want to maintain multiple domains/hostnames
on your

这grep命令在当前目录下的所有普通文件中搜索hostnames这个词：

# find . -name \* -type f -print | xargs grep "hostnames"
./httpd1.conf:#     different IP addresses or hostnames and have them handled by the
./httpd1.conf:# VirtualHost: If you want to maintain multiple domains/hostnames
on your

注意，在上面的例子中， \用来取消find命令中的*在shell中的特殊含义。

find命令配合使用exec和xargs可以使用户对所匹配到的文件执行几乎所有的命令。