【过滤大log文件】
#!/bin/bash
for X in $(egrep -o "[A-Z]\w*Exception" log_week.txt | sort | uniq);
do
echo -n -e "processing $X\t"
grep -c "$X" log_week.txt
done
其中：
egrep -o 找出日志文件中出现在“Exception”字眼之前的文字，对他们排序去重
"[A-Z]\w*Exception" 用于定位Exception的正则模式
log_week.txt 大log文件
| sort 排序
| uniq 去重
for X in $(...); 针对前面生成的异常列表中的每个异常循环执行代码
echo -n -e "processing $X\t" 执行中输出
grep -c "$X" log_week.txt 在大log文件中找出这个异常出现的次数
【Crontab】
1.格式 :
M H D m w cmd
第1列M表示分钟1～59，为 * 时表示每分钟都要执行，为 a-b 时表示从第 a 分钟到第 b 分钟这段时间内要执行
第2列H表示小时1～23（0表示0点）为 */n 时表示每 n 小时个时间间隔执行一次
第3列D表示日期1～31，为 a, b, c,... 时表示第 a, b, c,... 日要执行
第4列m表示月份1～12
第5列w表示星期0～6（0表示星期天）
第6列cmd要运行的命令,程序被送入sh执行，这个shell只有USER,HOME,SHELL这三个环境变量
停止发信:
程序在执行后，系统会发email给相应用户，若不希望收到信，请在每一行空一格之后加上 “> /dev/null 2>&1” 即可
2.例子 ：
#每月的4号与每周一到周三的11点重启
0 11 4 * mon-wed /usr/local/etc/rc.d/lighttpd restart
#在 12 月内, 每天的早上 6 点到 12 点中，每隔3个小时执行一次 /usr/bin/backup :
0 6-12/3 * 12 * /usr/bin/backup
#每月每天的午夜 0 点 20 分, 2 点 20 分, 4 点 20 分....执行 echo "haha"
20 0-23/2 * * * echo "haha"
#晚上11点到早上8点之间每两个小时，早上8点
0 23-7/2，8 * * * date
#每个月的4号和每个礼拜的礼拜一到礼拜三的早上11点
0 11 4 * mon-wed date
3.Crontab并发冲突
有冲突：1 * * * * /usr/bin/rsync -avlR /data/files 172.16.xxx.xxx:/data
无冲突：1 * * * * flock -xn /var/run/rsync.lock -c ' rsync -avlR /data/files 172.16.xxx.xxx:/data'
-x参数指定锁文件，-n参数指定如果锁文件已经存在就等待。-c参数指定建锁成功后运行后面的命令。只要第一个flock进程没执行完，锁文件都会存在，就不会运行第二个rsync进程。
4.CentOS里安装crontab:
yum install vixie-cron
yum install crontabs
service crond start
【find命令】
-type 按文件类型查找 d目录，f文件，l链接:-type d
-user 按用户查找:-user root
-perm 按文件权限查找:-perm 755
-regex 按正则表达式查找:-regex '.*b.*3'
-amin 按访问时间查找，精确到分钟:-amin -5#找5分钟内访问过的，-amin +5#找5分钟以外访问过的
-atime 按访问时间查找，精确到天:-atime -5#找5天内访问过的，-atime +5#找5天以外访问过的
-mtime 按修改时间查找，精确到天:-mtime -5#找5天内修改过的，-mtime +5#找5天以外改过的
-maxdepth 限定查找路径深度
-size 按尺寸查，尺寸有c字节，k,M,G:-size +10000c找10000字节以上的
-exec 执行命令/-ok 同-exec，每个操作都会让用户确认
-print find ./ -mtime +3 -print | xargs rm -f –r
【删除修改时间在3天以上的文件】# find . -ctime +3 -exec rm -rf {} \;
【过滤出符合关键字的文件并删除之】# find /dir -type f -exec grep keyword {} \; -print -exec rm {} \;
【dos2unix批量转】# find -type f | xargs dos2unix -o
【找出扩展名是小写mp3的文件，拼成rm -rf “filename.ext”的格式】# find . -name "*.mp3" -printf "rm -rf \"%p\"\n" | sed -n -e "s:\.\\::gp" > rmfile.sh
【找出扩展名是大写MP3的文件，并生成去掉文件名前4个字符的脚本，执行改名操作后清除临时文件】
# find . -name "*.MP3" -printf "ren \"%p\" \n" | sed -n -e "s:\.\\::gp" > oldfile.txt
# find . -name "*.MP3" -printf "\"%p\" \n" | sed -n -e "s:\.\\....::gp" > newfile.txt
# paste oldfile.txt newfile.txt > renfile.sh
# chmod 0777 renfile.sh
# ./renfile.sh
# rm -rf oldfile.txt newfile.txt renfile.sh
【查找比某个时间早的文件】
# touch -t 12071200 oldfile
# find /var/www/html -newer oldfile -print
# find /var/www/html/ -path “/var/www/html/_node” -prune -newer oldfile -print
【删除文件大小为0的文件】
# find ./ -size 0 -exec rm {} \;
# find ./ -size |xargs rm -f &
# rm -i `find ./ -size 0`
【一次解压多个.tar.gz文件】# find ./ -name ‘*.tar.gz’ -exec tar zxvf {} \; -print
【du命令】
1.想看当前目录下所有目录以及子目录的大小：
# du -h .
-h表示用K、M、G的人性化形式显示
2.只想看当前目录下abc目录的大小，并不想看其他目录以及其子目录：
# du -ch abc | tail -n 1
－c表示最后计算出所有所列目录的大小之和
# du -sh abc#汇总查看目录的大小
-s表示汇总
# du -h –max-depth=0 abc
–max-depth＝n表示只深入到第n层目录
3.列出abc目录及其子目录下所有目录和文件的大小：
# du -ah abc
-a表示包括目录和文件
4.列出所有abc目录中的目录名不包括xyz字符串的目录的大小：
# du -h –exclude=’*xyz*’
5.想在一个屏幕下列出更多的关于abc目录及子目录大小的信息：
# du -0h abc
-0（杠零）表示每列出一个目录的信息，不换行，而是直接输出下一个目录的信息。
【lsof 列出打开的文件】
# lsof abc.txt 显示开启文件 abc.txt 的进程
# lsof -i :22 知道 22 端口现在运行什么程序
# lsof -c nsd 显示 nsd 进程现在打开的文件
# lsof -g gid 显示归属 gid 的进程情况
# lsof +d /usr/local/ 显示目录下被进程开启的文件
# lsof +D /usr/local/ 同上，但是会搜索目录下的目录，时间较长
# lsof -d 4 显示使用 fd 为4 的进程
# lsof -i [i] 用以显示符合条件的进程情况
# lsof -i[46] [protocol][@hostname|hostaddr][:service|port]
46 –> IPv4 or IPv6
protocol –> TCP or UDP
hostname –> Internet host name
hostaddr –> IPv4 位置
service –> /etc/service中的 service name (可以不止一个)
port –> 端口号(可以不止一个)
例子:
# lsof -p 12 # 看进程号为 12的进程打开了哪些文件
【sed流文本处理】
1.参数
-n 除非是明确表明要输出的行，否则不输出。一般会和-p配合使用，输出那些发生变化的行。
-f 设定包含command的文件名称
-e 执行命令，命令分为两部分，一是确定范围，二是处理方式。
确定范围：可以指定行数：例如3,5表示第3-5行；5,$表示第5行至末行；也可用模式匹配：例如/^[dD]/匹配行首不是以d或D开头的行。
处理方式：
d 表示删除匹配的行
= 表示打印行号
p 打印匹配的行
r 读取指定文件的内容
w 写入到指定文件中
a\ 在下面插入新行新内容
i\ 在上面插入新行新内容
c\ 更改当前行
n 调入匹配行的下一行
y/old/new/ 对当前行执行替换操作
执行多个命令:1.可以在命令之间使用分号,2.用多个-e
一个地址多个命令
有时，可能要指定应用到一个地址的多个命令。这在执行许多 's///' 以变换源文件中的字和语法时特别方便。要对一个地址执行多个命令，可在文件中输入 sed 命令，然后使用 '{ }' 字符将这些命令分组，如下所示：
1,20{ s/[Ll]inux/GNU\/Linux/g s/samba/Samba/g s/posix/POSIX/g }
上例将把三个替换命令应用到第 1 行到第 20 行（包括这两行）。还可以使用规则表达式地址或者二者的组合：
1,/^END/{ s/[Ll]inux/GNU\/Linux/g s/samba/Samba/g s/posix/POSIX/g p }
2.例子
【模式匹配】
sed -n -e "s:huodong\/\(.*\)\/\(.*\)\.\(.*\):hd_\1_\2\.\3:g;s:\/: :g;s:\?: :g;p"
【格式转换】
UNIX -> Windows 系统
# sed -e 's/$/\r/' myunix.txt > mydos.txt
DOS格式的文本转换成UNIX格式
# sed -e 's/.$//' dos.txt>unix.txt
【删除】
删除每行最后的两个字符
# sed 's/..$//' test (用sed '/..$/d' test为什么不行？/..$/表示匹配所有末尾含有两个字符的行)
删除每一行的前两个字符
# sed ’s/..//’ test
过滤掉#打头的行
# sed -n -e 's/^[^#]/&&/gp' filename.ext
【按单词反转行】
# sed -e '1!G;h;$!d' forward.txt > backward.txt
foo bar oni -> oni bar foo
说明：'1!G'：'1G'表明'G'命令只应用于第一行，多了'!'则忽略该行，'G'命令将应用到除第一行之外的所有行。
'$!d' 命令与之类似。'$d'只把 'd'命令应用到文件中的最后一行，有了'!'之后，将把 'd' 命令应用到除最后一行之外的所有行。
'h'命令告诉 sed 将模式空间（保存正在处理的当前行的缓冲区）的内容复制到保留空间（临时缓冲区）。然后，执行 'd' 命令从模式空间中删除 "foo"。
第二行：在将 "bar" 读入模式空间之后，执行 'G' 命令，该命令将保留空间的内容 ("foo\n") 附加到模式空间 ("bar\n")，使模式空间的内容为 "bar\n\foo\n"。'h' 命令将该内容放回保留空间保护起来，然后，'d' 从模式空间删除该行。
对于最后的 "oni" 行，除了不删除模式空间的内容（由于 'd' 之前的 '$!'）以及将模式空间的内容（三行）打印到标准输出之外，重复同样的步骤。
【用模式来定位行范围】
# sed -n ‘/2005/,/2007/p’ mysed.txt
用/2005/来匹配行范围的首行，用/2008/来匹配行范围的最尾行。只要遇到符合要求的行尾即停止。
【读取一个特定文件的内容，将其插入到本文件指定的地方】
# sed ‘/2005/r ins.txt’ mysed.txt
【将符合条件的行写入到文件中】
# sed ‘/200[4-6]/w new.txt’ mysed.txt
【对匹配行的下一行进行处理】
# sed ‘/2004/{n;y/eijng/EIJNG/;}’ mysed.txt
# sed ‘/200/{n;y/eijng/EIJNG/;}’ mysed.txt #你可以发现，BEIJING是隔行出现的。
【sed交换任意两行】
# sed -n '2!{p;d};h;n;:1;8!{N;b1};G;h;n;p;g;p' （无法交换相邻行）
# sed -n '4!{p;d};4!{h;n;:1;4!{N;b1};G};h;n;p;g;p'
# sed '2{:a;N;9{s/\(^[^\n]*\)\(.*\)\(\n\)\([^\n]*$\)/\4\2\3\1/;t};ba}'
# sed -n 'A{h;n;x;H;x};p' （只交换相邻行）
# sed -n 'A{h;n;B!{:a;C!{N;ba};x;H;n};G};p'
【一个程序的输出接到两个程序的输入】
如果想要把一个程序的输出接到两个程序的输入，单靠 | 是不成的：
# mkfifo /tmp/fifo
# prog2 < /tmp/fifo &
# prog1 | tee /tmp/fifo | prog3
这就会把prog1 的标准输出同时给 prog2 和 prog3 的标准输入。
这里mkfifo是创建一个命名管道，这样可以有多个管道使，tee 则会把输出同时输出到一个文件和标准输出，实现了分岔。prog2 < /tmp/fifo & 这里要加个 &，不然管道里没数据 prog2就会阻塞。
【用diff比较两个命令的输出】
# mkfifo /tmp/fifo1
# mkfifo /tmp/fifo2
# ls dir1 > /tmp/fifo1 &
# ls dir2 > /tmp/fifo2 &
# diff /tmp/fifo1 /tmp/fifo2
【把一个字符串翻转】
# echo “abcdefg” | perl -lne ‘{$a = reverse($_); print $a;}’
# echo bottle|rev
【awk】
【过滤掉#号打头的行，和所有的空行】# awk ‘/^[^#]/&&/^[^$]/’ filename > new.file
【查看文件的第一列】# awk -F : ‘{print $1}’ /etc/passwd
【统计排序】# awk -F 't' '{print $4}' file.ext | grep keyword | uniq -c | sort -rn | head -10
其中：
awk -F '\t' 将file.ext文件，用TAB分割，打印第4列
grep keyword 只列出符合keyword的行
uniq -c 汇总计数
sort -rn 按数值排序
head -10 取%C