文件操作
help——列出cygwin支持的所有命令
pwd——显示当前的路径
ls——显示当前文件夹中的所有文件
mkdir——建立目录
rmdir——删除目录
rm——删除文件
cat bj.log ——打开文件
-----------------------------------------------------------------------------------------------------------------------
grep 查找命令
cat bj.log grep Baiduspider >xin.log——查找包含Baiduspider的数据并导入到xin.log文件中
-----------------------------------------------------------------------------------------------------------------------
wc 统计命令
wc -l log.log ——统计文件行数
wc -c log.log ——统计文件字节数
wc -w log.log ——统计文件单词数
-----------------------------------------------------------------------------------------------------------------------
综合查询
cat baidu.log|awk '{if($9 ~"200") print $7}'|wc -l ——查询日志文件中200状态码的行数
cat baidu.log|grep 'Baiduspider'|awk '{if($9 ~"200") print $7}'|wc -l ——查询日志文件中包含Baiduspider且状态码为200的行数
cat baidu.log | awk '{if ($9 ~"200") print $4}'|awk -F ":" '{print $2}'|sort|uniq -c|sort -nrk 1,1|less ——查询日志文件中200状态码的访问时间排行
cat baidu.log|awk '{if ($9~ "200") print $7}'||sort|uniq -c|sort -nrk 1,1|less ——查看网站访问最多的链接
cat baidu.txt|awk ‘{print $9}’|sort|uniq -c ——判断404情况：统计状态码的指令
cat 404.txt|awk ‘{print $7}’>>baidu404.txt ——导出链接
cat baidu.txt|awk ‘{print $7}’|sort|uniq -c ——查看一个链接被重复抓取的次数
cat sougou.log|awk '{print $9}'|sort|uniq -c ——统计所有状态码数量
cat spz.log awk '{print $1}' |sort |uniq|wc -l ——统计有多少IP访问
cat baidu.log | awk ‘{print $1}’ | sort | uniq -c | sort -k1r ——每个IP访问次数