Linux wget爬虫命令

查看网站URL是否正常最常见的方式莫过于使用wget和curl工具来活动网站的URL信息；

1. wget命令：下载网页或者文件的工具命令

–spider 模拟爬虫的行为去访问网站，但是不会下载网站
–q, --quit 安静的访问，禁止输出，类似于 -o 、dev/null
–o， --output-file=FILE，记录输出到文件中
–T， 网站访问超时的时间
–t，网站异常时重试的次数

实时监控的方式：(利用放回值确定网站是否正常)

wget --spider -T  5  -q  -t  2  www.baidu.com  #(这个命令会wget 会后台爬取网站)

echo $? => 输出 0 表示上个命令执行正常