Shell—爬取网页图片

  最近看到一个非常好玩的东西，在此做一下分享，爬取网页的图片自动下载到本地目录（可以使用wget 或 curl命令）。那么先用来爬取一些美女图片吧，爬一组舒淇照片，指定 .jpg格式
  给个热心网址，“http://www.mingxing.com/mingxing/tuku/name/shuqi.html”，下面就拿这个网址来爬取，先贴张性感的养眼照片
          

源文件如下：

#!/bin/bash

if [ $# -ne 3 ]
then
	echo "Usage: $0 URL -d DIRECTORY"
	exit -1	
fi
while [ $# -gt 0 ]
do
	case $1 in
	-d) shift; directory=$1; shift ;; # shift用来左移参数位置
	*) url=$1; shift;;
	esac
done
mkdir -p $directory
baseurl=$(echo $url | egrep -o "https?://[a-z.\-]+")
echo Downloading $url
curl -s $url | egrep -o "<img[^>]*src=[^>]*>" | sed 's:<img[^>]*src=\"\([^"]*\).*:\1:g' | sed "s,^/,$baseurl/," | egrep "*.jpg" > /tmp/$$.list
cd $directory
while read filename
do
	echo Downloading $filename
	curl -s -O "$filename" --silent
done < /tmp/$$.list

执行后

到此完毕…