前言：
学习了python的基础知识后，我们来写一个简单的爬虫案例，本案例用到了urllib和re库。
本案例的爬虫原理：
首先我们用urllib库来模拟浏览器访问网站的行为，由给定的网站链接（url）得到对应网页的源代码（html标签）。其中，源代码以字符串的形式返回。
然后我们用正则表达式re库在字符串（网页源代码）中匹配表示图片链接的小字符串，返回一个列表。最后循环列表，根据图片链接将图片保存到本地。
其中urllib库的使用在python2.x和python3.x中的差别很大，本案例以python3.x为例
正文：
直接上代码：
'''
第一个简单的爬虫程序，使用python3.x和urllib与re库
'''
import urllib.request
import re
def getHtmlCode(url): # 该方法传入url，返回url的html的源码
headers = {
'User-Agent': 'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Mobile Safari/537.36'
}
url1 = urllib.request.Request(url, headers=headers) # Request函数将url添加头部，模拟浏览器访问
page = urllib.request.urlopen(url1).read() # 将url页面的源代码保存成字符串
page = page.decode('UTF-8') # 字符串转码
return page
def getImg(page): # 该方法传入html的源码，经过截取其中的img标签，将图片保存到本机
# findall(正则,代表页面源码的str)函数，在字符串中按照正则表达式截取其中的小字符串
# findall()返回一个列表,列表中的元素是一个个的元组，元组的第一个元素是图片的url，第二个元素是url的后缀名
# 列表形如：[('http://www.zhangzishi.cc/732x120.gif', 'gif'), ('http://ww2.sinaimg.cn/qomyo.jpg', 'jpg')
imgList = re.findall(r'(http:[^\s]*?(jpg|png|gif))"',page)
x = 0
for imgUrl in imgList: # 列表循环
print('正在下载：%s'%imgUrl[0])
# urlretrieve(url,local)方法根据图片的url将图片保存到本机
urllib.request.urlretrieve(imgUrl[0],'E:/pythonSpiderFile/img/%d.jpg'%x)
x+=1
if __name__ == '__main__':
url = 'http://www.zhangzishi.cc/20151004mt.html'
page = getHtmlCode(url)
getImg(page)上述代码在找图片的url时，我们用的是re（正则表达式）。re用得好的话会有奇效，用的不好，效果极差。
既然我们得到了网页的源代码，我们何不根据标签的名称来得到其中的内容。
接下来要介绍的BeautifulSoupl库就能根据标签的名称来得到标签的内容。