利用Python网络爬虫抓取豆瓣首页图片代码分享

# 爬取豆瓣上的图片
import urllib.request
import ssl
import re

#定义一个能够从html文件里面利用正则表达式抓取出图片地址的函数
def getImgLinks(html):
    imgRe = re.compile(r'<img.*?(http[\w/:\.-]+?\.jpg).*?')
    imgLinks = imgRe.findall(html)
    print(list(imgLinks))
    return imgLinks

#打开具体的网址，并抓取其html页面    
context = ssl._create_unverified_context()
weburl = "https://www.douban.com/"#要爬取图片所在的网址
# weburl = "https://www.sina.com.cn/"
webheader = {
    'Accept': 'text/html, application/xhtml+xml, */*',
    'Accept-Language': 'zh-CN',
    'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
    'DNT': '1',
    'Connection': 'Keep-Alive',
    }
req = urllib.request.Request(url=weburl,headers=webheader)#构造请求报头
webPage = urllib.request.urlopen(req,context=context)
data = webPage.read().decode('utf-8')
print("抓取网页成功")

#主函数，依次捕获图片
imgLinks = getImgLinks(data)
print(len(imgLinks))
count = 0
localStorePath = "D:/Python学习"
for imgLink in imgLinks:
    count += 1
    print('现在开始抓取第{}个图片，其地址是{}'.format(count,imgLink))
    try:
        #以数字序号命名图片的两种方式
        # urllib.request.urlretrieve(imgLink, localStorePath + '/%s.jpg'%count)
        # urllib.request.urlretrieve(imgLink, localStorePath + '/{}.jpg'.format(count))
        #以图片本身的名字命名
        print(re.findall(r'([\w-]+)\.jpg',imgLink)[0])
        urllib.request.urlretrieve(imgLink, localStorePath + '/{}.jpg'.format(re.findall(r'([\w-]+)\.jpg',imgLink)[0]))#以地址为文件名保存
    
    except:
        print('抓取第{}个时出现问题'.format(count))
        continue
    

这是我自己写的代码，有两个方面供大家和大家分享，一是抓取html页面的时候规避ssl证书错误，二是保存图片时命名的方式。