python爬虫爬取百度贴吧图片，requests方法

每天一点点，记录学习

近期爬虫项目，看完请点赞哦～～～：

1:python 爬取菜鸟教程python100题，百度贴吧图片反爬虫下载，批量下载

2:python爬虫爬取百度贴吧图片，requests方法

3:python 爬虫爬取百度贴吧图片 urllib.request.urlretrieve图片批量下载函数

python爬虫爬取百度贴吧图片，requests方法
知识点：反爬虫
1:仍然是找到该图片的http链接，复制到新窗口，找到user-agent

找到user-agent，将user-agent后边的内容全部复制

#反爬虫
headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'}

全部代码如下：

import requests
from lxml import etree
url = 'https://tieba.baidu.com/p/5815297430'
#反爬虫
headers = {'user-agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'}
response = requests.get(url)
data = response.content.decode('utf-8')

#解析
html = etree.HTML(data)
img = html.xpath('//img[@class="BDE_Image"]/@src')
a = 1
for i in img:
    res = requests.get(i,headers = headers)
    img_data = res.content   #只能转换为字节流才能下载图片
    with open ('/Users/你的路径/百度贴吧图片批量下载/{}.jpg'.format(a),'wb') as f:
        f.write(img_data)
        print('第%d张图片已下载完成'%a)
        a += 1

复制即可用，还有用批量图片下载函数爬取图片的方法，链接?批量下载图片