在爬取百度图片的过程中，因为自己写的是转成Json的格式，但是在爬取的过程中会出现各种各样的错误，最终躺了！还是使用正则表达式比较稳。
import requests
import os
import re
def get_images_from_baidu(keyword, page_num, save_dir):
# UA 伪装：当前爬取信息伪装成浏览器
# 将 User-Agent 封装到一个字典中
# 【（网页右键 → 审查元素）或者 F12】 → 【Network】 → 【Ctrl+R】 → 左边选一项，右边在 【Response Hearders】 里查找
header = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.108 Safari/537.36'}
# 请求的 url
url = 'https://image.baidu.com/search/acjson?'
n = 0
for pn in range(0, 30 * page_num, 30):
# 请求参数
param = {
'tn': 'resultjson_com',
# 'logid': '7603311155072595725',
'ipn': 'rj',
'ct': 201326592,
'is': '',
'fp': 'result',
'queryWord': keyword,
'cl': 2,
'lm': -1,
'ie': 'utf-8',
'oe': 'utf-8',
'adpicid': '',
'st': -1,
'z': '',
'ic': '',
'hd': '',
'latest': '',
'copyright': '',
'word': keyword,
's': '',
'se': '',
'tab': '',
'width': '',
'height': '',
'face': 0,
'istype': 2,
'qc': '',
'nc': '1',
'fr': '',
'expermode': '',
'force': '',
'cg': '', # 这个参数没公开，但是不可少
'pn': pn, # 显示：30-60-90
'rn': '30', # 每页显示 30 条
'gsm': '1e',
'1618827096642': ''
}
request = requests.get(url=url, headers=header, params=param)
if request.status_code == 200:
print('Request success.')
request.encoding = 'utf-8'
# 正则方式提取图片链接
html = request.text
image_url_list = re.findall('"thumbURL":"(.*?)",', html, re.S)
print(image_url_list)
# # 换一种方式
# request_dict = request.json()
# info_list = request_dict['data']
# # 看它的值最后多了一个，删除掉
# info_list.pop()
# image_url_list = []
# for info in info_list:
# image_url_list.append(info['thumbURL'])
if not os.path.exists(save_dir):
os.makedirs(save_dir)
for image_url in image_url_list:
image_data = requests.get(url=image_url, headers=header).content
with open(os.path.join(save_dir, f'{
n+1:06d}.jpg'), 'wb') as fp:
fp.write(image_data)
n = n + 1
if __name__ == '__main__':
keywords=['艾叶植物','白扁豆植物','百部植物','百合植物','白花蛇舌草','白蔻植物','白茅根植物','白芍植物','白头翁植物','白术植物',
'柏子仁植物','巴戟天植物','板蓝根植物','半夏植物','北沙参植物','苍术植物','草果植物','草蔻植物','侧柏叶植物','柴胡植物',
'陈皮植物','赤芍植物','穿心莲植物','党参植物，','丹参植物','大青叶植物','大血藤植物','地榆植物','杜仲植物','佛手植物',
'茯苓植物','覆盆子植物','附子植物','甘草植物','葛根植物','枸杞子植物','钩藤植物','贯众植物','合欢皮植物','何首乌植物',
'红蔻植物','厚朴植物','槐花植物','黄柏植物','黄精植物','黄芪植物','火麻仁植物','虎杖植物','姜黄植物','荆芥植物','金钱草植物',
'金银花植物','鸡血藤植物','决明子植物','苦参植物','莱菔子植物','连翘植物','灵芝植物','路路通植物','罗汉果植物','络石藤植物',
'麦冬植物','麦芽植物','墨旱莲植物','牛膝植物','女贞子植物','佩兰植物','蒲公英植物','蒲黄植物','羌活植物','前胡植物','人参植物',
'肉苁蓉植物','肉豆蔻植物','肉桂植物','桑葚植物','山药植物','山楂植物','山茱萸植物','射干植物','紫菀植物','紫花地丁植物',
'竹茹植物','枳实植物','枳壳植物','知母植物','珍珠母植物','浙贝母植物','泽兰植物','玉竹植物','郁金植物','远志植物','薏苡仁植物',
'茵陈植物','益母草植物','野菊花植物','续断植物','细辛植物','辛夷植物','小茴香植物','仙鹤草植物','香附植物','夏枯草植物',
'乌梅植物','五加皮植物','菟丝子植物','通草植物','天麻植物','天冬植物','水红花子植物','首乌藤植物']
for keyword in keywords:
save_dir = "../图片/"+keyword
page_num = 20
get_images_from_baidu(keyword, page_num, save_dir)
print('Get images finished.')
转载：https://zhuanlan.zhihu.com/p/367325899