这里以百度搜索为案例,搜索并下载图片
import requests # python HTTP客户端库,编写爬虫和测试服务器响应数据会用到的类库 import re # 导入正则表达式模块 import random # 导入模块,随机生成一个实数,取值范围[0,1] # 从百度下载图片 # 百度图片 改变url word参数 # https://images.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1517907399736_R&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word=1 # 定义函数 def spiderPic (html, keyword): print('正在查找:'+keyword+' 对应的图片,正在从百度下载图片') # addr 为爬取的地址 for addr in re.findall('"objURL":"(.*?)"', html, re.S): # 超过36个字符长度,超出部分变为省略号 print('正在爬取URL地址'+str(addr)[0:35]+"...") try: # 请求图像的URL地址(最大时间10s) pics = requests.get(addr, timeout=10) except requests.exception.ConnectionError: print("error") continue # 路径 随机生成数0~1000 4位数 wb:二进制 fq = open("C:\\Users\\锴\\Desktop\\test\\"+(str(random.randrange(0, 1000, 4))+'.jpg'), 'wb') # 写入本地 fq.write(pics.content) #主函数 if __name__ == '__main__': word = input('请输入爬取图像关键词:')# 输入关键词 #得到搜索结果 result = requests.get('https://images.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1517907399736_R&pv=&ic=0&nc=1&z=&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&word='+word) #调用函数 spiderPic(result.text, word)