python3 爬取百度图片

深度学习中，从网上下载大量的图片数据，肯定是必须的。作为python爬虫小白，记录一下此过程。

一、分析网页结构

1、在百度图片中输入狗，得到如下所示的网址

http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word=%E7%8B%97&pn=0&gsm=78&ct=&ic=0&lm=-1&width=0&height=0

2、选择下一页时，发现只有pn和gsm的值发生了改变。

到目前为止，我知道的是：pn参数代表的是页数；word参数自然是关键词，需要转换编码格式。

gsm的值貌似随意改也没什么影响。有一种说法是gsm:表示pn的十六进制值 参考博文

3、所以，可以拼接出page请求的URL，代码如下：

def getPage(keyword,page,n):
    page=page*n
    keyword=urllib.parse.quote(keyword, safe='/')
    url_begin= "http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word="
    url = url_begin+ keyword + "&pn=" +str(page) + "&gsm="+str(hex(page))+"&ct=&ic=0&lm=-1&width=0&height=0"
    return url

二、找到网页中的图片地址

1、右键 查看网页源代码，分析JSON数据可知，其中的字段objURL，即表示了原图的下载地址。

2、根据URL地址，得到图片地址的代码为：

def get_onepage_urls(onepageurl):
    try:
        html = requests.get(onepageurl).text
    except Exception as e:
        print(e)
        pic_urls = []
        return pic_urls
    pic_urls = re.findall('"objURL":"(.*?)",', html, re.S)
    return pic_urls

三、下载图片并保存

代码如下：

def down_pic(pic_urls):
    """给出图片链接列表, 下载所有图片"""
    for i, pic_url in enumerate(pic_urls):
        try:
            pic = requests.get(pic_url, timeout=15)
            string =str(i + 1) + '.jpg'
            with open(string, 'wb') as f:
                f.write(pic.content)
                print('成功下载第%s张图片: %s' % (str(i + 1), str(pic_url)))
        except Exception as e:
            print('下载第%s张图片时失败: %s' % (str(i + 1), str(pic_url)))
            print(e)
            continue

四、完整的代码

# coding=utf-8
"""根据搜索词下载百度图片"""
import re
import sys
import urllib

import requests



def getPage(keyword,page,n):
    page=page*n
    keyword=urllib.parse.quote(keyword, safe='/')
    url_begin= "http://image.baidu.com/search/flip?tn=baiduimage&ie=utf-8&word="
    url = url_begin+ keyword + "&pn=" +str(page) + "&gsm="+str(hex(page))+"&ct=&ic=0&lm=-1&width=0&height=0"
    return url

def get_onepage_urls(onepageurl):
    try:
        html = requests.get(onepageurl).text
    except Exception as e:
        print(e)
        pic_urls = []
        return pic_urls
    pic_urls = re.findall('"objURL":"(.*?)",', html, re.S)
    return pic_urls


def down_pic(pic_urls):
    """给出图片链接列表, 下载所有图片"""
    for i, pic_url in enumerate(pic_urls):
        try:
            pic = requests.get(pic_url, timeout=15)
            string =str(i + 1) + '.jpg'
            with open(string, 'wb') as f:
                f.write(pic.content)
                print('成功下载第%s张图片: %s' % (str(i + 1), str(pic_url)))
        except Exception as e:
            print('下载第%s张图片时失败: %s' % (str(i + 1), str(pic_url)))
            print(e)
            continue


if __name__ == '__main__':
    keyword = '狗'  # 关键词, 改为你想输入的词即可, 相当于在百度图片里搜索一样
    page_begin=0
    page_number=30
    image_number=3
    all_pic_urls = []
    while 1:
        if page_begin>image_number:
            break
        print("第%d次请求数据",[page_begin])
        url=getPage(keyword,page_begin,page_number)
        onepage_urls= get_onepage_urls(url)
        page_begin += 1

        all_pic_urls.extend(onepage_urls)

    down_pic(list(set(all_pic_urls)))

五、参考博文

1、多线程实现百度图片爬虫