Python爬取网页图片

        大家都知道，网上图片有很多，在我们需要的时候，我们总不能一张一张的下载吧，所以我这里写了一个程序，能够爬取静态网站的图片。这个方法主要是采用正则表达式，正则表达式说难也不难，但是就是刚开始学的时候会感觉到晦涩难懂，而且枯燥无味。但是只要能够多练练，要学会也不难，要精通就有点难了。

    这里呢，我们需要导入四个包import re， urllib  ， urllib2  ， os 。这些有什么用呢？下面的有讲解。

首先，我们需要获取网站路径地址。

#根据给定的网址来获取网页详细信息，得到的html就是网页的源代码  
def getHtml(url):  
    page = urllib.urlopen(url)  
    html = page.read()  
    return html 

这个主要是获得地址

接下来我们就需要对地址进行解析，获取网站中所有图片的图片链接，采用正则表达式，能够方便快捷。

#获取网页中所有图片的地址  
def getAllImg(html):  
    #利用正则表达式把源代码中的图片地址过滤出来  
    reg = r'src="(.+?\.jpg)" pic_ext'  
    imgre = re.compile(reg)  
    imglist = imgre.findall(html) #表示在整个网页中过滤出所有图片的地址，放在imglist中  
    return imglist 

好，现在呢，我们需要弄一个图片下载的地址，不然这些图片一般都是默认存储在.py这个文件的路径下。我们寻找起来也有点麻烦。下面这个就是代码；

 mkdir('C:\\Users\\ASUS\\Desktop\\txt\\imgage') #创建本地文件夹  
    imglist = getAllImg(html) #获取图片的地址列表  
    saveImages(imglist,'C:\\Users\\ASUS\\Desktop\\txt\\imgage') # 保存图片  

以上是对爬取静态网站的图片的各个程序段的分析，下面本楼主将会给大家完整的代码，这个是爬取百度贴吧的。各位有兴趣的道友可以去试试。

# -*- coding: utf-8 -*-  
# feimengjuan  
import re  
import urllib  
import urllib2  
import os  
#抓取网页图片  
  
  
#根据给定的网址来获取网页详细信息，得到的html就是网页的源代码  
def getHtml(url):  
    page = urllib.urlopen(url)  
    html = page.read()  
    return html  
  
#创建保存图片的文件夹  
def mkdir(path):  
    path = path.strip()  
    # 判断路径是否存在  
    # 存在    True  
    # 不存在  Flase  
    isExists = os.path.exists(path)  
    if not isExists:  
        print u'新建了名字叫做',path,u'的文件夹'  
        # 创建目录操作函数  
        os.makedirs(path)  
        return True  
    else:  
        # 如果目录存在则不创建，并提示目录已经存在  
        print u'名为',path,u'的文件夹已经创建成功'  
        return False  
  
# 输入文件名，保存多张图片  
def saveImages(imglist,name):  
    number = 1  
    for imageURL in imglist:  
        splitPath = imageURL.split('.')  
        fTail = splitPath.pop()  
        if len(fTail) > 3:  
            fTail = 'jpg'  
        fileName = name + "/" + str(number) + "." + fTail  
        # 对于每张图片地址，进行保存  
        try:  
            u = urllib2.urlopen(imageURL)  
            data = u.read()  
            f = open(fileName,'wb+')  
            f.write(data)  
            print u'正在保存的一张图片为',fileName  
            f.close()  
        except urllib2.URLError as e:  
            print (e.reason)  
        number += 1  
  
  
#获取网页中所有图片的地址  
def getAllImg(html):  
    #利用正则表达式把源代码中的图片地址过滤出来  
    reg = r'src="(.+?\.jpg)" pic_ext'  
    imgre = re.compile(reg)  
    imglist = imgre.findall(html) #表示在整个网页中过滤出所有图片的地址，放在imglist中  
    return imglist  
  
  
#创建本地保存文件夹，并下载保存图片  
if __name__ == '__main__':  
    html = getHtml("http://tieba.baidu.com/p/2460150866")#获取该网址网页详细信息，得到的html就是网页的源代码  
    path = u'图片'  
    mkdir('C:\\Users\\ASUS\\Desktop\\txt\\imgage') #创建本地文件夹  
    imglist = getAllImg(html) #获取图片的地址列表  
    saveImages(imglist,'C:\\Users\\ASUS\\Desktop\\txt\\imgage') # 保存图片