Python程序员闲暇时的写的网上抓取美女图片,真是缺女票!

学了python以后,知道python的抓取功能其实是非常强大的,当然不能浪费,呵呵。我平时很喜欢美女图,呵呵,程序员很苦闷的,看看美女,养养眼,增加点乐趣。好,那就用python写一个美女图自动抓取程序吧~~

Python程序员闲暇时的写的网上抓取美女图片,真是缺女票!

在这里还是要推荐下我自己建的Python开发学习群:483546416,群里都是学Python开发的,如果你正在学习Python ,小编欢迎你加入,大家都是软件开发党,不定期分享干货(只有Python软件开发相关的),包括我自己整理的一份2018最新的Python进阶资料和高级开发教程,欢迎进阶中和进想深入Python的小伙伴

其中用到urllib2模块和正则表达式模块。下面直接上代码:

用python批量抓取美女图片

Python程序员闲暇时的写的网上抓取美女图片,真是缺女票!

#!/usr/bin/env python

#-*- coding: utf-8 -*-

#通过urllib(2)模块下载网络内容

import urllib,urllib2,gevent

#引入正则表达式模块,时间模块

扫描二维码关注公众号,回复: 3237402 查看本文章

import re,time

from gevent import monkey

monkey.patch_all()

def geturllist(url):

url_list=[]

print url

s = urllib2.urlopen(url)

text = s.read()

#正则匹配,匹配其中的图片

html = re.search(r'<ol.*</ol>', text, re.S)

urls = re.finditer(r'<p><img src="(.+?)jpg" /></p>',html.group(),re.I)

for i in urls:

url=i.group(1).strip()+str("jpg")

url_list.append(url)

return url_list

def download(down_url):

name=str(time.time())[:-3]+"_"+re.sub('.+?/','',down_url)

print name

urllib.urlretrieve(down_url, "D:\TEMP\"+name)

def getpageurl():

page_list = []

#进行列表页循环

for page in range(1,700):

url="http://jandan.net/ooxx/page-"+str(page)+"#comments"

#把生成的url加入到page_list中

page_list.append(url)

print page_list

return page_list

if __name__ == '__main__':

jobs = []

pageurl = getpageurl()[::-1]

#进行图片下载

for i in pageurl:

for (downurl) in geturllist(i):

jobs.append(gevent.spawn(download, downurl))

gevent.joinall(jobs)

程序不长才45行,不是太难,大家可以研究下,这里我只是抛砖引玉,大家可以根据原理开发出其他的抓取程序,呵呵,自己想去吧。。。我就不多说了~~

Python程序员闲暇时的写的网上抓取美女图片,真是缺女票!

喜欢请关注

猜你喜欢

转载自blog.csdn.net/qq_41769259/article/details/79504876