前面都没写内容,直接放上原文链接还是有点偷懒,很多人可能不会再点进去看,所以还是辛苦一下,再写一遍好了。
正文:
又是一个实践,这次准备爬取豆瓣电影top250,并把数据保存到mysql中,虽说数据量不大,对速度没有太大的要求,不过为了练习多进程爬虫,还是用多进程的方法写了这个爬虫。
多进程有什么用呢?在数据量少的时候,用不用多进程问题不大,但当数据量大的时候,多进程在效率提升上的作用就非常突出了。进程每多一个,速度就提升一倍,比如我的电脑是4核的,默认开4个进程(当然可以自己设置,但不宜过多),那么效率就能提升四倍。下面来看代码吧。
from bs4 import BeautifulSoup
import requests, get_proxy, pymysql
from multiprocessing import Pool #多进程需要用到的库,pool可以称为进程池
douban_urls = ['https://movie.douban.com/top250?start={}&filter='.format(i) for i in range(0, 250, 25)]
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"}
proxy_list = get_proxy.get_ip_list() #爬取代理的函数可以看我的上一篇日志
db = pymysql.connect('localhost', 'root', '', 'doubantop250') #链接数据库
cursor = db.cursor()
def get_info(douban_url):
proxies = get_proxy.get_random_ip(proxy_list) #设置代理,返回一个字典
wb_data = requests.get(douban_url, headers=headers, proxies=proxies)
soup = BeautifulSoup(wb_data.text, 'lxml')
item_list = soup.find_all('div', 'item')
for item in item_list:
link = item.select('div.hd > a')[0].get('href')
title = item.select('div.hd > a > span:nth-of-type(1)')[0].text
info = item.select('.info .bd p:nth-of-type(1)')[0].text.split('/')
year = info[-3].split()[-1]
country = info[-2].strip()
types = info[-1].strip()
star = item.select('.rating_num')[0].text
db.ping(reconnect=True) #不知道为什么使用多进程,总会发生InterfaceError (0, '')这个错误,所以每次执行语句之前先确保连接正常,就是Ping一下
sql = '''INSERT INTO top250(link,title,year,country,type,star) VALUES("{}","{}",{},"{}","{}",{})'''.format(link, title, year, country, types, star)
try:
cursor.execute(sql)
db.commit() #这个函数用于同步数据库数据,如果不想因为可能引发一个错误,中止程序运行,使得前面抓的数据没有记录到数据库中就每次做修改后调用一下
except pymysql.err.ProgrammingError:
print(sql, '\n', douban_url) #这里有一条数据比较特殊,所以会引发语法错误,没关系先跳过
if __name__ == '__main__': #这条语句是必须的,至于为什么,可以不写这行,直接运行下面两行看看,ide会有提示说必须在这下面运行,所以要加上。其实这个__name__ == '__main__'就是证明程序是独自运行,而不是被其他程序调用而运行的,意思就像是我就是我自己。多进程就得在这种状态下才可以进行
pool = Pool() #可以用Pool(processes=)来设置进程数
pool.map(get_info, douban_urls) #map这个函数,可以将后面的列表里的元素,一个个作为参数放到前面的函数中运行,有个约定函数在map中作为参数可以不写括号
db.close()
成果
当然因为有一条数据比较特殊所以少了一条。少的那条是
可以看到这里有多个时间,并且后面有括号里的多余的内容,不过没关系,因为只有一条比较特殊,单独处理下就好了。