前言：
本次项目是使用scrapy框架，爬取豆瓣电影TOP250的相关信息。其中涉及到代理IP，随机UA代理，最后将得到的数据保存到mongoDB中。本次爬取的内容实则不难。主要是熟悉scrapy相关命令以及理解框架各部分的作用。
1、本次目标
爬取豆瓣电影TOP250的信息，将得到的数据保存到mongoDB中。
2、准备工作
需要安装好scrapy以及mongoDB，安装步骤这里不做赘述。（这里最好是先了解scrapy框架各个部分的基本作用和基础知识，这样方便后面的内容的理解。scrapy文档链接：https://scrapy-chs.readthedocs.io/zh_CN/latest/）
3、创建scrapy项目和爬虫
首先需要创建一个scrapy项目，命令如下：
scrapy startproject douban （douban为你的项目名称）
创建好之后会有系统提示如下：
You can start your first spider with:
cd douban
scrapy genspider example example.com
提示的意思是让你cd进入到刚刚创建好的douban项目下面，使用下面的命令创建你的爬虫，例如：
scrapy genspider DoubanSpider movie.douban.com/top250
这样，在spiders目录下（如下图）就创建出了一个名为DoubanSpider的爬虫了。
打开爬虫文件，里面默认已经写好了一些代码。这里简单的简单的介绍一下。（详细请参考https://scrapy-chs.readthedocs.io/zh_CN/latest/topics/spiders.html）
name 是你创建爬虫的名称，相当于一个标识符，这个名称是唯一的且也是必须的。
allowed_domains 是允许爬虫爬取的域名列表（可选）
start_urls 是你的爬虫起始访问的URL
1 # -*- coding: utf-8 -*- 2 import scrapy 3 4 5 class DoubanspiderSpider(scrapy.Spider): 6 name = 'DoubanSpider' 7 allowed_domains = ['movie.douban.com/top250'] 8 start_urls = ['http://movie.douban.com/top250/'] 9 10 def parse(self, response): 11 pass
我们所要写的爬虫逻辑就是要在这一部分中来编写的，在开始动手写之前，还需要先在items文件下定义数据结构。
4、数据结构
如下图可以看到电影的相关信息，例如：电影名称，演员，导演，排名，评分等等。
需要做的是，把这些信息先在items定义好。代码如下：
1 # -*- coding: utf-8 -*- 2 3 # Define here the models for your scraped items 4 # 5 # See documentation in: 6 # https://doc.scrapy.org/en/latest/topics/items.html 7 8 import scrapy 9 10 11 class DoubanItem(scrapy.Item): 12 # define the fields for your item here like: 13 # name = scrapy.Field() 14 # 排名 15 rank = scrapy.Field() 16 # 标题 17 title = scrapy.Field() 18 # 链接 19 link = scrapy.Field() 20 # 导演&主演 21 director_actors = scrapy.Field() 22 # 时间 23 time = scrapy.Field() 24 # 类别 25 category = scrapy.Field() 26 # 评分 27 star = scrapy.Field() 28 # 评论数 29 comment = scrapy.Field() 30 # 引言 31 quote = scrapy.Field()
定义好这些之后，待会编写爬虫逻辑的时候，对于爬取到的相应数据只需要放进相应的变量里即可。
5、编写spider
下面要做的就是把需要的电影信息解析出来，这里使用xpath来完成。先来分析网站，如下图。
可以发现，每一个电影信息都在class为“grid_view”的ol节点下的li节点里。展开li节点，如下图
我们需要的电影名称就包含在class为“hd”的div/a的span节点下，这是运用xpath选择器很容易就能得到电影名称。其他的信息获取也同理，由于这次重点在sracpy框架的使用，所以获取信息这部分比较简单的内容就不在赘述，直接上代码：
1 # -*- coding: utf-8 -*- 2 import scrapy 3 4 from douban.items import DoubanItem 5 6 7 class MoviespiderSpider(scrapy.Spider): 8 name = 'movieSpider' 9 allowed_domains = ['movie.douban.com'] 10 start_urls = ['http://movie.douban.com/top250'] 11 12 def parse(self, response): 13 items = response.xpath('//ol[@class="grid_view"]//li') 14 item = DoubanItem() 15 for each in items: 16 # 排名 17 item['rank'] = each.xpath('.//div[@class="pic"]/em//text()').extract_first() 18 # 标题 19 item['title'] = each.xpath('.//div[@class="hd"]/a/span[@class="title"][1]//text()').extract_first() 20 # 链接 21 item['link'] = each.xpath('.//div[@class="info"]/div/a/@href').extract_first() 22 # 导演&主演 23 item['director_actors'] = each.xpath('.//div[@class="bd"]/p[1]/text()[1]').extract_first().strip().replace('\xa0', '') 24 # 时间和类别的集合 25 time_category = each.xpath('.//div[@class="bd"]/p[1]/text()[2]').extract_first() 26 # 时间 27 item['time'] = time_category.split('/')[0].strip() 28 # 类别 29 item['category'] = time_category.split('/')[-1].strip() 30 # 评分 31 item['star'] = each.xpath('.//div[@class="star"]/span[@class="rating_num"]/text()').extract_first() 32 # 评论数 33 item['comment'] = each.xpath('.//div[@class="star"]/span[last()]/text()').extract_first()[:-3] 34 # 引言 35 item['quote'] = each.xpath('.//p[@class="quote"]/span/text()').extract_first() 36 yield item
以上代码实现的就是从网页中提取出所需要的信息，其中第4行和14行代码是把我们刚刚定义好的信息导入进来，并且将item实例化，最后将item返回。
写到这里其实就可以得到这个页面所有电影信息了。但是这样还不够，还需要实现访问剩下页面的电影，那么就需要在写一段代码来实现访问剩下的其他页面，将得到页面的response在传给parse函数进行解析即可，代码实现如下：
1 for i in range(1, 10): 2 page = i * 25 3 start = '?' + 'start=' + str(page) 4 next_url = response.urljoin(start) 5 yield scrapy.Request(url=next_url, callback=self.parse)
下图是第二页的URL，易得出start和页数的关系，再通过urljoin构造出新的next_url，即下一页的URL，最后返回Request，其中url为下一页的URL，callback为回调函数，这里只需要再次回调parse函数进行页面解析即可。
这样一个简单爬虫就写好了。但是到这里还不行，因为我们还未修改请求的UA代理，网站接收到请求知道这是一个爬虫，会拒绝访问，下面需要添加一个随机UA。
6、RandomUA
添加UA代理最简单的一种方式是在settings文件里面，在DEFAULT_REQUEST_HEADERS 这一项里，添加User-Agent即可。
1 DEFAULT_REQUEST_HEADERS = { 2 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 3 'Accept-Language': 'en', 4 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.110 ' 5 'Safari/537.36 ' 6 }
但是这不是我们想要的，这里需要构造一个UA代理列表，每一次发送请求都会提取出一个随机的UA值，达到每一次请求的UA都是随机的。那要怎么做呢？同样先是在settings文件中，先构造一个UA列表，代码如下：
1 User_Agent = [ 2 'Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)', 3 "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; AcooBrowser; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", 4 "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0; Acoo Browser; SLCC1; .NET CLR 2.0.50727; Media Center PC 5.0; .NET CLR 3.0.04506)", 5 "Mozilla/4.0 (compatible; MSIE 7.0; AOL 9.5; AOLBuild 4337.35; Windows NT 5.1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)", 6 "Mozilla/5.0 (Windows; U; MSIE 9.0; Windows NT 9.0; en-US)", 7 "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 2.0.50727; Media Center PC 6.0)", 8 "Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET CLR 1.0.3705; .NET CLR 1.1.4322)", 9 "Mozilla/4.0 (compatible; MSIE 7.0b; Windows NT 5.2; .NET CLR 1.1.4322; .NET CLR 2.0.50727; InfoPath.2; .NET CLR 3.0.04506.30)", 10 "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN) AppleWebKit/523.15 (KHTML, like Gecko, Safari/419.3) Arora/0.3 (Change: 287 c9dfb30)", 11 "Mozilla/5.0 (X11; U; Linux; en-US) AppleWebKit/527+ (KHTML, like Gecko, Safari/419.3) Arora/0.6", 12 "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1.2pre) Gecko/20070215 K-Ninja/2.1.1", 13 "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9) Gecko/20080705 Firefox/3.0 Kapiko/3.0", 14 "Mozilla/5.0 (X11; Linux i686; U;) Gecko/20070322 Kazehakase/0.4.5", 15 "Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.8) Gecko Fedora/1.9.0.8-1.fc10 Kazehakase/0.5.6", 16 "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11", 17 "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_3) AppleWebKit/535.20 (KHTML, like Gecko) Chrome/19.0.1036.7 Safari/535.20", 18 ]
然后在middleware文件下，创建一个名为RandomUAMiddleware的类，导入刚刚在settings中创建好的UA的列表，导入random库，然后创建一个名为process_request的方法，编写好实现代码即可，代码实现如下：
1 # -*- coding: utf-8 -*- 2 3 # Define here the models for your spider middleware 4 # 5 # See documentation in: 6 # https://doc.scrapy.org/en/latest/topics/spider-middleware.html 7 import random 8 9 from douban.settings import User_Agent 10 from scrapy import signals 11 class RandomUAMiddleware(object): 12 def process_request(self,request,spider): 13 user_agent = random.choice(User_Agent) 14 request.headers['User-Agent'] = user_agent
接下来只需要返回settings文件中，打开下载中间键，添加RandomUAMiddleware即可，代码实现如下：
1 DOWNLOADER_MIDDLEWARES = {'douban.middlewares.RandomUAMiddleware': 100 }
这样就可以随机生成UA了。
7、PROXY
实现了生成随机UA之后，我们还希望每一次的请求使用不同的IP地址，这样做就可以防止被网站的管理员ban掉。怎么实现代理ip呢？其实方法和UA大同小异。
首先也是要在settings中构造一个代理IP列表（当然，下面这个代理列表现在可能已经不能用了），代码如下：
1 Proxy_list = ['http://47.95.9.128:8118', 2 'http://112.16.172.107:58337', 3 'http://103.205.26.84:41805', 4 'http://61.145.182.27:53281', 5 'http://117.191.11.71:80', 6 'http://47.92.98.68:3128', 7 'http://120.206.182.11:80', 8 'http://59.44.43.198:80', 9 'http://114.236.138.171:80']
接着也是在middleware文件下，导入该列表，创建代理的类和方法。代码实现如下：
1 # -*- coding: utf-8 -*- 2 3 # Define here the models for your spider middleware 4 # 5 # See documentation in: 6 # https://doc.scrapy.org/en/latest/topics/spider-middleware.html 7 import random 8 9 from scrapy import signals 10 11 from douban.settings import Proxy_list 12 13 class ProxyMiddleware(object): 14 def process_request(self, request, spider): 15 proxy = random.choice(Proxy_list) 16 request.meta['proxy'] = proxy
最后也同样需要在settings中打开下载中间键，添加写好的ProxyMiddleware即可，代码实现如下：
DOWNLOADER_MIDDLEWARES = {'douban.middlewares.ProxyMiddleware': 200}
这样随机代理IP的功能也实现了。
8、mongoDB
要将爬取的数据，保存在mongoDB，首先在items里面定义collection表名，代码如下：
# mongoDB表名 collection = 'movies'
然后在settings里面创建相关参数，代码如下：
MONGO_URI = 'localhost' MONGO_DB = 'doubanmovies'
接下来需要在pipeline文件下创建一个MongopPipeline的类，定义好相关方法，代码实现如下：
1 import pymongo 2 3 4 class MongoPipeline(object): 5 def __init__(self, mongo_uri, mongo_db): 6 self.mongo_uri = mongo_uri 7 self.mongo_db = mongo_db 8 9 @classmethod 10 def from_crawler(cls, crawler): 11 return cls( 12 mongo_uri=crawler.settings.get('MONGO_URI'), 13 mongo_db=crawler.settings.get('MONGO_DB') 14 ) 15 16 def open_spider(self, spider): 17 self.client = pymongo.MongoClient(self.mongo_uri) 18 self.db = self.client[self.mongo_db] 19 20 def process_item(self, item, spider): 21 self.db[item.collection].insert(dict(item)) 22 return item 23 24 def close_spider(self, spider): 25 self.client.close()
最后在settings文件中，打开ITEM_PIPELINES，并添加写好的pipeline，代码如下：
ITEM_PIPELINES = { 'douban.pipelines.MongoPipeline': 100}
8、运行爬虫
运行爬虫的命令为 scrapy crawl movieSpider（movieSpider为你的爬虫名）
最后查看结果，如下：
2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125> {'category': '剧情', 'comment': '238142', 'director_actors': '导演: 巴瑞·莱文森 Barry Levinson主演: 达斯汀·霍夫曼 Dustin Hoffman ...', 'link': 'https://movie.douban.com/subject/1291870/', 'quote': '生活在自己的世界里，也可以让周围的人显得可笑和渺小。', 'rank': '145', 'star': '8.7', 'time': '1988', 'title': '雨人'} 2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125> {'category': '剧情 犯罪 悬疑', 'comment': '228752', 'director_actors': '导演: 忻钰坤 Yukun Xin主演: 霍卫民 Weimin Huo / 王笑天 Xiaotian Wang ' '...', 'link': 'https://movie.douban.com/subject/25917973/', 'quote': '荒诞讽刺，千奇百巧，抽丝剥茧，百转千回。', 'rank': '146', 'star': '8.7', 'time': '2014', 'title': '心迷宫'} 2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125> {'category': '剧情 历史 战争', 'comment': '143256', 'director_actors': '导演: 特瑞·乔治 Terry George主演: 唐·钱德尔 Don Cheadle / 苏菲·奥...', 'link': 'https://movie.douban.com/subject/1291822/', 'quote': '当这个世界闭上双眼，他却敞开了怀抱。', 'rank': '147', 'star': '8.9', 'time': '2004', 'title': '卢旺达饭店'} 2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=75> {'category': '喜剧 剧情 爱情', 'comment': '118018', 'director_actors': '导演: 查理·卓别林 Charles Chaplin主演: 查理·卓别林 Charles Chaplin ...', 'link': 'https://movie.douban.com/subject/1294371/', 'quote': '大时代中的人生，小人物的悲喜。', 'rank': '97', 'star': '9.2', 'time': '1936', 'title': '摩登时代'} 2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=75> {'category': '剧情 家庭 奇幻 冒险', 'comment': '303989', 'director_actors': '导演: 蒂姆·波顿 Tim Burton主演: 伊万·麦克格雷格 Ewan McGregor / 阿...', 'link': 'https://movie.douban.com/subject/1291545/', 'quote': '抱着梦想而活着的人是幸福的，怀抱梦想而死去的人是不朽的。', 'rank': '98', 'star': '8.7', 'time': '2003', 'title': '大鱼'} 2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=75> {'category': '剧情 惊悚', 'comment': '411734', 'director_actors': '导演: 中岛哲也 Tetsuya Nakashima主演: 松隆子 Takako Matsu / 冈田将生 ...', 'link': 'https://movie.douban.com/subject/4268598/', 'quote': '没有一人完全善，也没有一人完全恶。', 'rank': '99', 'star': '8.7', 'time': '2010', 'title': '告白'} 2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=75> {'category': '剧情 爱情 家庭', 'comment': '185700', 'director_actors': '导演: 杨德昌 Edward Yang主演: 吴念真 / 李凯莉 Kelly Lee / 金燕玲 Elai...', 'link': 'https://movie.douban.com/subject/1292434/', 'quote': '我们都曾经是一一。', 'rank': '100', 'star': '9.0', 'time': '2000', 'title': '一一'} 2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=200> {'category': '剧情 爱情', 'comment': '115940', 'director_actors': '导演: Luc Besson主演: 让-马克·巴尔 Jean-Marc Barr / 让·雷诺 Jean ' 'Re...', 'link': 'https://movie.douban.com/subject/1300960/', 'quote': '在那片深蓝中，感受来自大海的忧伤寂寞与美丽自由。', 'rank': '224', 'star': '8.7', 'time': '1988', 'title': '碧海蓝天'} 2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=200> {'category': '科幻 悬疑 惊悚', 'comment': '224481', 'director_actors': '导演: 詹姆斯·沃德·布柯特 James Ward Byrkit主演: 艾米丽·芭尔多尼 Em...', 'link': 'https://movie.douban.com/subject/25807345/', 'quote': '小成本大魅力。', 'rank': '225', 'star': '8.4', 'time': '2013', 'title': '彗星来的那一夜'} 2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125> {'category': '剧情 爱情', 'comment': '365533', 'director_actors': '导演: 乔·怀特 Joe Wright主演: 凯拉·奈特莉 Keira Knightley / 马修·...', 'link': 'https://movie.douban.com/subject/1418200/', 'quote': '爱是摈弃傲慢与偏见之后的曙光。', 'rank': '148', 'star': '8.5', 'time': '2005', 'title': '傲慢与偏见'} 2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125> {'category': '剧情 喜剧 犯罪', 'comment': '183367', 'director_actors': '导演: 达米安·斯兹弗隆 Damián Szifron主演: 达里奥·葛兰帝内提 Darío...', 'link': 'https://movie.douban.com/subject/24750126/', 'quote': '始于荒诞，止于更荒诞。', 'rank': '149', 'star': '8.8', 'time': '2014', 'title': '荒蛮故事'} 2018-12-18 22:35:25 [scrapy.core.scraper] DEBUG: Scraped from <200 https://movie.douban.com/top250?start=125> {'category': '纪录片', 'comment': '108078', 'director_actors': '导演: 雅克·贝汉 Jacques Perrin / 雅克·克鲁奥德 Jacques Cluzaud主演:...', 'link': 'https://movie.douban.com/subject/3443389/', 'quote': '大海啊，不全是水。', 'rank': '150', 'star': '9.0', 'time': '2009', 'title': '海洋'}
以上仅为部分输出结果，让我们来查看一下mongoDB保存的数据，如下图：
这样就成功的使用scrapy框架爬取到了豆瓣电影TOP250的信息了。
结语：
感觉scrapy框架功能很强大，还需要好好熟练和掌握，另外感觉自己写文章的功力还是没啥子进步啊，emm...还说点什么呢...今天的菠萝和葡萄不错。