爬虫5

1 数据存储到mongodb（pipeline持久化）

深度优先和广度优先

scrapy中通过队列和栈和优先级队列实现该方案

把地址存入数据库:如下4个地方需要操作

settings配置，之后才能调度到pipeline中去执行

cnblogs.py

    def parse(self, response):
        item_list  = response.css('#post_list .post_item')
        for item in item_list:
            article_url = item.css('.post_item_body a::attr(href)').extract_first()
            article_name = item.css('.titlelnk::text').extract_first()# 取a标签里面的内容用a::text
            commit_count = item.css('.article_comment a::text').extract_first()
            auther_name = item.css('.post_item_foot a::text').extract_first()

            article_item = ArticleItem()
            article_item['article_url']=article_url# 这里只能写[]取值，因为他（ArticleItem）没有写getattr和settattr方法！！
            article_item['article_name']=article_name
            article_item['commit_count']=commit_count
            article_item['auther_name']=auther_name
            yield article_item
            # yield Request(url, callback=self.parse_detail)# 注意这个callback不写，默认就回调到parse这个地方，我们可以指定回调的地方！！

        next_url=response.css('.pager a:last-child::attr(href)').extract_first()
        print('https://www.cnblogs.com'+next_url)
        yield Request('https://www.cnblogs.com'+next_url)

items.py

class ArticleItem(scrapy.Item):
    article_name = scrapy.Field()
    article_url = scrapy.Field()
    auther_name = scrapy.Field()
    commit_count = scrapy.Field()

pipelines.py

from pymongo import MongoClient

class ArticleMongodbPipeline(object):
    def process_item(self, item, spider):
        # 1、链接
        client = MongoClient('localhost', 27017)
        # 2、use 数据库
        db = client['db2']  # 等同于：client.db1
        # 3、查看库下所有的集合
        # print(db.collection_names(include_system_collections=False))
        # 4、创建集合
        table_user = db['userinfo']  # 等同于：db.user
        table_user.save(dict(item))
        # return item

settings

在setting中配置pipeline
ITEM_PIPELINES = {
'myscrapy.pipelines.ArticleMongodbPipeline': 300,   #数字越小越先执行
'myscrapy.pipelines.ArticleFilePipeline': 100,
}# 这里是对应pipelines.py的类名写的！！！！

2 去重规则（系统自带去重）

针对yeild的url链接可能是重复的

先采用MD5加密，减少内存占用，并且对可能对如下出现MD5值不一样的情况，系统也做了处理，使得一致。

-把url放到集合中
    -存在缺陷：
    1 可能很长，占内存非常大————md5值（）
    2   www.baidu.com?name=lqz&age=18
        www.baidu.com?age=18&name=lqz
-BloomFilter去重（了解）
# 备注

源码入口：

from scrapy.dupefilters import RFPDupeFilter# 点击最后一个

不去重：

dont_filter=True（request的参数）

yield Request('https://www.cnblogs.com'+next_url,dont_filter=True)# 这样就不去重！！！

3 下载中间件（middlewares.py）

作用在什么时候？

下载东西过来的时候触发

-使用cookie
-使用代理池
-集成selenium
-使用：
    -写一个类：MyscrapyDownloaderMiddleware
        -process_request
            加代理，加cookie，集成selenium。。。。
            return None,Response,Resquest
        -process_response
    -在setting中配置        -
         DOWNLOADER_MIDDLEWARES = {'myscrapy.middlewares.MyscrapyDownloaderMiddleware': 543}

#自己写
class MyscrapyDownloaderMiddleware(object):
    @classmethod
    def from_crawler(cls, crawler):
        s = cls()
        return s

    def process_request(self, request, spider):

        print('来了')
        print(request.url)

        #headers可以改
        print(request.headers)
        #从cookie池中取出cookie赋值进去
        print(request.cookies)
        
        #使用代理request中的meta
        # request.meta['download_timeout'] = 20# 超时时间
        # request.meta["proxy"] = 'http://192.168.1.1:7878'（随便写的）
        # print(request)
        # print(spider)
        # 返回值：None，Request对象，Response对象
        #None 继续走下一个下载中间件
        #Response 直接返回，进入spider中做解析
        #Request 回到调度器，重新被调度
        #可以使用selenium
        return HtmlResponse(url="www.baidu.com", status=200,  body=b'sdfasdfasfdasdfasf')

    def process_response(self, request, response, spider):
        print('走了')
        print(request)
        print(spider)
        print(type(response))
        return response

    def process_exception(self, request, exception, spider):#代理超时或异常
        print('代理%s，访问%s出现异常:%s' % (request.meta['proxy'], request.url, exception))
        import time
        time.sleep(5)
        #删除代理
        # delete_proxy(request.meta['proxy'].split("//")[-1])
        #重新获取代理，放进去
        # request.meta['proxy'] = 'http://' + get_proxy()


        #return request 会放到调度器重新调度.这个地方写的不太好，他又走中间件，又进入循环了。因此代理完全可以卸载cnblogs中！
        return request

    def spider_opened(self, spider):
        spider.logger.info('Spider opened: %s' % spider.name)

4 爬虫中间件

-写一个类MyscrapySpiderMiddleware
    -写一堆方法
-在setting中配置
    SPIDER_MIDDLEWARES = {
        'myscrapy.middlewares.MyscrapySpiderMiddleware': 543,
    }

5 信号

在某个位置要执行一个功能

有内置信号，只需要给他关联函数。

        -写一个类：class MyExtension(object):
            -在from_crawler绑定一些信号
            -当scrapy执行到信号执行点的时候，会自动触发这些函数
        -在setting中配置    
            EXTENSIONS = {
               'extentions.MyExtension': 100,
            }

6 布隆过滤器

查找效率：

哈希冲突--二叉树（因为深度没有这么深）--红黑树

缓存穿透：

7 分布式爬虫scrapy-redis

目的：提高爬虫效率，将项目部署在多个机器上

重复问题--统一做过滤，统一调度（redis）

原理：（将爬虫程序分布在多个机器上面，起始Url交给另个需要下载模块的redis来处理，并且不会爬取重复的链接）
    -pip3 install scrapy-redis
    -在setting中配置：
        SCHEDULER = "scrapy_redis.scheduler.Scheduler"
        DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
        ITEM_PIPELINES = {
            'scrapy_redis.pipelines.RedisPipeline': 300
        }
        （-调度器：使用scrapy-redis提供的调度器
        -去重规则：使用scrapy-redis提供的去重规则
        -可选：
            -pipelines配置成scrapy-redis提供的持久化类）
        
    -在爬虫类中：
        -继承RedisSpider
        -把start_url去掉（在redis中统一调度）
        -新增：redis_key = 'cnblogs:start_urls'

     CMD中：lpush cnblogs（这个是关联的redis_key）:start_urls https://www.cnblogs.com。l代表从列表的左侧插入

# 使用注意事项
            
1. 使用的时候，刚开始会停住，因为起始url在redis中统一调度，因此在cmd打开redis-cli
2. 通过cmd命令行专跳到pip安装的项目路径下，才能打开redis！！设置统一起始url，