Python爬虫入门教程 78-100 用Scrapy+BloomFilter再写个增量爬虫

写在前面

今天是第78篇Python爬虫博客了,在这里立个Flag,争取在10月1日之前把爬虫百例写完,如果你从第一篇看到现在,你应该是一个合格的爬虫Coder了,继续加油!!

继续搞定增量爬虫,本文涉及两个Python模块,一个为Scrapy,另一个是BloomFilter

BloomFilter(布隆过滤器)使用场景

关于BloomFilter是谁发明的以及为什么发明,本文就不在赘述了,下面主要给大家分享一下BloomFilter使用的场景

  1. 黑名单应用(邮件黑名单)
  2. 网络爬虫去重(和我们要学的增量爬虫产生了关联)
  3. KV系统快速判断Key是否存在
  4. 减少缓存穿透(具体没尝试过,不做过多的解释,可以参照:http://blog.itpub.net/31561269/viewspace-2639083/ 博客内容)

今天需要掌握的一个库叫做pybloom_live 关于它的源码,最新的版本参照

猜你喜欢

转载自blog.csdn.net/hihell/article/details/108225659