分布式爬虫入门

分布式爬虫

简单理解

• 之前无论是多线程爬虫，还是scrapy异步爬虫，都是在一台机器上。而分布式爬虫则是将多台主机组合起来，共同完成一个爬取任务，这将大大提高爬取的效率。

分布式爬虫架构

分布式爬虫的优点
- 可以充分利用多台机器的带宽。
- 可以充分利用多台机器的IP地址。
- 多台机器做，爬取效率会更高。

分布式爬虫要解决的问题

• 分布式爬虫是好几台机器在同时运行，如果保证不同的机器爬取页面的时候不会出现重复爬取的问题。
• 同样，分布式爬虫在不同的机器上运行，在把数据爬完后如何保证在同一个地方。