如何利用网站的分布式部署(多IP)提高爬虫爬取速度?
利用virtual host和服务器的分布式部署,我们就可以手动的对多个IP进行数据爬取
virtual host:https://blog.csdn.net/yanwushu/article/details/38360631
详细过程见下图:
利用virtual host和服务器的分布式部署,我们就可以手动的对多个IP进行数据爬取
virtual host:https://blog.csdn.net/yanwushu/article/details/38360631
详细过程见下图: