第17章分布式爬虫-17-1 分布式系统简介

17-1 分布式系统简介

技术难点：突破反爬虫机制，如何遵循robots协议 ，如何去模拟用户登陆 ，如何从页面获取有价值信息，动态页面如何处理。这门课程不讲。本课程分布式爬虫，如何处理分发爬取的任务。