看完这几篇笔记，你也会用Python爬虫了

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/PbGc396Dwxjb77F2je/article/details/80154951

学习python爬虫需要的知识图谱：

页面相关的知识：

1、HTML知识概况

2、CSS知识概况

3、JavaScript知识概况

爬虫的各种知识框架：

4、爬虫知识1：了解爬虫知识体系、安装Scrapy等模块

5、爬虫知识2：Scrapy框架介绍，建立第一个蜘蛛

6、爬虫知识3：seletors选择器、Xpath、 BeautifulSoup使用案例

7、爬虫知识4：Requests模块介绍

8、爬虫知识5：常见反爬虫机制——User-Agent和代理IP设置

9、爬虫知识6：自动登录与cookies的应用

10、爬虫知识7：scrapy的settings配置文件中各参数解释以及如何自定义类

11、爬虫知识8：数据存储的需求实现，Item、Pipeline介绍

12、爬虫知识9：scrapy框架自定义类及扩展

爬虫案例：

13、Python爬虫案例1：手把手教你爬取豆瓣TOP250电影各种信息

14、Python爬虫案例2：获取抽屉网页所有的新闻标题并保存到csv

15、Python爬虫案例3：爬取房天下房价等各种信息

16、Python爬虫案例4：爬取上海各区学校以及其对口学区房信息