Python爬虫都需要什么知识

1. 基本的Python语法和控制流程，如变量、条件语句、循环语句等；
2. 熟悉Python的基本数据类型，如字符串、列表、字典等；
3. HTTP协议的基本知识，包括请求方法、响应状态码等；
4. 熟悉requests库的使用，用于发起HTTP请求；
5. 解析HTML文档的能力，包括使用BeautifulSoup或lxml库进行解析；
6. 熟悉正则表达式的使用，可以用于解析HTML文档、提取目标信息；
7. 存储数据的能力，包括将数据保存到本地文件、数据库或云存储等；
8. 多线程或异步编程的基本概念，可以提高爬虫效率；
9. 爬虫的伦理道德和法律法规知识，应该遵守Robots协议和相关法律法规，不进行恶意爬取等行为。

---

举个简单的例子，如爬取网站上的图片。先使用requests库获取网页源代码，然后使用正则表达式或BeautifulSoup库解析出图片链接，再使用requests库下载图片并保存到本地。