python爬虫基本原理

什么是爬虫？
请求网站并提取数据的自动化程序。

爬虫的基本流程
1. 发起请求：通过HTTP库向目标站点发起请求，既发送一个Request，请求可以包含额外的headers等信息，等待服务器相应。
2. 解析内容：得到的内容可能是HTML，可以使用正则表达式 ，网页解析库进行解析。可能是Json，可以直接转化为Json对象解析，可能是二进制数据，可以做郝村或进一步处理。
3. 获取相应内容：如果服务器能正常响应则会得到一个Reponse，Response的内容便是索要获取的页面内容，类型可能有HTML，Json字符串，二进制数据等。
4. 保存数据：可以保存为文本也可以保存至数据库或者特定格式。

Request
游览器发送信息给网址所在的服务器，这个过程叫HTTP Request。

 1. 请求方式：主要是GET、POST还有HEAD、PUT、DELETE、OPTIONS等
 2. 请求头：包含请求的头部信息，如User-Agent、Host、Cookies等信息。
 3. 请求URL：URL全称统一资源定位符，如一个网页一个图片等都可以用URL唯一确定。
 4. 请求体：请求时额外携带的数据如表单提交时的表单数据。

Response
服务器收到游览器发送的信息后能够根据游览器发送的内容作相应的处理，然后把信息回传给游览器，这个过程叫HTTP Response，游览器收到服务器Response信息后会对信息进行处理然后展示。

 1. 响应状态：如200（成功）、301（跳转）、404（找不到页面）、502（服务器错误）
 2. 响应头：如内容类型、内容长短、服务器信息、设置Cookie等。
 3. 响应体：最主要的部分，包含了请求资源的内容，如网页HTML、图片二进制数据等。

如何解析

1. 直接处理
2. Json解析
3. 正则表达式
4. BeautifulSoup
5. PyQuery
6. XPath