1.什么是爬虫
请求⽹站并提取数据的⾃动化程序
2.爬虫基本流程
- 发起请求。通过HTTP库向⽬标站点发起请求，即发送⼀个Request，请求可以包含额外的headers等信息，等待服务器响应。
- 获取响应内容。如果服务器能正常响应，会得到⼀个Response，Response的内容便是所要获取的⻚⾯内容，类型可能有HTML，Json字符串，⼆进制数据（如图⽚视频）等类型。
- 解析内容，得到的内容可能是HTML，可以⽤正则表达式、⽹⻚解析库进⾏解析。可能是Json，可以直接转为Json对象解析，可能是⼆进制数据，可以做保存或者进⼀步的处理。
- 保存数据。保存形式多样，可以存为⽂本，也可以保存⾄数据库，或者保存特定格式的⽂件。
3.什么是Request和Response?
- 浏览器就发送消息给该⽹址所在的服务器，这个过程叫做HTTP Request。
- 服务器收到浏览器发送的消息后，能够根据浏览器发送消息的内容，做相应处理，然后把消息回传给浏览器。这个过程叫做HTTP Response。
- 浏览器收到服务器的Response信息后，会对信息进⾏相应处理，然后展示。
Request
- 请求⽅式.主要有GET、POST两种类型，另外还有HEAD、PUT、DELETE、OPTIONS等。
- 请求URL.URL全称统⼀资源定位符，如⼀个⽹⻚⽂档、⼀张图⽚、⼀个视频等都可以⽤URL唯⼀来确定。
- 请求头.包含请求时的头部信息，如User-Agent、Host、Cookies等信息。
- 请求体.请求时额外携带的数据如表单提交时的表单数据.
Response
- 响应状态.有多种响应状态，如200代表成功、301跳转、404找不到⻚⾯、502服务器错误
- 响应头.如内容类型、内容⻓度、服务器信息、设置Cookie等等。
- 响应体.最主要的部分，包含了请求资源的内容，如⽹⻚HTML、图⽚⼆进制数据等。
'
4.能抓怎样的数据？
- ⽹⻚⽂本.如HTML⽂档、Json格式⽂本等。
- 图⽚.获取到的是⼆进制⽂件，保存为图⽚格式。
如定位图中图片网址复制下来
import requests
response = requests.get('https://h.2345cdn.net/i/search20200812/pic-1.png')#响应
print(response.content)#打印二进制格式,图片为二进制
#写入文件
with open('D:\\deeplearn\\xuexicaogao\\百度.jpg','wb') as f:
f.write(response.content)
f.close()
print('结束')
-
视频。同为⼆进制⽂件，保存为视频格式即可。
-
其他。只要是能请求到的，都能获取。
5.解析⽅式
我们需要对得到的网页源代码进行解析，解析方式有如下
- 直接处理。构造简单，内容简单可以直接处理
- Json解析。
- 正则表达式
- BeautifulSoup
- XPath
- PyQuery
6.如何保存数据
- ⽂本。纯⽂本、Json、Xml等。
- 关系型数据库。如MySQL、Oracle、SQL Server等具有结构化表结构形式存储。
- ⾮关系型数据库。如MongoDB、Redis等Key-Value形式存储。
- ⼆进制⽂件。如图⽚、视频、⾳频等等直接保存成特定格式即可。
创作不易，大佬请留步… 动起可爱的双手，来个赞再走呗 (๑◕ܫ￩๑)