1.获取数据。根据提供的网址，向服务器发起请求，然后返回数据。
2.解析数据。把服务器返回的数据解析成我们能读懂的格式。
3.提取数据。从中提取出我们需要的数据。
4.储存数据。把这些有用的数据保存起来，便于日后的使用和分析。
1、requests.get()
import requests
#引入requests库
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')
#发送请求，并把响应结果赋值在变量res上。res是一个Response对象
print(res.status_code)
#查看响应状态，以检查请求是否成功
-
response.status_code（响应状态）
-
response.content（把Response对象的内容以二进制数据的形式返回，适用于图片、音频、视频的下载）
-
response.text把（Response对象的内容以字符串的形式返回，适用于文字、网页源代码的下载）
-
response.encoding（定义Response对象的编码。遇上文本的乱码问题，才考虑用res.encoding）
2、下载图片
import requests
res = requests.get('https://res.pandateacher.com/2018-12-18-10-43-07.png')
#发出请求，并把返回的结果放在变量res中
pic=res.content
#把Reponse对象的内容以二进制数据的形式返回
photo = open('ppt.jpg','wb')
#新建了一个文件ppt.jpg，这里的文件没加路径，它会被保存在程序运行的当前目录下。
#图片内容需要以二进制wb读写。
photo.write(pic)
#写入pic的二进制内容
photo.close()
#关闭文件
3、下载文本
import requests
#引用requests库
res = requests.get('https://localprod.pandateacher.com/python-manuscript/crawler-html/sanguo.md')
#下载《三国演义》第一回，我们得到一个对象，它被命名为res
res.encoding='utf-8'
#定义Reponse对象的编码为utf-8。
novel=res.text
#把Response对象的内容以字符串的形式返回
k = open('《三国演义》.txt','a+')
#创建一个名为《三国演义》的txt文档，指针放在文件末尾，追加内容
k.write(novel)
#写进文件中
k.close()
#关闭文档
4、下载音频
import requests
res = requests.get('https://static.pandateacher.com/Over%20The%20Rainbow.mp3')
print(res.status_code)
mp3 = res.content
#文件操作
p = open('E:\\Mypy\\练习作品\\Over The Rainbow.mp3','wb')
p.write(mp3)
p.close()
5、爬虫伦理
Robots协议是互联网爬虫的一项公认的道德规范，它的全称是“网络爬虫排除标准”（Robots exclusion protocol），这个协议用来告诉爬虫，哪些页面是可以抓取的，哪些不可以。
查看网站的robots协议，在网站的域名后加上/robots.txt就可以了。
