一、爬虫
就是将网站上的内容下载下来，在需要下载大量网站内容的时候可以起到提高效率的作用。
二、入门示例
2.1 前期准备
软件准备：
2.2 访问网站
目标：通过程序成功访问到网站
准备：a. 网站的域名
b. requests库
import requests
data = requests.get("http://www.baidu.com")
print(data.content.decode('utf-8'))
上面有了网站的域名就可以直接访问，但是如果其他的网站就并非就这么的顺利，例如这一个网站，说明该网站访问的时候需要更多的请求指令，最常见的就是User-Agent。
https://movie.douban.com/subject/35183042/comments?start=20&limit=20&status=P&sort=new_score
需要将上面的程序修改为下面的形式：
import requests
#获取一页的豆瓣评论
get_headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/103.0.0.0 Safari/537.36'
}
get_url = 'https://movie.douban.com/subject/35183042/comments?start=20&limit=20&status=P&sort=new_score'
pinglun_data = requests.get(get_url,headers=get_headers)
# print(pinglun_data.text)
print(pinglun_data.content.decode('utf-8'))
print(pinglun_data.status_code)#状态码
其中的User-Agent需要在浏览器中查找。
具体方法为
-
在浏览器中访问该网站
-
右击检查
-
找到
网络，按着图中选择，找不到的画就刷新一下界面
-
拉到最下面就可以看到
User-Agent
