python爬虫——requests状态码418

问题描述

  使用requests库爬取某个豆瓣电影评论status_code码为418
问题描述
  根据官方文档显示,status_code200时表示get成功。查了一下官方github的issue(像“愉快地讨论”问题)以及其他资料,发现418就是爬取的网站有反爬取机制,然后我就被KO了~

解决方案

  方法很easy~就是添加请求headerUserAgent防止被反爬虫识别。获取本机UserAgent信息,由于我的浏览器是Chrome,直接在浏览器地址栏添加chrome://version/即可查询复制。

headers = {
    
    'User-Agent' : '本机UserAgent的信息'}
url = '爬取的网址'
r = requests.get(url,headers = headers)
r.status_code

  幸运地解决了问题,status_code变成了200

参考链接

requests状态码
requests官方文档
参考解决方案
UserAgent

猜你喜欢

转载自blog.csdn.net/weixin_40807714/article/details/109579279