python语言,pycharm程序中 requests库,用法案例篇

版权声明:如有侵权,请联系作者删除该文件! https://blog.csdn.net/Programmer_huangtao/article/details/80334220

           请求作用是请求网站获取网页数据的,所以作为一个预备的爬虫程序,要明白请求的作用,请求作用的,可以理解为我上你家串门,先问你有人没一个意思。

import requests                      #加入requests包
headers = {
    'User-Agent': 'Mozilla / 5.0(X11;Linux x86_64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 66.0.3359.170 Safari / 537.36'
}                                    #插入请求头,这个是可有可没有,请求头找法一个网页按F12,点击网络或者Network,点击F5,然后随便选一个控制台中的链接点击,界面的右下角请求头就出现了。
res=requests.get('http://bj.ganji.com/',headers=headers)

print(res)
print(res.text)

          请求库用法,执行的话应该是有赶集网址的,如果输出的是<Response [200]>,那就是没有问题的,如果输出的是404,那就是请求网站失败,说明你刚刚的爬虫爬区过于密集,引起引擎反爬了,禁止请求。

          注意:

 'User-Agent': 'Mozilla / 5.0(X11;Linux x86_64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 66.0.3359.170 Safari / 537.36'

         是请求头,就是爬虫作为一个虚假的浏览器,模拟访问,以便于更好的抓取数据。

猜你喜欢

转载自blog.csdn.net/Programmer_huangtao/article/details/80334220