玩爬虫的应该都谢谢这个人!是他让我们的爬虫效率提升了八倍!

但他被更多路人所熟知的,恐怕还是他从一名技术肥宅逆袭成为文艺高富帅的励志故事:

看看他的个人主页www.kennethreitz.org 上的标签:

除了程序员,还有摄影师、音乐家、演讲者……不怪在社交媒体上被称为“程序员届的网红”。

其他同样非常值得推荐的东西,如 PyCharm、Anaconda 等,我在推荐完之后往往得写上一些教程,并在后续不断解答使用者的问题。

扫描二维码关注公众号,回复: 1813319 查看本文章

安装

pip install requests 即可

请求网页

只需一行代码就可以完成 HTTP 请求。然后轻松获取状态码、编码、内容,甚至按 JSON 格式转换数据。虽然这种简单请求用别的库也不复杂,但其实在内部,Requests 已帮你完成了 添加 headers、自动解压缩、自动解码 等操作。写过课程中“查天气”的同学,很可能踩过 gzip 压缩的坑,用 Requests 就不存在了。如果你发现获取的内容编码不对,也只需要直接给 encoding 赋值正确的编码后再访问 text,就自动完成了编码转换,非常方便。

上述几个配置,如果使用自带的 urllib 库,代码要增加不少。

有时我们做爬虫时,需要保持 cookie 一致,比如登录后才可访问的页面。用 Session 会话对象 就可以实现:

上面两个例子,把参数去掉试试看效果。

进群:125240963  即可获取数十套PDF书籍哦!

猜你喜欢

转载自blog.csdn.net/qq_42156420/article/details/80819559