爬虫之旅(二)——request安排一下

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Suyebiubiu/article/details/82055463

写在前面

  1. Requests库:功能很强大的网络请求库,可以实现跟浏览器一样发送各种HTTP请求来获取网站的数据。网络上的模块、库、包指的都是同一种东西
  2. 安装:pip install requests
  3. 推荐仔细阅读英文官方文档,和中文官方文档

开始表演

目标:爬虫的第一步,获取到了网页的HTML内容

  • 1.创建一个python文件,输入第一行代码来导入requests库:
import requests #导入requests库
  • 2.获取咱们的目标网页:
r = requests.get('https://unsplash.com') #像目标url地址发送get请求,返回一个response对象
print(r.text)                            #r.text是http response的网页HTML
  • 3.菜单栏点击“Run”,选择该文件(或者直接在窗口中点击右键,运行该文件):

这只是用到了requests库的get请求,还有其他的请求使用也与之类似。下面我们简单介绍一下每个请求的用法。

requests库的使用

requests 库就是用来发送各种请求的,所以,我们就来看看各种请求怎么使用:

get 请求:

r = requests.get("https://unsplash.com")

向网站发送了一个get请求,然后网站会返回一个response。r 就是response。大家可以在运行的时候查看r的type

print(type(r))

get请求还可以传递参数:

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)

代码向服务器发送的请求中包含了两个参数key1和key2,以及两个参数的值。实际上它构造成了如下网址:
http://httpbin.org/get?key1=value1&key2=value2

 POST请求

无参数的post请求:

r = requests.post("http://httpbin.org/post")


有参数的post请求:

payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.post("http://httpbin.org/post", data=payload)

post请求多用来提交表单数据,即填写一堆输入框,然后提交。

其他请求

其他一些请求例如put请求、delete请求、head请求、option请求等其实都是类似的。但是平时用的不多,就不仔细介绍了。有用到的可以去看官网文档哦。阅读官方文档是必备技能!

r = requests.put("http://httpbin.org/put")
r = requests.delete("http://httpbin.org/delete")
r = requests.head("http://httpbin.org/get")
r = requests.options("http://httpbin.org/get")

推荐个人微信公众号,以后会持续推送技术博客!,谢谢关注

猜你喜欢

转载自blog.csdn.net/Suyebiubiu/article/details/82055463