我们在写爬虫时,有些网页是需要登录后才可以查看到的,按照我们之前直接通过requests的get请求是行不通的。
一下提供三种解决方法:
- 先登录网页,添加headers中的cookies键,值为cookie字符串
- 在请求方式中添加cookies参数,接受字典形式的cookie,字典形式的键是cookie的name,值是cookie的值
- 实例化session,使用session发送post请求,再使用它获取登陆后的页面。
我们在写爬虫时,有些网页是需要登录后才可以查看到的,按照我们之前直接通过requests的get请求是行不通的。
一下提供三种解决方法: