cookie的处理和代理池的建立


1.cookie
什么是cookie: cookie是服务端创建的数据(相当于一个身份卡片),用户给服务端发起请求时服务端会给这个用户返回这个卡片,然后保存在本地中,客户端再次访问服务端
就可以带着这个卡片去访问,服务端就可以根据这个卡片找到用户的数据
我们一般用cookie作免密码登入
处理cookie的俩个方式:
1.手动处理:将cookie写在headers中
2.用Session对象自动处理:
(1)什么时Session对象:它能让你跨请求保存某些参数。用这个实例发起的请求,它会请求保存之间的信息(包括cookie)
(2)怎么使用Session对象:可以跟requests一样调用get/post进行请求的发送。在使用session进行请求发送的过程中,如果产生了cookie,则cookie会被自动存储到session对象中。
所以最少要是有2次才能在爬虫中实现自动化处理他(第一次获取cookie,第二次使用cookie)
使用一个案例来实现 ---->https://www.cnblogs.com/KingOfCattle/p/12930789.html

2. 代理服务器的操作
代理服务器就是用来转发请求和响应。可以让代理服务器转发请求从而更换请求的原始ip地址。
代理的匿名度:
透明:对方服务器知道你使用了代理也知道你的真实ip
匿名:知道你使用了代理,但是不知道你的真是ip
高匿:不知道你使用了代理,更不知道你的真是ip
代理的类型
http:只能代理http协议的请求
https:代理https协议的请求

怎么使用代理:
1. 在http://http.zhiliandaili.cn中购买代理
2.购买后生成白名单(自己的ip地址)
3.生成ip地址
4.然后根据生成的url中获取ip代理

这里我们使用IP代理的用法--》https://www.cnblogs.com/KingOfCattle/p/12933282.html


猜你喜欢

转载自www.cnblogs.com/KingOfCattle/p/12941420.html