爬虫基础-浅谈代理的基本原理

什么是代理?

通俗的来接,代理就是介于客户端浏览器和服务器之间的桥梁,原先是客户端自己想服务器发送request请求,然后解析响应的数据,现在是委托代理服务器,让他去服务器取得自己想要的数据。

我们为什么要使用代理?

直接通过浏览器发送请求到服务器的简单操作他不香吗?为什么要委托代理服务器来替自己完成这件事情呢?我能提供的答案如下:

  1. 很多网站采用了反爬虫技术,动不动就封你的ip,你爽不爽?此时你就得换个ip来访问这个网页
  2. 使用代理可以提速啊,你想想,这等于给你添置了一台服务器,帮你干活,它能进行数据的缓存,你想要什么数据,只要哥办得到,立马给你拿过来不用再大老远的去请求了
  3. 使用代理,就改变了你的身份,这个世界是残酷的,很多地方即使你有足够的资格,人家也不愿意带你玩,但是你使用了代理人家就不知道你原来的身份,你可以进入之前一直被挡在门外的地方。(即更换ip地址)

我们该如何使用代理?

这里先不给出具体的代码的实现方法,给出几个可行的方案,去花钱买付费代理,选择使用免费代理;或者使用ADSL拨号。
本文参考https://cuiqingcai.com/5491.html

猜你喜欢

转载自blog.csdn.net/weixin_47249161/article/details/114004675