Python爬虫学习——代理设置

对于某些网站,一旦大规模爬取,对于大规模且频繁的请求,网站可能会弹出验证码,或者跳转到登录认证页面,更甚者可能会直接封禁客户端的IP,导致一段时间内无法访问。

为了防止这种情况发生,需要设置代理来解决,需要用到proxies参数。

设置方式如下:

import requests

proxies = {
    
    
    "http":"https://user:[email protected]:3128/",
}
requests.get("http://www.taobao.com",proxies=proxies)

猜你喜欢

转载自blog.csdn.net/m0_46437725/article/details/114881684
今日推荐