scrapy下使用ip代理的方法

class RandomProxyMiddleware(object):
    #动态设置ip代理
    def process_request(self, request, spider):
        get_ip = GetIP()
        request.meta["proxy"] = get_ip.get_random_ip()

如图,在middlewares 中设置好,然后在settings中开启该middlewares即可。前提是在独立脚本中已经写好获得ip的类:GetIP

猜你喜欢

转载自blog.csdn.net/xiongzaiabc/article/details/84169819