scrapy ip 代理操作

#scrapy 的ip代理《随机》
##我的上个博客简单写了在哪代理操作，直接上代码了
在middleware里面，先 import random
然后百度可以使用的ip 写在middleware里面，my_ip=[‘http://125.73.220.18’,
‘http://175.44.108.197’,
‘http://49.64.209.231’,
‘http://117.26.40.222’

]
然后如下`class DouluodaluDownloaderMiddleware(object):

def process_request(self, request, spider):
    #用户代理
    request.headers['User-Agent']=random.choices(MY_USER_AGENT )
    #代理ip proxy 是参数
    request.meta['proxy']=random.choices(my_ip)
    return None
def process_response(self, request, response, spider):
    return response
def process_exception(self, request, exception, spider):

    pass`

这里的meta和以前的meta 不一样，proxy 是个参数，你记住就可以了，random上面声明了的，你可以拦截在代理的代码下面print( request.meta[‘proxy’]),你就可以看到，你随机使用的ip了