潭州课堂25班：Ph201805201 爬虫高级 第五课 sclapy 框架 中间建 与selenium对接 (课堂笔记）

 

 

 因为每次请求得到的响应不一定是正常的，

 

也可以在中间建中与个类的方法，自动更换头自信，代理Ip,

在设置文件中添加头信息列表，

 在中间建中导入刚刚的列表，和随机函数

 

class UserAgentMiddleware(object):
    def process_request(self, request, spider):
        # 随机头信息，
        UA = random.choice(UserAgent_list)
        request.headers['User-Agent'] = UA

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        # 代理
        proxy = {
            'http':'http:ip.post'
        }
        request.meta['proxy'] = 'http:ip.post'
        pass