【Scrapy学习心得】添加随机用户代理

【Scrapy学习心得】添加随机用户代理

声明：仅供技术交流，请勿用于非法用途，如有其它非法用途造成损失，和本博客无关

添加随机用户代理即添加随机User-Agent
只需修改scrapy项目下的middlewares.py中间件，废话不多说，直接上代码：

from scrapy import signals
import random

class UseragentDownloaderMiddleware(object):
    USER_AGENTS=[
        'Mozilla/5.0 (compatible; U; ABrowse 0.6; Syllable) AppleWebKit/420+ (KHTML, like Gecko)',
        'Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0; Acoo Browser 1.98.744; .NET CLR 3.5.30729)',
        'Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.8.1a3) Gecko/20060526 BonEcho/2.0a3',
        'Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0; Avant Browser; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0)',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.77 Safari/537.36',
        'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Deepnet Explorer 1.5.3; Smart 2x2; .NET CLR 2.0.50727; .NET CLR 1.1.4322; InfoPath.1)',
        'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML like Gecko) Chrome/51.0.2704.79 Safari/537.36 Edge/14.14931',
        'Mozilla/5.0 (Windows; U; Windows NT 6.1; x64; fr; rv:1.9.2.13) Gecko/20101203 Firebird/3.6.13',
        'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:64.0) Gecko/20100101 Firefox/64.0',
        'Mozilla/5.0 (Windows; U; Windows NT 6.1; tr-TR) AppleWebKit/533.20.25 (KHTML, like Gecko) Version/5.0.4 Safari/533.20.27'
    ]
    #每次请求前调用的函数
    def process_request(self,request,spider):
        user_agent = random.choice(self.USER_AGENTS)
        request.headers['User-Agent'] = user_agent

可能有人想问去哪里找那么多User-Agent啊，那么你就问对人啦，上面的那些User_Agent我是从这里拿的。

最后别忘了在setting.py文件中添加以下代码，把这个添加请求头中间件给打开：

DOWNLOADER_MIDDLEWARES = {
   'hehe.middlewares.UseragentDownloaderMiddleware': 543,
}

写在最后

不是因为我懒，是因为最近比较忙，到现在才想起来该写博客了。其实也没什么人看，人气也不高，写的东西也不是很专业、很高深。但是，我可能只是想找个可以倾诉的对象，闲着没事的时候，对自己说话，跟自己聊天，因为没有人比自己更加了解自己了，最近我也想了很多，其实凡事还是得靠自己，别人是不会帮你的，就算是已经相处几年的同学也是一样。朝夕相处的人也不会了解你，你该长大了，该成熟一点了，凡事也要想开一点，毕竟脑子很忙，要是还要去管那些伤心的事情，那怎么对得起自己的人生，人生还是很美好的。算了，不说了。