在scrapy中进行user-agent配置，将其进行随机更换。
下面所写为学习笔记
使用scrapy进行爬虫的时候，一些针对爬虫设置了一些反爬措施，最明显的是user-agent。
一、在setting文件中ctrl+f找到 DOWNLOADER_MIDDLEWARES，将其注释的部分取消掉，为了激活中间件。
这部分在scrapy文档中可以阅读到。
二、打开middlewares文件新建class类
class RandomUserAgentMiddlware(object):
三、调用super方法进行初始化
同时在setting中进行添加RANDOM_UA_TYPE=“random”
四、