user-agent可以作为反爬虫中的一部分:
对我们的爬虫进行自定义RandomUserAgentMiddlware:
首先我们需要安装一个fake-useragent库:pip install fake-useragent
fake-useragent的详细使用参考github上面的官网教程
然后在setting.py文件同级的目录下面创建middlewares.py文件,有的话就不用创建了。
from fake_useragent import UserAgent
class RandomUserAgentMiddlware(object):
#随机更换user-agent
def __init__(self, crawler):
super(RandomUserAgentMiddlware, self).__init__()
self.ua = UserAgent() #创建UserAgent的实例
@classmethod
def from_crawler(cls, crawler):
return cls(crawler)
def process_request(self, request, spider):
request.headers.setdefault('User_Agent', self.ua.random) #调用user-agent的随机函数
为刚刚的RandomUserAgentMiddlware增加使用特定浏览器的user-agent功能。
在setting.py文件中配置使用chrome的浏览器的user-agent
RANDOM_UA_TYPE = "chrome"
class RandomUserAgentMiddlware(object):
#随机更换user-agent
def __init__(self, crawler):
super(RandomUserAgentMiddlware, self).__init__()
self.ua = UserAgent()
self.ua_type = crawler.settings.get("RANDOM_UA_TYPE", 'random') #调用setting.py文件中的配置信息
@classmethod
def from_crawler(cls, crawler):
return cls(crawler)
def process_request(self, request, spider):
def get_ua(): #为ua添加浏览器类型
return getattr(self.ua, self.ua_type)
request.headers.setdefault('User_Agent', get_ua())
当我们的middlware写完之后,需要在setting.py文件中添加使用:
DOWNLOADER_MIDDLEWARES = {
'first_project.middlewares.RandomUserAgentMiddlware': 543, #first_project是你的项目名
'scrapy.downloadermiddlewares.useragent.UserAgentMiddleware':None,
}
这样就完成了自定义user-agent的替换,
隔一段时间user-agent库就会更新,我们如果需要使用最新的user-agent就需要更新我们的库:
pip install -U fake-useragent