python爬虫之如何随机更换User-Agent

这是python里面的一个useragent池,非常好用!具体怎么用呢?

首先,安装fake-useragent

    pip install fake-useragent

然后,使用方法

from fake_useragent import UserAgent

ua = UserAgent()
headers = {'User-Agent':ua.random}

注意,有些网站可能会根据user-agent来封IP,也就是说他们会根据同一个IP下,如果是很多个不同user-agent在访问,那么,此时,他们就会判定为爬虫

猜你喜欢

转载自www.cnblogs.com/ittop/p/9446391.html