《五分钟速学技巧_利用random模块实现随机切换header》

0x00序言

Author:ChristopherLam 未经允许，禁止转载

我们知道，一些网站对于爬虫是不甚欢迎的，因此有一些基础的防爬措施，比如不允许相同的header在短时间内大量访问，今天就讲一种简单的绕过这种防爬策略的方法。

0x01关键代码实现机理

首先准备充足的User-Agent，既然不允许相同的header，那我改一改其中的User-Agent不就实现了吗？那么要怎么实现User-Agent的转换呢？这里我们使用random模块的choice方法，这个方法的

官方文档介绍为：

random.choice( seq)

Return a random element from the non-empty sequence seq. If seq is empty, raises IndexError.

翻译过来，就是这个方法在一个不为空的序列中返回一个随机的对象，如果序列为空，就触发IndexError。

也就是这方法只接受 list类型 的变量。

0x02整体代码思路

好，接下来来理理切换header的思路。

1.准备一个序列，有足够的可切换的User-Agent。

2.将这个序列转换进字典变量（urllib模块或说其他第三方库的header只接受字典格式）

0x03具体代码实现

headers =['Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50',
                       'Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0',
                       'IE 9.0User-Agent:Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;',
                       'Opera/9.80 (Windows NT 6.1; U; en) Presto/2.8.131 Version/11.11',
                       'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_0) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11',
                       'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; TencentTraveler 4.0)',
                       'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SE 2.X MetaSr 1.0; SE 2.X MetaSr 1.0; .NET CLR 2.0.50727; SE 2.X MetaSr 1.0)',
                       'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)',
                       'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
                       'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko',
                       'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/536.11 (KHTML, like Gecko) Chrome/20.0.1132.11 TaoBrowser/2.0 Safari/536.11',
                       'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER) ',
                       'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)',
                       'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Maxthon/4.4.3.4000 Chrome/30.0.1599.101 Safari/537.36']

def RandomUserAgent(headers):
    header = {'User-Agent': choice(self.headers)}
    return header

上图为准备的User-Agent，上网复制即可，User-Agent数量你项目短时间内爬取请求数呈正比。

上图为实现随机切换User-Agent

向创建的header变量添加User-Agent的键，对应值为choice(headers)，即利用choice方法在headers列表中随机抽取一个元素。

最后返回即可。

这样即可轻松解决因大量爬取而造成的被服务器拒绝访问的问题。

代码很简单，你学会了吗？

Christopher_L1n

发布了15 篇原创文章 · 获赞 3 · 访问量 2万+

私信关注

《五分钟速学技巧_利用random模块实现随机切换header》

猜你喜欢