请求首部:User-Agent

首部字段User-Agent会将创建请求的浏览器和用户代理名称等信息传达给服务器.

当网络爬虫发起请求时,有可能会在字段内添加爬虫作者的电子邮件地址.此外,如果请求经过代理,那么中间也很可能被添加上代理服务器的名称.

User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64; rv:13.0) Gecko/=>20100101 Firefox/13.0.1