分值: 300
小明同学今天访问了一个网站，竟然不允许中国人访问！太坑了，于是小明同学决心一定要进去一探究竟！
通关地址
通关地址
使用培训时学长发的爬取学校官网代码，经过简单改装
把网址改成通关地址，
因为不允许中国人访问的，方式是限制中文，究竟为啥是限制中文
咱也不知道 咱也不敢问
把请求头中的Accept-Language: 删去中文部分，只保留其他文字
修改请求头
1 Host: lab1.xseclab.com 2 User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64; rv:66.0) Gecko/20100101 Firefox/66.0 3 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 4 Accept-Language: q=0.5,en-US;q=0.3,en;q=0.2 5 Accept-Encoding: gzip, deflate 6 Connection: keep-alive 7 Upgrade-Insecure-Requests: 1 8 Pragma: no-cache 9 Cache-Control: no-cache
代码如下
1 import requests 2 url = "http://lab1.xseclab.com/base1_0ef337f3afbe42d5619d7a36c19c20ab/index.php" 3 headers = {'Accept-Language': 'q=0.5,en-US;q=0.3,en;q=0.2'} 4 r = requests.get(url,headers=headers) 5 r.encoding = r.apparent_encoding 6 r.encoding = 'utf-8' 7 print(r.text)
运行结果
1 <html> 2 <head> 3 <meta http-equiv="content-type" content="text/html;charset=utf-8"> 4 </head> 5 <body> 6 key is: *(TU687jksf6&*
分值: 200
据说信息安全小组最近出了一款新的浏览器，叫HAHA浏览器，有些题目必须通过HAHA浏览器才能答对。小明同学坚决不要装HAHA浏览器，怕有后门，但是如何才能过这个需要安装HAHA浏览器才能过的题目呢？
通关地址
通关地址
同第五题一致，这次修改浏览器的请求头User-Agent:后面改成HAHA即可
修改请求头
1 Host: lab1.xseclab.com 2 User-Agent: HAHA 3 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 4 Accept-Language: q=0.5,en-US;q=0.3,en;q=0.2 5 Accept-Encoding: gzip, deflate 6 Connection: keep-alive 7 Upgrade-Insecure-Requests: 1 8 Pragma: no-cache 9 Cache-Control: no-cache
代码如下
1 import requests 2 url = "http://lab1.xseclab.com/base1_0ef337f3afbe42d5619d7a36c19c20ab/index.php" 3 headers = {'User-Agent': 'HAHA'} 4 r = requests.get(url,headers=headers) 5 r.encoding = r.apparent_encoding 6 r.encoding = 'utf-8' 7 print(request.get_header('User-agent')) 8 print(r.text)
运行结果
1 <html> 2 <head> 3 <meta http-equiv="content-type" content="text/html;charset=utf-8"> 4 </head> 5 <body> 6 用浏览器才可以！
说明出现了问题
问题分析
1.爬虫被检测？