当你的才华
还撑不起你的野心时
那你就应该静下心来学习
目录
Web (新手练习题)之 Robots
0x01 前言
想玩玩攻防世界的朋友，CE已附上XCTF Web 练习题传送门：https://adworld.xctf.org.cn/
难度系数： 一星
题目来源： Cyberpeace-n3k0
题目描述：X老师上课讲了Robots协议，小宁同学却上课打了瞌睡，赶紧来教教小宁Robots协议是什么吧。
题目分析：装X老师上课讲了Robots协议，但貌似小宁这个靓仔（叼毛）上课居然打瞌睡去了，不晓得是不是昨晚害羞害羞去咯（自己脑补场景）！回归正题，CE个人理解robots.txt 文件就是告诉搜索引擎网站中哪些东西你可以访问，哪些你不可以访问。因为搜索蜘蛛访问一个站点时，会检查该站点是否存在robots.txt文件，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围。如果该文件不存在，则所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面面。
注：Robots 协议补充知识，请访问如下链接：
0x02 解题思路
1、访问题目给出的URL地址：http://111.198.29.45:53873/ ，发现一片空白，啥都没有
2、右键鼠标查看源代码，给出一点点提示，就是那段注释的话，说Flag 不在这里
3、页面源代码找不到Flag，那么我们再看看题目，解题关键点是Robots 协议，那么直接回到题目给出的URL掏出机关枪，在URL地址后面加上 /robots.txt
URL地址后面加上 /robots.txt 如下图
注：打开页面后，看似好像也没什么鬼啊，到底是什么鬼？我们想要的Flag 到底在哪里？
发现一个 disallow 里面有个 PHP 文件， disallow 声明此文件不可爬取？不可爬取并不一定代表我们人工不能访问(这只是一种道德规范，有一种此地无银三百两的意味，淫笑 ~_~ ！)，我们尝试访问一下这个PHP文件试试。
4、在根目录下，添加读取robots.txt 文件时知道的PHP文件（f1ag_1s_h3re.php）名，即可得到Flag，如下图：
PS：解这道题的思路不局限于此，例如你可以通过扫目录获得Flag，工具例如御剑、dirsearch等工具。
附带dirsearch 工具GitHub地址：
dirsearch是一個簡單的命令行工具，旨在強製網站中的目錄和文件
https://github.com/maurosoria/dirsearchdirsearch
我不需要自由，只想背着她的梦
一步步向前走，她给的永远不重
