El
archivo robots.txt de protocolo de robots es un archivo de texto. Puede crearlo y editarlo utilizando cualquier editor de texto común, como el Bloc de notas que viene con el sistema Windows. robots.txt es un protocolo, no un comando. Robots.txt es el primer archivo que se ve al acceder a un sitio web en un motor de búsqueda. El archivo robots.txt le dice al programa de araña qué archivos se pueden ver en el servidor. 
Una referencia más detallada: https://baike.baidu.com/item/robots%E5%8D%8F%E8%AE%AE/2483797?fr=aladdin
Aquí hay una pregunta sobre el protocolo de robots:
1.
tema de observación de robots Puede ser el primer conocimiento sobre el protocolo de robots, agregue /robots.txt a la URL y cree una interfaz de este tipo.
Busque: http://159.138.137.79:60487/f1ag_1s_h3re.php para obtener la bandera.
2.backup
abre directamente la página web, pregunta: ¿Conoces el nombre del archivo de respaldo de index.php? Aquí debemos comprender los conocimientos relevantes sobre el archivo de copia de seguridad. Los nombres de archivo de respaldo comunes tienen nombres de sufijo de archivo de respaldo comunes: .git .svn .swp .svn. ~ .Bak .bash_history. Pruebe los nombres de archivo comunes uno por uno, descubra que son archivos .bak y obtenga la bandera después de buscar.
3.
Cookies Las cookies se usan a menudo para identificar a los usuarios. Una cookie es un pequeño archivo que el servidor deja en la computadora del usuario. Siempre que la misma computadora solicite una página a través de un navegador, esta computadora enviará una cookie. Con PHP, puede crear y recuperar valores de cookies. 
Abra el aviso de descubrimiento con Firefox, presione F12 para abrir las herramientas del desarrollador, vea el valor de la cookie en el almacenamiento, continúe abriendo /cookie.php, solicite abrir para ver el paquete de respuesta http, ver el paquete de datos en la red y obtener el indicador.
Debido a la descarga de algunas herramientas en el medio, la computadora tiene un problema nuevamente. Creo que cada tema mejorará mi comprensión de ctf.
