rastreador web (también conocido como tela de araña, robot de la red, en medio de la comunidad FOAF, más a menudo denominada Web Cazador), es una especie de seguir ciertas reglas, automáticamente la información de agarre en el programa de la World Wide Web o script.
De hecho, la charla populares es la obtención de datos de la página web que desea por el programa, que es de forma automática los datos de agarre
El flujo básico de reptiles
Iniciar una solicitud
para iniciar una solicitud al sitio de destino a través de HTTP biblioteca, es decir, enviar una solicitud, la solicitud puede contener información de cabecera adicional, a la espera de una respuesta del servidor
La adquisición de contenido de la respuesta
si el servidor puede ser una respuesta normal, recibirá una respuesta, contenidos contenido de la página de respuesta se va a adquirir, puede ser el tipo de HTML, cadena JSON, datos binarios (imágenes o vídeos) y otros tipos
contenido analítico
contenido obtenido puede ser HTML, puede utilizar expresiones regulares para analizar, biblioteca de análisis sintáctico página, puede ser JSON, que se puede convertir directamente en JSON de análisis de objetos y puede ser datos binarios, o se pueden almacenar para su posterior procesamiento
Guardar los datos
almacenados en diversas formas, se pueden guardar como texto, se puede guardar en la base de datos o archivos almacenados en un formato específico
referencia:
1. reptiles escribir con Golang (a)
3. reptiles laico manera: comparativo Python, Golang con el GraphQuery