¡Hola niños, hola adultos!
Soy Cat Girl, una estudiante de primaria que se enamora de la programación en Python.
¡Sígueme y aprende programación con diversión!
Conceptos básicos de rastreadores.
¿Has oído hablar de los reptiles?
Un rastreador en informática, también conocido como rastreador web, araña web o robot web, es un fragmento de código de máquina de computadora que puede rastrear automáticamente datos en páginas web.
¿En qué consiste una página web?
Las páginas web generalmente están compuestas por texto, imágenes, audio, video y otros elementos.
Se organizan y combinan mediante sintaxis de programación como HTML, JS, CSS, etc., y luego generan páginas web. En otras palabras, el texto, imágenes, vídeos, etc. que vemos se mezclan con HTML y otros elementos.
Lo que hace el rastreador es extraer el texto, imágenes, audio, video, etc. que nos interesan de la página web. No nos importan elementos como HTML, pero necesitamos analizar la página web de acuerdo con la sintaxis. de HTML, etcétera.
La estructura básica de un rastreador.
Un rastreador simple consta de cuatro partes: administrador de URL, descargador de páginas web, analizador de páginas web, almacenamiento de datos, etc.
- El administrador de URL es el contenido de la página web que desea descargar, si hay hipervínculos en la URL, si estos enlaces deben descargarse y si es necesario eliminar la duplicación al descargar, etc.
- El descargador de páginas web sirve para descargar el contenido de la página web y descargar el contenido de la página web a la computadora local. Dos bibliotecas de solicitudes http de uso común son la biblioteca urllib y la biblioteca de solicitudes. El primero es el módulo básico oficial de Python. Esta última es una biblioteca de terceros ampliamente utilizada con un rendimiento superior.
- Un analizador de páginas web analiza el contenido de la página web y extrae la información que nos interesa. El conocimiento utilizado incluye expresiones regulares, biblioteca lxml y biblioteca Beautiful Soup.
- El repositorio de datos almacena principalmente datos y los conserva localmente.
¿Por qué Python domina el campo de los rastreadores?
Debido a que existen muchas bibliotecas relacionadas maduras y fáciles de usar, puede usarlas de inmediato, lo que le ahorra tiempo al fabricar ruedas.
Flujo de trabajo del rastreador
El flujo de trabajo del rastreador consta principalmente de cuatro pasos:
- La solicitud inicia una solicitud y el cliente solicita al servidor que responda.
- La respuesta obtiene la respuesta y el servidor envía la página web solicitada al cliente.
- Analice el contenido y utilice expresiones regulares, la biblioteca lxml o la biblioteca Beautiful Soup para extraer la información de destino.
- Guarde los datos y guarde los datos analizados localmente, que pueden ser texto, audio, imágenes, videos, etc.
Cómo limitar los rastreadores
Actualmente existen dos formas principales de restringir los rastreadores web:
1. Revisión de la fuente: determine el agente de usuario (un par clave-valor en el encabezado de la solicitud) para la restricción. Este par clave-valor se puede utilizar para determinar el tipo de navegador que inicia la solicitud de red. El personal de mantenimiento del sitio web puede restringir las solicitudes. basado en esto.
2. Anuncio de lanzamiento: Protocolo de robots.
El protocolo de robots es un archivo de texto utilizado por los administradores de sitios web para indicar a los motores de búsqueda qué páginas se pueden rastrear y cuáles no.
robots.txt es un archivo de texto codificado en ASCII almacenado en el directorio raíz del sitio web. Por lo general, indica a los robots de los motores de búsqueda de Internet (también conocidos como rastreadores web/arañas) qué contenido de este sitio web no puede ser rastreado por los motores de búsqueda. puede ser obtenido por el dispositivo. Cuando un robot visita un sitio web, primero comprobará si el archivo robots.txt existe en el directorio raíz del sitio web y, si existe, accederá a él de acuerdo con las reglas especificadas en el archivo.
Puede ver los archivos robots.txt de algunos sitios web, como por ejemplo:
Obedecer la ley
robots.txt es un código de ética y un acuerdo. No es una orden ni una aplicación. Todo el mundo debe respetarlo conscientemente.
La tecnología de rastreo es una tecnología que obtiene automáticamente información de la red, pero si no cumple con las leyes y regulaciones pertinentes, violará la ley.
Para evitar esta situación podemos tomar las siguientes medidas:
1. Establecer restricciones de acceso en el programa de rastreo para evitar una presión de acceso excesiva en el sitio web de destino;
2. Establecer un intervalo de solicitud razonable en el programa de rastreo para evitar visitas excesivas al sitio web de destino;
3. Establezca una profundidad de rastreo razonable en el programa de rastreo para evitar un rastreo excesivo de datos en el sitio web de destino;
4. Configure un método de almacenamiento de datos razonable en el programa de rastreo para evitar una presión excesiva de almacenamiento de datos en el sitio web de destino;
5. Al utilizar tecnología de rastreo, se deben respetar la privacidad y los derechos de propiedad intelectual del sitio web de destino y no se deben infringir sus derechos e intereses legítimos.
Bien, ¡eso es todo para compartir hoy!
Si encuentra algún problema, comuniquémonos más y resolvámoslo juntos.
Soy Cat Girl, ¡hasta la próxima!