Primero quiero presentar el significado de inclusión y clasificación, y luego presentar el papel del protocolo de robots.
Me pregunto si ha notado las siguientes situaciones. Cuando quiera saber algo, primero puede Baidu para ver si tiene la información que necesita.
Por ejemplo, busque "¿Dónde es Shanghái más divertido en Baidu?
Puede ver que los primeros lugares son básicamente anuncios publicitarios. Esto implica las clasificaciones de ofertas de Baidu y las clasificaciones naturales. Las compartiré en mi blog en el futuro.
Pero vuelva al final , Puede ver que no hay colas de "anuncios" detrás de estos artículos posteriores. Estos artículos son las publicaciones que incluye Baidu y tienen clasificaciones en la página principal de Baidu. Esto lleva a la pregunta de hoy: ¿qué es inclusión, clasificación y robots ¿Qué tiene que ver el acuerdo?
Hay innumerables artículos que se crean en Internet todos los días, por lo que habrá muchos sitios web que publiquen este tipo de artículos sobre "¿Dónde es Shanghai más divertido?", Especialmente algunos sitios web de turismo pueden tener más. Entonces, ¿por qué buscamos "Dónde es Shanghai más divertido" en Baidu. A excepción de aquellas publicaciones con anuncios publicitarios, estas publicaciones sin anuncios publicitarios de Baidu aparecerán en la página de inicio? De hecho, estas publicaciones son incluidas por Baidu, y solo después de que se hayan incluido, pueden ser clasificadas en la página de inicio por Baidu.
Por ejemplo, es como seleccionar un líder de clase sobresaliente del año en una clase. El requisito previo es que debe ser un líder de clase, puede ser el líder de clase o el secretario del partido, etc., de modo que tenga el requisito previo para ser seleccionado como líder de clase sobresaliente. Se puede expresar en términos de los términos incluidos que estos son los líderes de clase que fueron incluidos. Luego, con la condición de líder de clase, mediante la votación de los alumnos y profesores de la clase, se seleccionaron los dos reconocidos como líderes de clase destacados. En términos de ranking, se puede decir que estos dos estudiantes se convertirán en líderes de clase destacados si tienen un ranking. Aquellos que son líderes de clase pero no han sido calificados como líderes de clase sobresalientes aún pueden convertirse en líderes de clase sobresalientes en el próximo año, es decir, tendrán una clasificación. Los estudiantes que no son líderes de clase también pueden convertirse en líderes de clase el próximo año, es decir, ser incluidos.
Por lo tanto, a través de ejemplos, podemos saber que no hay necesariamente una clasificación si hay una clasificación, y Baidu definitivamente incluirá una clasificación, y la clasificación no es fija, y la inclusión no es fija.
Aquí hay una introducción intercalada sobre cómo verificar si sus publicaciones están incluidas. Abra Baidu e ingrese la URL en el cuadro de búsqueda de Baidu, si se puede encontrar, se ha incluido, de lo contrario no se ha incluido. De esta manera se puede verificar una pequeña cantidad de publicaciones. Si los datos son grandes, debe usar herramientas. Hay muchas herramientas de este tipo en Internet. Puede buscar algunas usted mismo. La clasificación también se puede comprobar manualmente o con herramientas.
Por último, hablemos del protocolo de robots. Baidu es una gran araña. Rastrea una gran cantidad de sitios web y publicaciones todos los días, y recopila las publicaciones que encuentra buenas. Selecciona publicaciones de alta calidad de las publicaciones incluidas y las muestra a los usuarios en la página de inicio de Baidu. Los usuarios pueden estar interesados después de buscar. Haga clic para navegar por las publicaciones. Entonces, ¿qué contenido rastrea Baidu cuando rastrea el sitio? El protocolo robots es el protocolo escrito por el sitio web, que estipula qué contenido puede y no puede rastrear Baidu en el sitio web. Por supuesto, esto es solo un acuerdo. Baidu no lo cumple completamente, pero básicamente lo cumple.
Por ejemplo, consulte el acuerdo sobre robots de Taobao, que estipula que Baidu no puede rastrear, pero aún puede buscar Taobao en Baidu. Como el motor de búsqueda chino más grande de China, Baidu no está convencido si ni siquiera puede buscar en Taobao. Los usuarios sentirán que ni siquiera puede buscar en Taobao, por lo que Baidu no cumple completamente con el acuerdo de robots.
User-agent: Baiduspider
Disallow: /
User-agent: baiduspider
Disallow: /
Puede verse en el acuerdo de robots de Taobao que básicamente se puede resumir en tres palabras, a saber, Usuario-Agente, Permitir y No permitir. Y una barra de símbolo (/).
Permítanme presentarles lo que significan.
Agente de usuario: representa un robot
Como User-Agent: Baiduspider significa robot araña Baidu.
Permitir: indica las páginas que el robot puede visitar.
Permitir: / significa que todo el sitio web está permitido.
No permitir : indica las páginas a las que los robots no pueden acceder.
Disallow: / significa bloquear todo el sitio web
La siguiente es una intercepción de una parte del acuerdo de robots de Baixing.com Podemos analizar juntos el significado específico.
User-Agent: Mediapartners-Google #用户：谷歌机器人
Allow: / #允许谷歌爬取百姓网
User-Agent: AdsBot-Google #用户：谷歌机器人
Allow: / #允许谷歌爬取百姓网
User-agent: Yahoo! Slurp China # 用户雅虎机器人
Disallow: / #不允许雅虎爬取百姓网
User-Agent: * #允许所有的搜索引擎可以按照以下限制语法进行合理的抓取网站中的文件、目录。
Disallow: /*?*#禁止访问网站中所有包含问号 (?) 的网址。
Disallow: /*%3F*#禁止访问网站中所有包含%3F的网站
Disallow: /autocomplete/ #禁止访问此目录以及其中的所有内容
Disallow: /arch/ #禁止访问此目录以及其中的所有内容
Disallow: /*/t*.html #禁止访问此网站中所有文件夹下以t字母开始命名的html文件
Disallow: /gifts/murmur#禁止访问murmur目录下的所有文件
Así es como se utilizan los robots. Establezca las reglas necesarias para permitir que los rastreadores rastreen contenido más eficaz en el sitio web, aumentando así el número de publicaciones en el sitio web.
Resumen: primero escribe el acuerdo de robots y la araña rastrea el sitio web. Solo entonces se pueden incluir las publicaciones en el sitio web y luego es posible clasificar en la página de inicio de Baidu. Los usuarios pueden hacer clic en las palabras clave para ver tus publicaciones en la página de inicio y luego hacer clic en Con el tráfico, los usuarios pueden seguir teniendo la adquisición de clientes, la tasa de conversión, la tasa de retención, etc. de seguimiento haciendo clic.