Vorwort
robots.txt enthält einige Berechtigungskonfigurationen für das Suchmaschinen-Crawling auf unserer Website, welche gecrawlt werden können und welche nicht.
Arbeitsanweisungen
1. Erstellen Sie eine robots.txt-Datei im statischen Ordner.
2. Der Inhalt der Datei ist
- Das # hier entspricht //, der Bedeutung des Kommentars
- Benutzeragent: * Der Sternchen-Platzhalter bedeutet, dass der Browser die URL weiterleiten oder einen Browser angeben kann
示例: User-agent: Google - Nicht zulassen: Nicht schreiben bedeutet, dass Crawler den gesamten Inhalt unserer Website crawlen dürfen, und schreiben bedeutet, dass die angegebenen Seiten nicht gecrawlt werden.
示例:
Disallow: /joe/junk.html
Disallow: /joe/foo.html - Sie können auch eine Sitemap-Sitemap einrichten, die den wichtigsten Kernpunkt der Suchmaschinenoptimierung darstellt. Sie wird verwendet, um alle Seiten unserer Website einzubeziehen, und die Website wird höher gerankt. Wenn Ihre Website keine Sitemap hat, können Sie nicht schreiben das Sitemap-Attribut. Was nuxt betrifft, wie man eine Sitemap-Sitemap generiert, werde ich erneut einen Artikel beginnen.
- Eine detailliertere Konfiguration finden Sie in den offiziellen Dokumenten von Robotern
User-agent: *
Disallow:
Sitemap: 你的网址/sitemap.xml