Wie man robots.txt auf Websites verwendet

Die Verwendung einer robots.txt-Datei auf einer Website ist eine Methode, um den Zugriff von Suchmaschinen-Crawlern auf den Inhalt der Website zu steuern. Im Folgenden finden Sie detaillierte Schritte und Hinweise zur Verwendung von robots.txt auf einer Website:

1. Erstellen einer robots.txt-Datei

1. Verwenden eines Texteditors: Öffnen Sie einen Texteditor (z. B. Notepad++, Sublime Text oder einen einfachen Editor) und bereiten Sie den Inhalt der robots.txt-Datei vor.

2. Regeln schreiben: Schreiben Sie entsprechende Regeln basierend auf den Anforderungen der Website. In der Regel umfassen diese Regeln die Angabe, welche Suchmaschinen-Crawler (User-agent) zugelassen sind und welche URL-Pfade erlaubt (Allow) oder verboten (Disallow) sind.

3. Datei speichern: Speichern Sie die Datei als robots.txt, stellen Sie sicher, dass die Dateierweiterung .txt ist und der Dateiname vollständig in Kleinbuchstaben geschrieben ist. Stellen Sie außerdem sicher, dass die Datei als UTF-8 kodiert ist, um Zeichensalat auf verschiedenen Servern oder Browsern zu vermeiden.

2. robots.txt-Datei hochladen

1. Hochladen in das Stammverzeichnis der Website: Verwenden Sie eine FTP-Software oder das Backend der Website, um die robots.txt-Datei in das Stammverzeichnis der Website hochzuladen. Wenn Ihre Website beispielsweise die Domain www.example.com hat, sollte die robots.txt-Datei unter http://www.example.com/robots.txt liegen.

2. Nachdem die Website online ist, generiert das System automatisch eine robots-Datei. Die robots-URL lautet: Domain/robots.txt;

   Wenn Sie eine benutzerdefinierte robots-Datei benötigen, können Sie diese im CMS-Backend unter SEO-Verwaltung - robots-Datei bearbeiten. Wenn Sie nach der Anpassung zur standardmäßigen robots-Datei des Systems zurückkehren möchten, klicken Sie auf die Schaltfläche "Initialisieren" auf der rechten Seite, um den Standardinhalt der robots-Datei wiederherzustellen. Speichern und veröffentlichen Sie die Änderungen.

        Wenn eine bestimmte Seite der Website nicht indexiert werden soll, z. B. der Seitenlink https://www.abc.com/fuwutiaokuan.html, können Sie den Teil nach der Domain/ in den Inhalt der robots-Datei einfügen, wie im folgenden Bild gezeigt:

3. robots.txt-Regeln schreiben

Der Inhalt der robots.txt-Datei besteht hauptsächlich aus einer Reihe von Benutzeragenten (User-agent) und Anweisungen (wie Disallow, Allow). Hier sind einige grundlegende Regeln und Beispiele:

1. User-agent: Gibt an, für welchen Suchmaschinen-Crawler die Regel gilt. Beispielsweise bedeutet User-agent: *, dass die Regel für alle Crawler gilt; User-agent: Googlebot bedeutet, dass die Regel nur für den Google-Crawler gilt.

2. Disallow: Gibt die URL-Pfade an, die nicht besucht werden sollen. Beispielsweise bedeutet Disallow: /admin/, dass der Zugriff auf das Verzeichnis /admin/ und seine Unterverzeichnisse und Dateien im Stammverzeichnis der Website verboten ist.

3. Allow (optional): Im Gegensatz zu Disallow gibt Allow die URL-Pfade an, die besucht werden dürfen. Beachten Sie, dass nicht alle Suchmaschinen die Allow-Anweisung unterstützen und diese normalerweise in Kombination mit Disallow verwendet wird, um eine präzisere Steuerung zu ermöglichen.

4. Beispiel

In diesem Beispiel:

• Alle Crawler dürfen nicht auf die Verzeichnisse /admin/ und /cgi-bin/ zugreifen.

• Googlebot darf auf das Verzeichnis /special-content/ zugreifen, aber nicht auf andere Teile der Website (Hinweis: Disallow: / nach Allow überschreibt die vorherige Allow-Anweisung, es sei denn, die Suchmaschine unterstützt Allow und verarbeitet diesen Fall korrekt). Dies ist jedoch nur ein Beispiel, in der Praxis müssen Sie möglicherweise Anpassungen vornehmen, um solche Konflikte zu vermeiden.

• Durch die Sitemap-Anweisung wird die URL der Website-Sitemap bereitgestellt, um Suchmaschinen dabei zu helfen, die Struktur der Website besser zu verstehen.

5. Wichtige Hinweise

1. Stellen Sie sicher, dass der Dateiname und der Speicherort korrekt sind: Die robots.txt-Datei muss sich im Stammverzeichnis der Website befinden, und der Dateiname muss vollständig in Kleinbuchstaben geschrieben sein.

2. Seien Sie vorsichtig beim Schreiben der Regeln: Falsche Regeln können dazu führen, dass wichtige Seiten von Suchmaschinen ignoriert oder gelöscht werden, was sich auf die SEO-Leistung der Website auswirkt.

3. Überprüfen und aktualisieren Sie regelmäßig: Mit Aktualisierungen und Änderungen des Website-Inhalts müssen Sie möglicherweise die robots.txt-Datei regelmäßig überprüfen und aktualisieren, um sicherzustellen, dass sie den Anforderungen der Website weiterhin entspricht.

4. Informieren Sie sich über die Unterstützung der Suchmaschinen: Verschiedene Suchmaschinen unterstützen die robots.txt-Datei möglicherweise unterschiedlich, daher sollten Sie dies beim Schreiben der Regeln berücksichtigen.

5. Verwenden Sie Tools zur Überprüfung: Sie können verschiedene Online-Tools verwenden, um die Syntax und Logik der robots.txt-Datei zu überprüfen und sicherzustellen, dass Suchmaschinen diese Regeln korrekt verstehen und anwenden können.

Wenn Sie Fragen zum Aufbau oder Betrieb einer Außenhandelswebsite haben, können Sie sich gerne an den technischen Support von Easy Yingbao unter der WeChat-ID Ieyingbao18661939702 wenden. Unsere Mitarbeiter werden Ihnen gerne weiterhelfen!

Bildquellen stammen aus dem Internet. Bei Urheberrechtsverletzungen wenden Sie sich bitte an 400-655-2477.