Welche Fehler in den SEO-Einstellungen einer Website beeinflussen die Indexierung von Seiten?

Dass eine Seite nicht von Suchmaschinen indexiert wird, liegt nicht zwangsläufig an einer falschen Keyword-Konfiguration. Häufigere Ursachen sind, dass die Suchmaschine nicht auf die Seite zugreifen kann, die Indexierung untersagt wurde oder die kanonische URL auf eine andere Seite verweist. Manche Seiten haben zwar korrekte Einstellungen, werden aber aufgrund doppelter oder wenig wertvoller Inhalte noch nicht indexiert.

Bei der Fehlersuche sollte zunächst zwischen „kann nicht gecrawlt werden“, „Indexierung untersagt“ und „gecrawlt, aber nicht indexiert“ unterschieden werden. Ändern Sie nicht wiederholt den Titel oder reichen Sie die URL ein, nur weil eine Seite in den Suchergebnissen nicht erscheint. Für Google können Sie beispielsweise den Status der Seite unter „URL-Prüfung“ in der Search Console überprüfen und anschließend die konkrete Ursache beheben.

Zunächst prüfen, ob die Seite tatsächlich nicht indexiert ist

Geben Sie in der Search Console die vollständige URL ein, einschließlich Protokoll, Domain, Pfad und abschließendem Schrägstrich. Das Prüfergebnis zeigt, ob sich die URL im Google-Index befindet, und liefert Informationen zum Crawling, zur Indexierung und zu kanonischen Seiten. Wenn Ihre Website sowohl URLs mit als auch ohne Parameter oder mit und ohne abschließenden Schrägstrich verwendet, prüfen Sie unbedingt die Version, die tatsächlich in den Suchergebnissen erscheinen soll.

„URL ist im Google-Index“ bedeutet nicht, dass sie bei jeder beliebigen Suchanfrage sichtbar ist. Indexierung und Ranking sind zwei unterschiedliche Aspekte. Umgekehrt ist eine erfolglose Suche mit site: allein kein verlässlicher Beleg dafür, dass eine Seite nicht indexiert ist. Maßgeblich ist der Status in der URL-Prüfung.

Der in der URL-Prüfung angezeigte Indexierungsstatus spiegelt die Informationen wider, über die Google bereits verfügt. Mit einem Live-Test lassen sich der aktuelle Zugriff und die Seiteneinstellungen überprüfen; ein erfolgreicher Live-Test garantiert jedoch keine spätere Indexierung. Nach Änderungen an den Einstellungen müssen Sie außerdem warten, bis die Suchmaschine die Seite erneut crawlt und verarbeitet hat.

Ist die Seite erreichbar? Crawling-Beschränkungen und Serverantworten prüfen

Eine versehentliche Sperre in robots.txt sollte bei der Inbetriebnahme einer Website vorrangig geprüft werden.Wurde beispielsweise in der Testphase Disallow: / verwendet und nach dem Livegang nicht entfernt, verhindert diese Regel, dass betroffene Crawler auf die entsprechenden Website-Pfade zugreifen. Prüfen Sie die Datei /robots.txt im Stammverzeichnis der Domain, stellen Sie fest, für welche Crawler und Pfade die Regeln gelten, und entfernen oder ändern Sie nicht vorgesehene Einschränkungen.

Beachten Sie, dass robots.txt das Crawling steuert und keine zuverlässige Methode ist, um die Indexierung zu verhindern. Eine gesperrte URL kann aufgrund von Links auf anderen Seiten dennoch in den Suchergebnissen erscheinen, allerdings kann die Suchmaschine ihren Inhalt nicht lesen. Wenn eine öffentliche Seite nicht indexiert werden soll, erlauben Sie das Crawling und verwenden Sie eine gültige noindex-Anweisung. Wenn Inhalte vertraulich bleiben müssen, sollten Sie Zugriffsbeschränkungen wie eine Anmeldung verwenden und sich nicht auf SEO-Anweisungen verlassen.

Auch der HTTP-Status der Seite beeinflusst die Verarbeitung. Öffentliche Seiten sollten zuverlässig den Statuscode 200 zurückgeben. 404 und 410 bedeuten, dass eine Seite nicht existiert oder gelöscht wurde; bei 5xx-Fehlern sollten Sie den Server, den Hosting-Dienst oder die Sicherheitseinstellungen prüfen. Wenn die Website regionale Zugriffsbeschränkungen, CAPTCHA-Abfragen oder Firewall-Regeln verwendet, vergewissern Sie sich, dass diese Einstellungen das Crawling durch Suchmaschinen nicht verhindern. Beurteilen Sie die Erreichbarkeit nicht ausschließlich anhand Ihres eigenen Browsers.

Ein weiteres leicht übersehenes Problem ist ein „Soft 404“: Der Server gibt den Status 200 zurück, obwohl auf der Seite beispielsweise angezeigt wird, dass ein Produkt nicht verfügbar ist, der Inhalt leer ist oder ein Fehler vorliegt. Lassen Sie gelöschte Seiten ohne Ersatzinhalt einen passenden Status für nicht vorhandene Seiten zurückgeben. Gibt es eine eindeutig passende Ersatzseite, kann eine geeignete Weiterleitung eingerichtet werden. Leiten Sie nicht zahlreiche, thematisch unpassende alte URLs pauschal auf die Startseite um.

Zugriff erlaubt, aber die Indexierung ist untersagt

Der Eintrag <meta name="robots" content="noindex"> im Quellcode einer Seite oder der HTTP-Antwortheader X-Robots-Tag: noindex weist Suchmaschinen an, die Seite nicht zu indexieren. Nach dem Umzug einer Testwebsite auf eine Live-Domain können Einstellungen wie die Option „Suchmaschinenindexierung verhindern“ im Website-System, seitenspezifische SEO-Einstellungen oder entsprechende Antwortheader auf dem Server versehentlich bestehen bleiben.

Prüfen Sie nicht nur die Einstellung im Backend: Öffnen Sie den Quellcode der Seite und suchen Sie nach noindex; kontrollieren Sie außerdem die Antwortheader. Bei Nicht-HTML-Dateien wie PDFs sollten Sie besonders auf Anweisungen in den Antwortheadern achten. Wenn die Seite öffentlich zugänglich und indexierbar sein soll, entfernen Sie die entsprechende Beschränkung und stellen Sie sicher, dass robots.txt das erneute Crawling durch Suchmaschinen nicht verhindert. Andernfalls kann die Suchmaschine die Änderung möglicherweise nicht zeitnah erkennen.

Sie müssen nicht alle noindex-Anweisungen auf der gesamten Website entfernen. Suchergebnisseiten, Seiten mit doppelten Filterkombinationen und andere Seiten ohne eigenständigen Suchwert müssen möglicherweise tatsächlich nicht indexiert werden. Entscheidend ist, zu prüfen, ob die Beschränkung versehentlich auf Produktdetailseiten, Kategorieseiten oder andere Seiten angewendet wurde, die über die organische Suche Besucher gewinnen sollen.

Kanonische URL oder Weiterleitung verweist auf das falsche Ziel

Das Canonical-Tag rel="canonical" weist Suchmaschinen darauf hin, welche Version bevorzugt werden soll. Wenn beispielsweise auf jeder Produktseite fälschlicherweise die Startseite oder dieselbe Kategorieseite als kanonische URL angegeben ist, kann die Suchmaschine diese Produktseiten als Duplikate ansehen, anstatt sie einzeln zu indexieren.

Prüfen Sie das Canonical-Tag im Quellcode oder in den Antwortheadern und stellen Sie sicher, dass es auf eine erreichbare URL mit passendem Inhalt verweist, die indexiert werden soll. Bei Seiten mit eigenständigem Inhalt ist es üblich, auf die eigene URL zu verweisen. Bei Parameterseiten mit weitgehend identischem Inhalt kann je nach Bedarf auf die Hauptversion verwiesen werden. Ein Canonical-Tag ist ein Hinweis, keine verbindliche Anweisung. Google kann anhand anderer Signale wie Seiteninhalt, Links und Weiterleitungen eine andere kanonische URL auswählen.

Auch Weiterleitungen sollten überprüft werden. Für Wechsel zwischen HTTP und HTTPS, zwischen einer alten und einer neuen Domain oder bei Änderungen an Pfaden sollte ein eindeutiges endgültiges Ziel festgelegt sein. Vermeiden Sie Weiterleitungsschleifen, Weiterleitungen auf nicht zusammengehörige Seiten sowie Sitemap- und interne Links, die weiterhin auf alte Adressen verweisen. Wenn die URL-Prüfung anzeigt, dass Google eine andere kanonische Seite ausgewählt hat, vergleichen Sie den Inhalt und die Verweissignale der beiden Seiten, anstatt dieselbe URL einfach erneut einzureichen.

Auch mehrsprachige Websites haben oft das Problem, dass eigenständige Sprachseiten fälschlicherweise auf die englische Startseite kanonisiert werden. Wenn Seiten für unterschiedliche Sprachen oder Regionen jeweils relevante Inhalte bieten, prüfen Sie die jeweiligen Canonical- und hreflang-Angaben. hreflang gibt die Zuordnung von Sprache und Region an, ersetzt aber keine crawl- und indexierbaren Seiteneinstellungen und garantiert nicht, dass in einer bestimmten Region eine bestimmte Version angezeigt wird.

Die Seite ist indexierbar, lässt sich aber nur schwer finden oder verstehen

Verwaiste Seiten haben keine crawlbaren internen Einstiegslinks.Wenn eine Produktdetailseite nur über die interne Suche, das Absenden eines Formulars oder komplexe Interaktionen erreichbar ist, kann es für Suchmaschinen schwierig sein, sie zu entdecken. Fügen Sie von relevanten Kategorieseiten, der Navigation oder Inhaltsseiten aus normale HTML-Links hinzu. Verwenden Sie ein <a>-Element mit einem gültigen href-Attribut, das auf die Zielseite verweist.

Eine XML-Sitemap kann Suchmaschinen dabei helfen, gewünschte URLs zu entdecken. Ihre Einreichung ist jedoch kein Antrag auf Indexierung. Führen Sie vorzugsweise URLs auf, die einen normalen Status zurückgeben, indexierbar sind und als kanonische Version verwendet werden sollen. Wenn die Sitemap zahlreiche Weiterleitungen, 404-Seiten oder Seiten mit noindex enthält, wird die Fehlersuche erschwert. Nach der Einreichung können Sie in der Search Console prüfen, ob die Sitemap erfolgreich gelesen wurde und welchen Status die betreffenden Seiten haben.

Bei Websites, deren Hauptinhalte mit JavaScript ausgegeben werden, sollten Sie außerdem prüfen, ob Suchmaschinen die wichtigen Inhalte abrufen und rendern können. Wenn das anfängliche HTML nahezu leer ist und Skripte, Schnittstellen oder Ressourcen blockiert werden, kann der Inhalt, den die Suchmaschine sieht, von der Darstellung im Browser abweichen. Prüfen Sie mit dem Live-Test der URL-Prüfung die gerenderte Seite und das Laden der Ressourcen. Passen Sie bei Bedarf die Rendering-Methode an oder geben Sie die betreffenden Ressourcen frei.

„Gecrawlt – zurzeit nicht indexiert“ bedeutet nicht zwangsläufig, dass ein technischer Fehler vorliegt. Wenn sich Produktseiten nur in der Modellnummer unterscheiden und Text, Bilder sowie Beschreibungen nahezu identisch sind, entscheidet sich die Suchmaschine möglicherweise dagegen, jede Seite einzeln zu indexieren. Ergänzen Sie relevante Angaben zu Produktspezifika, Einsatzbedingungen oder andere nützliche Informationen, die die tatsächlichen Unterschiede zwischen den Produkten aufzeigen. Seiten ohne eigenständigen Mehrwert können zusammengeführt oder mit einer eindeutigen kanonischen Version versehen werden. Das bloße Hinzufügen von Keywords oder Ändern des Titels ersetzt keinen wertvollen Seiteninhalt.

Änderungen überprüfen

Bearbeiten Sie jeweils zunächst ein klar umrissenes Problem, etwa das Entfernen eines versehentlich gesetzten noindex, die Korrektur eines Canonical-Tags oder die Wiederherstellung des Zugriffs auf einen gesperrten Pfad. Prüfen Sie nach der Veröffentlichung den Statuscode, den Quellcode und die Antwortheader der tatsächlichen URL erneut. Bestätigen Sie anschließend mit dem Live-Test der Search Console, dass die Suchmaschine die Änderungen sehen kann.

Bei wichtigen Seiten können Sie nach der Prüfung eine Indexierung beantragen. Beheben Sie bei Problemen, die mehrere Seiten betreffen, zunächst die Ursache in der Vorlage, der Website-Konfiguration oder den Serverregeln. Reichen Sie nicht einfach einzelne URLs ein, ohne das zugrunde liegende Problem zu beheben. Weder die Beantragung der Indexierung noch die Einreichung einer Sitemap garantieren eine Indexierung oder einen bestimmten Bearbeitungszeitraum. Wenn sich der Status über längere Zeit nicht ändert, prüfen Sie erneut das tatsächliche Crawling-Ergebnis, die kanonische URL und den Seiteninhalt, statt die URL immer wieder einzureichen.