Wie lässt sich mit einer SEO-Diagnose feststellen, warum eine Webseite nicht indexiert wurde?

Wenn eine Produktseite oder mehrsprachige Seite auch längere Zeit nach der Veröffentlichung nicht in den Suchergebnissen zu finden ist, kann das den organischen Suchtraffic beeinträchtigen und die Bewertung späterer Optimierungen erschweren. Bei einer SEO-Diagnose geht es zunächst nicht darum, den Titel zu ändern oder den Link wiederholt einzureichen. Entscheidend ist vielmehr festzustellen, ob die Seite bereits entdeckt wurde, gecrawlt werden kann, für die Indexierung freigegeben ist und welche kanonische Seite die Suchmaschine letztlich ausgewählt hat.

Wählen Sie zunächst eine repräsentative, nicht indexierte URL aus und prüfen Sie ihren Status mit dem Tool zur URL-Prüfung in der Google Search Console. Überprüfen Sie anschließend anhand der angezeigten Hinweise das Crawling, die Indexierungsanweisungen und den Inhalt. Bei Problemen mit einzelnen Seiten ist anders vorzugehen als bei Problemen mit der gesamten Website: Bei einzelnen Seiten sollten zuerst die Seiteneinstellungen und Inhalte geprüft werden. Bei websiteweiten Problemen müssen außerdem der Server, die Vorlagen und die Regeln auf Websiteebene überprüft werden.

Zunächst prüfen, ob die Seite tatsächlich nicht indexiert ist

Geben Sie im Tool zur URL-Prüfung die vollständige URL ein, einschließlich Protokoll, Domain, Pfad und abschließendem Schrägstrich. Unterscheiden Sie bei der Prüfung zwischen „Nicht indexiert“ und „Indexiert, aber in den Suchergebnissen nicht auffindbar“: Auch eine indexierte Seite wird möglicherweise nicht an der erwarteten Position angezeigt, weil die Suchbegriffe stark umkämpft sind, die Relevanz nicht ausreicht oder die Seite ein zu niedriges Ranking hat.

Kanonische URL prüfen. Wenn das Tool anzeigt, dass die Suchmaschine eine andere kanonische Seite ausgewählt hat, vergleichen Sie den Inhalt der beiden URLs und ihre Canonical-Einstellungen. Wenn dasselbe Produkt aufgrund von Parametern, Kategorien oder Tracking-Codes unter mehreren URLs erreichbar ist, behält die Suchmaschine möglicherweise nur eine davon im Index. Dass eine zusammengeführte doppelte URL nicht separat indexiert wird, ist nicht unbedingt ein Fehler.

Die URL-Prüfung zeigt vorhandene Indexierungsinformationen an, während der Live-Test angibt, ob die Seite aktuell aufgerufen und ausgelesen werden kann. Wenn die Ergebnisse voneinander abweichen, verwenden Sie zunächst den Live-Test, um zu bestätigen, ob die Änderungen wirksam sind, und warten Sie dann das nächste Crawling ab. Ein erfolgreicher Live-Test bedeutet nicht, dass die Seite bereits indexiert ist.

Den Status Schritt für Schritt prüfen: Liegt das Problem beim Entdecken, Crawling oder bei der Indexierung?

Die Seite wurde noch nicht entdeckt oder gecrawlt

Wenn eine neue Seite nur wenige interne Links hat, in der Navigation über mehrere Ebenen verborgen ist oder nicht in der Sitemap enthalten ist, kann es länger dauern, bis Suchmaschinen sie entdecken. Prüfen Sie, ob die Seite über normale Links von relevanten Kategorieseiten, Produktlisten oder anderen geeigneten Seiten aus erreichbar ist. Vergewissern Sie sich außerdem, dass die XML-Sitemap die kanonischen URLs enthält, die indexiert werden sollen, und in der Search Console eingereicht wurde.

„Entdeckt, zurzeit nicht indexiert“ bedeutet normalerweise, dass die URL bekannt ist, aber noch nicht gecrawlt wurde. Daraus lässt sich nicht direkt auf ein Inhaltsproblem schließen. Prüfen Sie, ob der Server stabil läuft und ob es zahlreiche Seiten mit geringem Mehrwert gibt, etwa Parameterseiten oder doppelte URLs. So vermeiden Sie, dass Suchmaschinen ihre Crawl-Ressourcen auf unwichtige Seiten verwenden. Eine eingereichte Sitemap kann dabei helfen, URLs entdecken zu lassen, garantiert jedoch weder das Crawling noch die Indexierung.

Crawling blockiert oder ungewöhnliche Serverantwort

Prüfen Sie zunächst die Crawling-Informationen in der URL-Prüfung und testen Sie, ob die Seite für Suchmaschinen zugänglich ist. Eine Crawling-Sperre in der robots.txt, eine Serverfehlermeldung, eine Anmeldepflicht oder Sicherheitsregeln, die Crawler blockieren, können Suchmaschinen daran hindern, den Inhalt auszulesen. Ermitteln Sie die Ursache anhand des Antwortstatus und der Serverprotokolle. Gehen Sie nicht allein deshalb davon aus, dass auch Crawler auf die Seite zugreifen können, weil sie sich im Browser öffnen lässt.

• 404 oder 410: Prüfen Sie, ob die Seite versehentlich gelöscht oder die Adresse falsch geschrieben wurde. Gibt es tatsächlich eine Ersatzseite, können Sie entsprechend der konkreten Beziehung eine Weiterleitung einrichten.
• 5xx oder Zeitüberschreitung: Prüfen Sie Serverauslastung, Netzwerk und Anwendungsfehler und testen Sie die Seite erneut, sobald der Server wieder stabile Antworten liefert.
• Fehlerhafte Weiterleitung: Prüfen Sie, ob eine Weiterleitungsschleife, eine zu lange Weiterleitungskette oder eine Weiterleitung auf eine nicht relevante Seite vorliegt.

Eine Crawling-Sperre in der robots.txt ist nicht dasselbe wie noindex. Ersteres beschränkt das Crawling, verhindert aber nicht unbedingt, dass die URL in den Suchergebnissen erscheint. Damit Suchmaschinen noindex auslesen können, muss das Crawling der betreffenden Seite in der Regel erlaubt sein.

Die Seite kann gecrawlt werden, wird aber von der Indexierung ausgeschlossen

Prüfen Sie, ob im HTML der Seite oder in den HTTP-Antwortheadern noindex vorhanden ist. Achten Sie besonders auf Regeln, die über Websitevorlagen, Testumgebungen oder Einstellungen aus einer Massenveröffentlichung übernommen wurden. Entfernen Sie die entsprechende Anweisung erst, wenn bestätigt ist, dass die Seite öffentlich indexiert werden soll, und überprüfen Sie die Änderung anschließend mit einem Live-Test.

Prüfen Sie auch, auf welche Seite der Canonical-Verweis zeigt: Verweist eine Seite, die indexiert werden soll, versehentlich auf die Startseite, eine Sprachversion oder eine nicht relevante Produktseite? Canonical ist ein Hinweis zur Kanonisierung und keine verbindliche Anweisung. Der Seiteninhalt, interne Links, Weiterleitungen und Sitemap sollten nach Möglichkeit alle auf die gewünschte URL verweisen.

Nach erfolgreichem Crawling prüfen, ob die Seite eine eigenständige Indexierung rechtfertigt

„Gecrawlt, zurzeit nicht indexiert“ bedeutet, dass die Suchmaschine die Seite aufgerufen, aber noch nicht in den Index aufgenommen hat. Daraus folgt nicht, dass ein einzelner technischer Fehler vorliegt. Prüfen Sie zunächst, ob die Seite nur wenig Text enthält, sich stark mit anderen Seiten überschneidet oder ob ihr Hauptinhalt von Skripten abhängt und möglicherweise nicht richtig dargestellt wird. Sehen Sie sich mit dem Tool zur URL-Prüfung das Rendering an und vergewissern Sie sich, dass Titel, Fließtext und wichtige Links tatsächlich sichtbar sind.

Ergänzen Sie bei Produktseiten Angaben zu Produktspezifikationen, Verwendungszwecken, Kompatibilitätsbedingungen und häufig gestellten Fragen. Solche Informationen sind hilfreicher als das Kopieren einer allgemeinen Beschreibung. Der Inhalt sollte mit den tatsächlich auf der Seite verfügbaren Informationen übereinstimmen. Vermeiden Sie es, für die Indexierung massenhaft Synonyme aneinanderzureihen oder denselben Inhalt wiederholt unter einem anderen Titel zu veröffentlichen.

Bei mehrsprachigen Websites müssen Sprach- und Regionsversionen unterschieden werden: Jede Version, die eigenständig indexiert werden soll, benötigt eine erreichbare URL und entsprechende Inhalte in der jeweiligen Sprache. Prüfen Sie, ob hreflang auf die korrekten Versionen verweist und die Verweise einander entsprechen. Betrachten Sie hreflang jedoch nicht als Indexierungsanweisung: Eine korrekte Sprachkennzeichnung ersetzt weder wertvolle Inhalte noch ein ordnungsgemäßes Crawling.

Änderungen überprüfen und entscheiden, wann die Prüfung ausgeweitet werden sollte

Führen Sie nach Abschluss der Änderungen zunächst einen Live-Test für die betreffende URL durch. Vergewissern Sie sich, dass Antwort, Indexierungsanweisungen und gerenderte Inhalte den Erwartungen entsprechen, und beantragen Sie anschließend über die vom Tool bereitgestellte Funktion die Indexierung. Bei Problemen, die viele Seiten betreffen, sollten Sie zuerst die Vorlage oder Regel korrigieren, anschließend verschiedene Seitentypen stichprobenartig prüfen und dann die Validierungsfunktion im Bericht zu den Abdeckungsproblemen verwenden. Das wiederholte Einreichen derselben URL ersetzt keine Fehlerbehebung und garantiert keine schnellere Indexierung.

Dokumentieren Sie die betroffenen URLs, den ursprünglichen Status, den Änderungszeitpunkt und die Ergebnisse der erneuten Prüfung. Beobachten Sie anschließend den Bericht und den tatsächlichen Indexierungsstatus. Die Aktualisierung des Index benötigt Zeit, und auch die Berichte des Tools können verzögert sein. Wenn in mehreren Verzeichnissen gleichzeitig Crawling-Fehler auftreten, ungewöhnliche kanonische URLs ausgewählt oder Seiten fälschlicherweise auf noindex gesetzt werden, sollten Sie zuerst gemeinsame Vorlagen, die Serverkonfiguration und den Veröffentlichungsprozess prüfen. Ein Problem auf Websiteebene lässt sich nicht durch die Korrektur einer einzelnen Seite beheben.