Robots.txt und eine fehlerhafte noindex-Konfiguration führen oft dazu, dass hochwertige Seiten von Google nicht korrekt gecrawlt und indexiert werden können. Dieser Artikel bietet eine praktische Checkliste, mit der Sie schnell die zentralen Probleme identifizieren können, die die Sichtbarkeit Ihrer Website, die SEO-Performance und die Lead-Konversion beeinträchtigen.

Warum werden Seiteninhalte nicht beanstandet, aber von Google trotzdem nie gesehen?

Viele Unternehmen glauben, dass ihre Website nicht rankt, weil es an Content-Qualität oder Backlinks mangelt. In Wirklichkeit liegt die häufigere Ursache in fehlerhaften Crawl- und Indexierungs-Einstellungen auf technischer Ebene, wodurch Google die Seiten, die Sie eigentlich bewerben möchten, gar nicht erst sieht.

Bei Websites für den Außenhandel, bei Marken-Independent-Sites und bei mehrsprachigen Unternehmenswebsites sind die zwei häufigsten Probleme eine fehlerhafte robots.txt-Sperre sowie unbeabsichtigtes noindex auf Seiten. Ersteres beeinträchtigt das Crawling, Letzteres direkt die Indexierung; beides kann dazu führen, dass der Traffic weiter zurückgeht.

Wenn Ihre Produktseiten, Case-Seiten oder Blogseiten langfristig nicht indexiert werden oder der Traffic nach dem Relaunch der neuen Website plötzlich einbricht, sollte der erste Schritt nicht die weitere Content-Erstellung sein, sondern zunächst zu prüfen, ob die Suchmaschine fälschlicherweise ausgesperrt wird.

Zuerst klarstellen: Wofür sind robots.txt und noindex jeweils zuständig?

robots.txt ist eine von Suchmaschinen-Crawlern gelesene Datei mit Zugriffsregeln. Ihre Hauptfunktion besteht darin, den Crawlern mitzuteilen, welche Verzeichnisse gecrawlt werden dürfen und welche nicht. Sie steuert, ob ein Zugriff möglich ist, nicht, ob eine Seite sicher indexiert wird.

noindex hingegen ist eine Anweisung auf Seitenebene oder Header-Ebene, mit der Google mitgeteilt wird, dass diese Seite nicht in den Index aufgenommen werden soll. Sie steuert, ob eine Seite in den Suchergebnissen erscheinen kann; selbst wenn die Seite aufgerufen werden kann, wird sie wegen noindex möglicherweise nicht angezeigt.

Diese beiden Mechanismen werden oft verwechselt und stehen sich sogar manchmal entgegen. Wenn eine Seite beispielsweise sowohl durch robots.txt blockiert als auch mit noindex versehen ist, kann Google die Seite möglicherweise nicht einmal crawlen und folglich den Indexierungsstatus nicht korrekt verarbeiten; bei der Fehlersuche führt das leicht zu falschen Schlussfolgerungen.

robots.txt-Checkliste: Zuerst prüfen, ob wichtige Seiten blockiert werden

Erster Punkt: Prüfen Sie, ob robots.txt eine Sperre für die gesamte Website enthält. Ein typisches Beispiel in der Testphase ist Disallow: /. Wird dies nach dem Go-live nicht entfernt, kann die gesamte Website von Google möglicherweise nicht korrekt gecrawlt werden; das ist einer der schwerwiegendsten und zugleich häufigsten Fehler.

Zweiter Punkt: Prüfen Sie, ob Produktverzeichnisse, Blogverzeichnisse, mehrsprachige Verzeichnisse oder Landingpage-Pfade versehentlich gesperrt wurden. Manche Unternehmen sperren Backend-, Script- oder Parameterseiten, blockieren dabei aber versehentlich auch Verzeichnisse mit echtem SEO-Wert, was die Indexierungsreichweite direkt beeinträchtigt.

Dritter Punkt: Prüfen Sie, ob nur die Hauptseite zugelassen wurde, aber die englische Website, die russische Website oder mobile Verzeichnisse vergessen wurden. Für Unternehmen mit Auslandsmärkten ist die mehrsprachige Website-Struktur komplex; ein falscher Pfadregeln-Aufbau kann dazu führen, dass einige zentrale Marktseiten lange nicht sichtbar sind.

Vierter Punkt: Bestätigen Sie, ob robots.txt erreichbar und korrekt formatiert ist. Eine falsche Dateiablage, abnorme Kodierung oder Syntaxfehler können dazu führen, dass Suchmaschinen die Regeln nicht korrekt lesen und dadurch das Crawling falsch beurteilen.

noindex-Checkliste: Verhindern, dass eigentlich indexierbare Seiten von uns selbst entfernt werden

Prüfen Sie zuerst den meta robots-Tag im Quellcode der Seite und bestätigen Sie, ob noindex vorhanden ist. Viele Websites fügen in der Template-Entwicklung, bei Test-Migrationen oder während der Plugin-Konfiguration standardmäßig noindex hinzu; wenn dies später beim Go-live nicht sauber bereinigt wird, betrifft das häufig gleich eine ganze Gruppe von Seiten.

Prüfen Sie anschließend, ob im Server-Response-Header X-Robots-Tag: noindex zurückgegeben wird. Manche Seiten zeigen äußerlich keine Auffälligkeiten, aber der Server, das CDN oder Programmregeln geben bereits Indexierungsverbote aus; solche Probleme sind weniger sichtbar als Frontend-Tags und werden daher leichter übersehen.

Besonders wichtig ist auch die Prüfung von Pagination-Seiten, Filterseiten, Tag-Seiten und Aktionsseiten. Nicht alle Seiten sollten indexiert werden, aber wenn Kern-Produktseiten, Standortseiten oder detaillierte Artikelseiten ebenfalls auf noindex gesetzt werden, schwächt das die organische Traffic-Quelle der Website direkt.

Bei Websites mit CMS, Baukastensystemen oder SEO-Plugins sollten auch die Backend-Einstellungen einzeln überprüft werden. Manchmal ist lediglich eine Option wie „Suchmaschinen daran hindern, diese Website zu indexieren“ aktiviert, wodurch die gesamte Website langfristig unsichtbar bleibt.

Welche Seiten sollten vorrangig geprüft werden, weil sie direkt mit Leads und Conversions zusammenhängen?

Wenn Ihre Website Leads generieren soll, prüfen Sie zuerst Seiten mit hohem kommerziellem Wert, darunter Kern-Produktseiten, Serviceseiten, Branchenlösungen, Case-Seiten und Blogseiten mit hoher Conversion. Sobald diese Seiten nicht indexiert werden, geht nicht nur Traffic verloren, sondern auch potenzieller Lead-Zuwachs.

Die zweite Priorität sind mehrsprachige und regionsspezifische Seiten. Bei Märkten wie Nordamerika, Europa oder Südostasien entsprechen unterschiedliche Sprachversionen oft unterschiedlichen Keywords und Kundenbedürfnissen; ungewöhnliche Indexierungsprobleme wirken sich direkt auf die organische Sichtbarkeit des jeweiligen Marktes aus.

Die dritte Kategorie sind Landingpages für Anzeigen und Brand-Keyword-Übergangsseiten. Zwar müssen einige Kampagnenseiten nicht unbedingt indexiert werden, aber wenn Brand-Keyword-Seiten oder zentrale Landingpages wegen noindex oder fehlerhafter robots.txt-Konfiguration verschwinden, beeinträchtigt das gleichzeitig SEO und die Zusammenarbeit mit Anzeigen.

Was sollte ein Unternehmen tun, nachdem ein Problem entdeckt wurde, und wie gewichtet man Prioritäten und Dringlichkeit?

Handelt es sich um eine robots.txt-Sperre für die gesamte Website, ein globales noindex oder eine falsch gesperrte Hauptverzeichnis-Struktur, ist das ein Problem mit hoher Priorität und sollte sofort behoben werden. Denn davon hängt die gesamte Indexierungsfähigkeit der Website ab; jeder Tag Verzögerung kann einen Tag Sichtbarkeit in der Suche kosten.

Wenn nur einzelne Seiten mit niedrigerem Wert eingeschränkt sind, muss die Entscheidung anhand des Seitenziels getroffen werden. Backend-Pfade, Warenkorbseiten und Suchergebnisseiten müssen in der Regel nicht indexiert werden, aber Kern-Kategorien, Produktdetailseiten und Content-Hub-Seiten müssen unbedingt crawlbar und indexierbar sein.

Nach der Behebung sollte man nicht nur darauf schauen, ob sich der Code geändert hat, sondern in der Search Console auch prüfen, ob Crawling, „entdeckt, aber nicht indexiert“, „ausgeschlossen“ und der Indexierungsstatus der Seiten verbessert wurden. Das wirklich wirksame Kriterium ist, ob die Seite ihre normale Sichtbarkeit und Klicks wiedererlangt.

Technische Prüfungen und Wachstumsziele gemeinsam betrachten, damit SEO wirklich wirksam wird

Für Unternehmensverantwortliche sind robots.txt und noindex nicht bloß technische Details, sondern zentrale Schalter, die die Lead-Effizienz beeinflussen. Selbst wenn die Website noch so schön ist und der Inhalt noch so gut, ist es schwer, daraus Ergebnisse zu erzielen, wenn Suchmaschinen die Seiten nicht sehen können.

Für operative Teams ist die praktischste Methode nicht nur eine kurzfristige Feuerwehreinsatztaktik, sondern eine feste Routine für Go-live-Prüfungen, Template-Reviews, Plugin-Konfigurationsabgleiche und Indexierungs-Monitoring, damit bei jedem Relaunch, jeder Migration oder jeder neuen Website nicht dieselben Fehler wieder auftreten.

Gerade für Unternehmen mit Ausrichtung auf Auslandsmärkte ist die Website-Struktur komplexer und die Seitentypen sind vielfältiger. Daher ist es umso wichtiger, in der integrierten Zusammenarbeit von Website-Entwicklung, SEO-Optimierung und Content-Operations Crawling- und Indexierungsrisiken im Voraus zu vermeiden, damit jede wertvolle Seite sichtbar werden kann.

Fazit: Erst Sichtbarkeit sicherstellen, dann um Rankings kämpfen

Die Voraussetzung für Google-Rankings ist nicht, dass Inhalte veröffentlicht wurden, sondern dass Seiten überhaupt zuerst gecrawlt, verstanden und indexiert werden können. Die Konfiguration von robots.txt und noindex entscheidet darüber, ob Ihre Website überhaupt die Berechtigung hat, am Wettbewerb um Suchergebnisse teilzunehmen.

Wenn Ihre Website langfristig nicht indexiert wird, der Traffic ungewöhnlich zurückgeht oder gerade ein Relaunch und eine mehrsprachige Einführung abgeschlossen wurden, empfiehlt es sich, die Checkliste aus diesem Artikel Punkt für Punkt zu prüfen. Erst das „Nicht sichtbar“-Problem zu lösen, schafft die Grundlage dafür, dass SEO-Optimierung, Content-Wachstum und Lead-Konversion wirklich skalieren können.