Eine Seite der Export-Website wurde gecrawlt, aber nicht indexiert – wie sollte man das SEO-Problem untersuchen?

Wenn auf einer Seite Ihrer Export-Website „Gecrawlt – derzeit nicht indexiert“ angezeigt wird, prüfen Sie zunächst, was die Suchmaschine gecrawlt hat, und entscheiden Sie anschließend, ob die Seite beibehalten werden sollte. Um Probleme mit der Indexierung Ihrer Export-Website zu untersuchen, gehen Sie am besten in dieser Reihenfolge vor: Crawl-Protokolle, Indexierungsanweisungen, doppelte Seiten, Inhaltswert und interne Verlinkungen. Wiederholtes Einreichen einer URL ersetzt diese Prüfungen nicht. Auch ein erfolgreicher Live-Test bedeutet nicht, dass die Seite bereits in den Index aufgenommen wurde.

Prüfen Sie zuerst den Crawl-Zeitpunkt, damit Sie eine neue Seite nicht anhand veralteter Ergebnisse beurteilen

Notieren Sie in der URL-Prüfung der Suchdienste das Datum des letzten Crawls, den Crawl-Status, ob eine Indexierung zulässig ist und welche kanonische URL die Suchmaschine ausgewählt hat. Wurde die Seite gerade geändert und liegt der im Bericht angegebene Crawl-Zeitpunkt vor der Änderung, lässt sich anhand des aktuellen Status noch nicht beurteilen, ob die Korrektur wirksam war.

Unterscheiden Sie außerdem zwischen „Gefunden – derzeit nicht indexiert“ und „Gecrawlt – derzeit nicht indexiert“: Im ersten Fall wurde der Crawl noch nicht abgeschlossen. Im zweiten Fall liegt ein Crawl-Eintrag vor, die Seite wurde jedoch nicht in den Index aufgenommen. Die Prüfschwerpunkte unterscheiden sich; beide Fälle lassen sich nicht pauschal auf eine zu geringe Crawl-Frequenz zurückführen.

Beurteilen Sie die Indexierung nicht allein danach, ob die URL in den Suchergebnissen gefunden wird. Eine auf eine Website beschränkte Suche bildet den Indexierungsstatus nicht vollständig ab. Berücksichtigen Sie daher auch die Ergebnisse der URL-Prüfung. Serverprotokolle können bestätigen, dass ein Crawl stattgefunden hat, aber nicht belegen, dass die Seite indexiert wurde.

Eine erreichbare Seite bedeutet nicht, dass der gecrawlte Inhalt korrekt ist

Prüfen Sie zuerst die tatsächliche Antwort der Ziel-URL. Eine reguläre Detailseite sollte einen gültigen Erfolgsstatus zurückgeben und vollständige Hauptinhalte enthalten. Auch bei einem Erfolgsstatus können Meldungen wie „Produkt nicht gefunden“, eine leere Vorlage oder eine Zugriffsprüfungsseite die Beurteilung der Indexierung beeinträchtigen. Bei Weiterleitungen muss außerdem die endgültige Zieladresse geprüft werden.

Prüfen Sie die Indexierungsanweisungen an zwei Stellen: im robots-Meta-Tag im Quellcode der Seite und im X-Robots-Tag im Antwortheader. Wenn an einer der beiden Stellen ein zutreffendes noindex vorhanden ist, prüfen Sie, ob es sich um eine Konfiguration handelt, die aus einer Testumgebung übernommen wurde. Die robots.txt steuert das Crawling und ist kein zuverlässiges Mittel zum Entfernen von Seiten aus dem Index. Wenn das Crawling blockiert ist, kann die Suchmaschine auch geänderte Indexierungsanweisungen auf der Seite nicht auslesen.

Prüfen Sie anschließend die gecrawlte oder gerenderte Seite. Bei Export-Websites werden Produktdaten häufig über Skript-Schnittstellen geladen. Im Browser sind dann vollständige Inhalte sichtbar, während das Crawl-Ergebnis nur Navigation und Fußzeile enthält. Achten Sie auch darauf, ob Zugriffe aus dem Ausland durch regionale Beschränkungen, Firewall-Prüfungen oder Zeitüberschreitungen der Schnittstelle beeinträchtigt werden. Der Textkörper im Crawl-Ergebnis ist aussagekräftiger als eine Prüfung allein im lokalen Browser.

Prüfen Sie, ob die Seite einer anderen URL zugeordnet wurde

Wenn die Seite indexiert werden darf und ihr Textkörper ausgelesen werden kann, prüfen Sie als Nächstes die kanonische URL. Die auf der Seite angegebene Canonical-URL ist ein Anhaltspunkt; die Suchmaschine kann dennoch eine andere URL als repräsentative Seite auswählen. Stimmen beide nicht überein, vergleichen Sie den Seiteninhalt und die Ziele der internen Links.

Auf Export-Websites gibt es häufig Produktseiten mit Parametern, Produktseiten unter Kategoriepfaden sowie Varianten mit und ohne abschließenden Schrägstrich. Wenn diese URLs identische Inhalte enthalten, legen Sie eine Hauptversion fest und sorgen Sie dafür, dass interne Links, Sitemap und Canonical-Tags aufeinander abgestimmt sind. Für doppelte URLs, die nicht eigenständig erhalten bleiben müssen, kann eine geeignete permanente Weiterleitung eingerichtet werden.

Bei mehrsprachigen Seiten treten besonders leicht Konfigurationsfehler auf. Wenn sowohl die englische als auch die deutsche Seite ihre Canonical-URL auf die englische Startseite verweisen lässt, kann dies die eigenständige Indexierung der einzelnen Sprachversionen beeinträchtigen. Sprachseiten, die separat indexiert werden sollen, benötigen einen gültigen Textkörper in der jeweiligen Sprache sowie korrekt konfigurierte Canonical-URLs und Sprachzuordnungen. Sprachzuordnungs-Tags ersetzen keine Übersetzung und garantieren keine Indexierung.

Prüfen Sie nach den technischen Tests, ob die Seite einen eigenständigen Mehrwert bietet

Wenn bei Produkten derselben Serie nur Modellnummer und Bild ausgetauscht werden und der übrige Text identisch bleibt, werden möglicherweise nur einige URLs indexiert – selbst wenn jede Seite korrekt gecrawlt werden kann. Weitere ähnliche Seiten zu erstellen, vergrößert in diesem Fall lediglich den Prüfaufwand.

Auf Produktseiten sollten die tatsächlichen Unterschiede zwischen dem jeweiligen Modell und benachbarten Modellen erläutert werden, etwa Abmessungsbereiche, Materialoptionen, Einsatzbedingungen, Schnittstellenanforderungen oder Kompatibilitätsbeschränkungen. Technische Angaben müssen auf verlässlichen Informationen beruhen; für mehr Textumfang sollten keine Leistungsdaten erfunden werden. Wenn mehrere Modelle lediglich auswählbare Ausführungen desselben Produkts sind und keine eigenständige Suchnachfrage besteht, kann geprüft werden, ob sie auf einer vollständigen Seite zusammengeführt werden sollten.

Bei Artikeln kommt es darauf an, ob sie die im Titel gestellte Frage tatsächlich beantworten. Reine Begriffserklärungen, wiederholte Absätze und allgemeine Ratschläge lassen den eigenständigen Nutzen einer Seite kaum erkennen. Ergänzungen zu Entscheidungskriterien, Arbeitsschritten, ungewöhnlichen Erscheinungen und Grenzen der jeweiligen Maßnahmen sind oft wertvoller als eine bloße Erweiterung des Textumfangs. Es gibt keinen einheitlichen Mindestumfang, der eine Indexierung garantiert.

Prüfen Sie außerdem, ob Seiten umfangreich auf Beschreibungen von Lieferanten zurückgreifen oder Sprachversionen lediglich die Menüs übersetzen. Ein einzigartiger Titel bei gleichzeitig wiederholtem Text schafft noch keinen klar unterscheidbaren Inhalt.

Sorgen Sie dafür, dass wichtige Seiten über stabile interne Links erreichbar sind

Eine Sitemap kann dabei helfen, URLs auffindbar zu machen, ersetzt jedoch keine internen Links. Wenn eine Produktseite nur über die interne Suche, Filter-Schaltflächen oder durch direkte Eingabe der URL erreichbar ist, kann die Suchmaschine ihre Position innerhalb der Website-Struktur nur schwer nachvollziehen.

Fügen Sie von passenden Kategorieseiten, Produktserienseiten oder verwandten Artikeln crawlbare Textlinks hinzu. Der Linktext sollte den Inhalt der Zielseite beschreiben. Prüfen Sie, ob die Seitennavigation zu weiteren Produkten führt, und vermeiden Sie es, alle Produkte ausschließlich über Schnittstellen zu laden, die erst nach einem Klick angefordert werden. Wichtige Detailseiten sollten in einer klaren Kategorienstruktur liegen.

Führen Sie in der Sitemap nur kanonische URLs auf, die indexiert werden sollen, und entfernen Sie Weiterleitungsadressen, nicht mehr verfügbare Seiten sowie Seiten, für die die Indexierung ausdrücklich untersagt ist. Das Änderungsdatum sollte tatsächliche Aktualisierungen widerspiegeln. Aktualisieren Sie Datumsangaben nicht täglich in großen Mengen, um Aktualitätssignale zu erzeugen.

Beobachten Sie nach der Korrektur dieselben URLs auf Veränderungen

Wählen Sie zunächst aus den nicht indexierten Seiten repräsentative Beispiele, die verschiedene Vorlagen und Sprachversionen abdecken. Wenn sich das Problem auf dieselbe Vorlage konzentriert, korrigieren Sie zunächst die Vorlage und prüfen Sie anschließend stichprobenartig die betroffenen Seiten. Treten die Probleme nur bei wenigen Seiten auf, untersuchen Sie deren jeweilige Inhalte und Verlinkungen weiter.

Führen Sie nach den Änderungen erneut Tests durch und bestätigen Sie, dass Indexierungsanweisungen, gerenderter Textkörper und Canonical-URL den Erwartungen entsprechen. Reichen Sie anschließend wichtige URLs ein. Dokumentieren Sie Inhalt und Zeitpunkt der Änderungen und beobachten Sie die Entwicklung der Indexierung, sobald ein neuer Crawl-Eintrag vorliegt. Seiten, die trotz beseitigter technischer Hindernisse nicht indexiert werden, sollten weiterhin hinsichtlich ihrer inhaltlichen Eigenständigkeit und ihres Werts innerhalb der Website geprüft werden. Es gibt weder eine feste Wartezeit noch eine Garantie, dass eine Seite nach dem Einreichen indexiert wird.