Wie lässt sich die Wirksamkeit einer Strategie zur Generative Engine Optimization bewerten?

Um zu beurteilen, ob Generative Engine Optimization (GEO) wirksam ist, reicht es nicht aus, nur zu prüfen, ob eine Marke in einer einzelnen Antwort erwähnt wird. Aussagekräftiger ist die Frage, ob die Marke bei Fragen, die potenzielle Kunden tatsächlich stellen, häufiger korrekt erwähnt und zitiert wird und ob diese Veränderungen zu wertvollen Website-Besuchen, Anfragen oder anderen Geschäftsergebnissen führen.

Das ist auch der Kern der französischen Suchanfrage „comment évaluer l'efficacité d'une stratégie de generative engine optimization ?“: Die Sichtbarkeit in generierten Antworten sollte getrennt vom überprüfbaren geschäftlichen Nutzen gemessen und anschließend unter Berücksichtigung der Kosten bewertet werden.

Zunächst festlegen, bei welchen Fragen die Marke sichtbar sein soll

Die Antworten generativer Engines auf dieselbe Frage hängen von der Plattform, der Sprache, der Region, der Formulierung der Frage und dem Gesprächskontext ab. Ein Prompt wiederholt zu testen oder nur Screenshots auszuwählen, auf denen die Marke erscheint, bildet die Gesamtleistung nicht ab. Die Bewertung sollte von den Zielmärkten und Geschäftschancen ausgehen. Dazu wird ein fester Fragenkatalog erstellt, der regelmäßig ergänzt werden kann.

Ein Unternehmen, das beispielsweise Industrieanlagen exportiert, kann Fragen zu Produktkategorien, Anwendungsanforderungen, Lieferantenvergleichen und Einkaufsbedingungen testen. Fragen mit Markennamen dienen dazu, die Richtigkeit der Informationen bei bestehender Markenbekanntheit zu prüfen. Fragen ohne Markennamen eignen sich besser, um festzustellen, ob das Unternehmen in die engere Auswahl potenzieller Kunden gelangt. Beide Fragetypen sollten getrennt erfasst werden, da die bestehende Bekanntheit sonst eine unzureichende zusätzliche Sichtbarkeit verschleiern kann.

Der Fragenkatalog sollte außerdem die tatsächlich verwendeten Formulierungen und die wichtigsten Regionen abdecken. Die Bezeichnungen eines Produkts, die Beschaffungskriterien und die Ausdrucksweisen können sich je nach Markt unterscheiden. Testergebnisse auf Chinesisch oder Englisch lassen sich daher nicht ohne Weiteres auf andere Sprachmärkte übertragen. Für jede Messung sollten Plattform, Regionseinstellungen, Sprache, Testdatum und die Verwendung einer neuen Sitzung festgehalten werden. Da die verfügbaren Bedingungen je nach Plattform variieren, sollte dies entsprechend dokumentiert werden.

Sichtbarkeit, Zitate und inhaltliche Richtigkeit getrennt betrachten

Die Marken-Erwähnungsrate kann als grundlegende Kennzahl dienen: Unter gleichen Testbedingungen – auf derselben Plattform und mit demselben Fragenkatalog – wird die Anzahl der Antworten mit Markennennung durch die Gesamtzahl gültiger Antworten geteilt. Wird eine Frage mehrfach getestet, zählt jede Antwort einzeln zum Nenner; auch die Anzahl der Wiederholungen sollte dokumentiert werden. Diese Quote zeigt, wie häufig die Marke in der Stichprobe erscheint. Sie entspricht weder dem tatsächlichen Marktanteil noch lässt sich daraus direkt die Zahl potenzieller Kunden ableiten.

Die Zitierleistung sollte weiter aufgeschlüsselt werden: Gibt die Antwort eine Quelle an? Verlinkt diese Quelle auf die Unternehmenswebsite? Stützt die verlinkte Seite die betreffende Aussage? Erfasst werden können außerdem die zitierten Seiten, Drittquellen und Markennennungen ohne Link. Eine Erwähnung muss nicht mit einem Link versehen sein; und ein Link bedeutet nicht, dass Nutzer ihn tatsächlich anklicken.

Die Antwortqualität beeinflusst ebenfalls den geschäftlichen Nutzen. Angaben zum Produktverwendungszweck, zu den bedienten Regionen, wichtigen Spezifikationen und Kontaktmöglichkeiten sollten überprüft und als korrekt, veraltet, fehlend oder falsch gekennzeichnet werden. Wird eine Marke zwar häufig genannt, ihr aber beispielsweise die Bereitstellung des gesuchten Produkts abgesprochen oder werden ihr nicht einlösbare Zertifizierungen und Kompetenzen zugeschrieben, sollte diese Sichtbarkeit nicht als wirksames Ergebnis gewertet werden.

Ein Beispiel: In einem festen Test mit 100 gültigen Antworten wird die Marke 20-mal erwähnt. Die Erwähnungsrate beträgt damit 20 %. Verweisen davon nur 5 Antworten auf die Unternehmenswebsite, sollten die Marken-Erwähnungsrate und die Website-Zitierleistung getrennt ausgewiesen werden. Enthalten einige Antworten zudem deutliche Fehler, müssen diese separat aufgeführt werden; die Gesamtzahl der Erwähnungen darf die Probleme mit der Informationsqualität nicht verdecken. Dies ist lediglich ein Rechenbeispiel und kein Branchenrichtwert.

Zitierleistung mit Geschäftskonversionen verknüpfen

Webanalyse-Tools können dabei helfen, einen Teil der über generative Dienste vermittelten Besuche zu erkennen und zu beobachten, welche Seiten diese Besucher aufrufen und ob sie ein Formular absenden oder Kontakt aufnehmen. Weiterleitungen, Datenschutzeinstellungen und Attributionsregeln der Analysetools unterscheiden sich jedoch je nach Plattform. Ein Teil der Besuche wird daher dem direkten Traffic oder anderen Kanälen zugeordnet. Vermittelte Besuche bilden folglich nur einen beobachtbaren Teil der Auswirkungen ab, nicht deren Gesamtheit.

Für die Bewertung sollte vorab eine einheitliche Definition von Konversionen festgelegt werden. Formularübermittlungen, qualifizierte Anfragen und Verkaufschancen, die in die Vertriebsnachverfolgung eingehen, sollten beispielsweise getrennt erfasst werden. Spam und doppelte Einsendungen sind auszuschließen; die Qualität sollte anhand der Zielregion, des Produktbedarfs und der Kaufabsicht beurteilt werden. Bei längeren Verkaufszyklen sollten auch spätere Angebote, der Fortschritt von Verkaufschancen und Abschlüsse nachverfolgt werden, statt nur die Zahl der Formulareingänge im jeweiligen Monat zu vergleichen.

Quellenfelder für Leads im CRM-System, Vertriebsnotizen oder ein optionales Feld zur Herkunft in Formularen können die Webdaten ergänzen. Kunden kommen jedoch möglicherweise über mehrere Kanäle mit einer Marke in Kontakt und erinnern sich nicht unbedingt an die konkrete Quelle. Selbst gemeldete Angaben sollten daher nicht als vollständige Attribution behandelt werden. Aussagekräftiger ist es, direkt zuordenbare Konversionen, von Kunden selbst angegebene Kontaktpunkte und den Anteil unbekannter Quellen gemeinsam auszuweisen.

Die Auswertung mehrsprachiger Websites sollte nach Sprachversion und Zielmarkt aufgeschlüsselt werden, damit ein Gesamtanstieg des Traffics eine schwache Konversion in wichtigen Märkten nicht verdeckt. Lösungen wie mehrsprachige Website-Lösungen für den Außenhandel bieten mehrsprachige Seiten und die Anbindung von Marketingtools. Sie können dazu dienen, lokalisierte Inhalte zu organisieren und die Konversionsmessung einzurichten. Ob Besuche von bestimmten Plattformen erkannt werden können, hängt jedoch weiterhin von den verfügbaren Weiterleitungsinformationen und der Analysekonfiguration ab. Daraus lässt sich keine Garantie für Zitate durch generative Engines oder einen Anstieg der Anfragen ableiten.

Wie sich beurteilen lässt, ob Verbesserungen auf GEO-Maßnahmen zurückzuführen sind

Vor Beginn der Optimierung sollte ein Basiszeitraum dokumentiert werden: mit festem Fragenkatalog und festen Testbedingungen sowie dem damaligen Zustand der Seiten und den entsprechenden Besuchs- und Anfragezahlen. Nach der Umsetzung wird mit derselben Methode erneut getestet. Dabei sollten die Zeitpunkte von Inhaltsaktualisierungen, Seitenanpassungen und der Pflege externer Informationen festgehalten werden. Zusätzlich zur eigenen Leistung kann das Auftreten wichtiger Wettbewerber in denselben Fragen beobachtet werden. Das hilft einzuschätzen, ob die Veränderungen nur das eigene Unternehmen betreffen.

Beim Vergleich sind andere gleichzeitig eingetretene Veränderungen zu berücksichtigen. Werbebudget, organische Suchrankings, Werbeaktionen, Vertriebsaktivitäten und saisonale Nachfrage können sich ebenfalls auf Anfragen auswirken. Wurde im selben Zeitraum auch eine umfassende Website-Überarbeitung vorgenommen, lässt sich nicht das gesamte Wachstum GEO zuschreiben. Wenn es die Bedingungen erlauben, kann zunächst ein Teil der wichtigen Seiten optimiert werden, während ein vergleichbarer Teil unverändert bleibt. Anschließend werden die Veränderungen in beiden Gruppen beobachtet. Da sich die geschäftlichen Rahmenbedingungen der Gruppen dennoch unterscheiden können, stärkt ein solches Ergebnis lediglich die Einschätzung; einen Kausalzusammenhang beweist es nicht automatisch.

Bei der Berechnung des Kosten-Nutzen-Verhältnisses sollten die Kosten für die Erstellung und Lokalisierung von Inhalten, technische Anpassungen, Tests und externe Dienstleistungen berücksichtigt und dem zusätzlichen Geschäftswert gegenübergestellt werden, der sich zuordnen oder durch nachvollziehbare Belege stützen lässt. Bei Verkaufschancen mit langem Zyklus, die noch nicht abgeschlossen sind, können zunächst die Zahl qualifizierter Verkaufschancen und deren weiterer Verlauf ausgewiesen werden. Erwartete Auftragswerte sollten nicht unmittelbar als bereits erzielter Ertrag behandelt werden.

Bei kleinen Stichproben können wenige Antworten die Prozentwerte deutlich verändern. Steigt die Zahl der Erwähnungen beispielsweise von 2 bei 10 Antworten auf 3, erhöht sich die Erwähnungsrate zwar von 20 % auf 30 %, tatsächlich kam die Marke aber nur ein weiteres Mal vor. In solchen Fällen sollten die Tests häufiger wiederholt und die Ergebnisse über mehrere Zeiträume beobachtet werden, statt das Budget sofort auszuweiten oder die Strategie für erfolgreich zu erklären.

Bewertungsergebnisse für die nächsten Schritte nutzen

Nehmen korrekte Erwähnungen und Zitate bei den Zielfragen zu, während die Website-Besuche kaum steigen, sollte geprüft werden, ob die Antworten anklickbare Quellen enthalten und ob die zitierten Seiten zur jeweiligen Frage passen. Zugleich ist zu berücksichtigen, dass manche Nutzer möglicherweise nicht klicken oder nicht erfasst werden können. Steigen die Besuche, ohne dass sich die Zahl qualifizierter Anfragen verbessert, sollten die Sprache der Landingpages, die Produktinformationen, die Kontaktmöglichkeiten und die Übereinstimmung mit den Bedürfnissen der Besucher überprüft werden, statt weiterhin nur die Sichtbarkeit zu steigern.

Verbessern sich weder die Häufigkeit der Markennennungen noch die Geschäftsergebnisse, sollte der Fragenkatalog und der Inhalt erneut geprüft werden: Entsprechen die Testfragen den Beschaffungsanforderungen? Erläutern die Seiten klar die Einsatzbedingungen der Produkte? Sind die öffentlich verfügbaren Informationen konsistent? Der Wert einer Bewertung liegt nicht darin, eine attraktive Gesamtpunktzahl zu erhalten. Entscheidend ist vielmehr, festzustellen, für welche Schritte – vom Auftreten in Antworten über die Glaubwürdigkeit der Informationen bis hin zur Handlung des Kunden – Belege vorliegen und welche noch überprüft werden müssen.