Kann ein Social-Media-Monitoring-Service negative Markenerwähnungen zuverlässig erkennen?

Ein Social-Media-Monitoring-Service kann Unternehmen dabei helfen, negative Erwähnungen ihrer Marke zu erkennen. Seine Genauigkeit hat jedoch klare Grenzen: Sie hängt davon ab, ob die betreffenden Inhalte erfasst werden können, ob sich Kommentarbezug und Kontext bestimmen lassen und ob Informationen mit hohem Risiko rechtzeitig an zuständige Mitarbeitende weitergeleitet werden. Bei direkten Aussagen mit eindeutigem Markenbezug lassen sich Beschwerden leichter automatisch erkennen. Bei Ironie, indirekten Formulierungen, mehrsprachigen Äußerungen oder Text in Bildern sind Fehlinterpretationen wahrscheinlicher.

Bei der geschäftlichen Bewertung sollten Unternehmen solche Dienste als Instrumente zur kontinuierlichen Prüfung und Frühwarnung betrachten. Ob sich die Anschaffung lohnt, hängt davon ab, ob wichtige Beschwerden dadurch seltener übersehen, Fehlalarme begrenzt und Probleme, die bearbeitet werden müssen, von den Kundenservice-, Marketing- und Vertriebsteams schneller gefunden werden. Eine einzelne von einem Anbieter angegebene „Genauigkeitsrate“ reicht nicht aus, um diese Fragen zu beantworten.

Prüfen Sie zuerst die Datenabdeckung und anschließend die Erkennungsgenauigkeit

Wenn Inhalte nicht in den Monitoring-Bereich gelangen, ist eine anschließende Sentimentanalyse nicht möglich. Bei der Bewertung der Datenabdeckung sollten die Zielplattformen, Inhaltstypen und Erfassungsmethoden konkret geprüft werden. Sind beispielsweise Kommentare auf Markenseiten, öffentliche Beiträge, Videokommentare und Forendiskussionen abgedeckt? Ist eine rückwirkende Suche möglich? Wie lange dauert es, bis neue Inhalte erkannt werden? Dass eine Plattform in der Leistungsliste aufgeführt ist, bedeutet nicht, dass sämtliche dort veröffentlichten Inhalte erfasst werden können.

Private Gruppen, Konten mit Zugriffsbeschränkungen, gelöschte Inhalte sowie Daten, deren Zugriff durch Plattform-APIs oder Zugriffsregeln eingeschränkt ist, können blinde Flecken verursachen. Unternehmen mit internationalem Geschäft sollten die Kanäle für ihre Zielmärkte besonders sorgfältig prüfen: Selbst eine umfassende Abdeckung der großen Plattformen garantiert nicht, dass gebündelte Beschwerden in einem regionalen Forum oder einer lokalen Sprachgemeinschaft erkannt werden.

Auch der Markenname selbst beeinflusst die Ergebnisse. Englische Abkürzungen, Produktmodelle, lokale Übersetzungen und häufige Schreibfehler können als Einstiegspunkte für Diskussionen über eine Marke dienen. Wird nur der vollständige Firmenname eingerichtet, können Erwähnungen übersehen werden; überschneidet sich der Name mit gewöhnlichen Begriffen, können irrelevante Inhalte einfließen. Ob der Anbieter die Pflege von Aliasnamen, Ausschlussbegriffen und Kontextbeschränkungen unterstützt, wirkt sich unmittelbar auf die Nutzbarkeit der Monitoring-Ergebnisse aus.

Zwischen „enthält negative Wörter“ und „bewertet die Marke negativ“ liegt noch ein weiterer Beurteilungsschritt

Die Aussage „Diesmal fällt die Verbindung endlich nicht aus“ enthält zwar einen Begriff, der auf eine Störung hinweist, kann aber zugleich Anerkennung ausdrücken. „Der Kundenservice hat wirklich schnell geantwortet – nach drei Wochen Wartezeit“ enthält keine direkte Beleidigung, kann aber ebenfalls sarkastisch gemeint sein. Nutzer können zudem die Beschwerde anderer weiterleiten, auf ältere Meldungen verweisen oder bei einem Wettbewerbsvergleich eine Störung erwähnen. Das System muss den Bewertungsgegenstand, Verneinungen und den Kontext erkennen, um festzustellen, ob sich die negative Haltung tatsächlich auf die Marke bezieht.

Bei mehrsprachigen Geschäftsaktivitäten verstärken sich diese Unterschiede. Die Unterstützung einer Sprache bedeutet nicht, dass lokale Umgangssprache, Abkürzungen, Ironie und gemischte Ausdrucksweisen zuverlässig verstanden werden. Außenhandelsunternehmen sollten außerdem zwischen Produktqualität, Lieferzeiten, Händler-Service und Kaufabsicht unterscheiden. Aussagen wie „Der Preis ist zu hoch, ich ziehe das vorerst nicht in Betracht“ und „Das Gerät weist ein Sicherheitsrisiko auf“ können beide als negativ eingestuft werden, erfordern aber eine unterschiedliche Reaktionsgeschwindigkeit und Zuständigkeit.

Auch Bilder, Videos und Kommentarverläufe sollten gesondert geprüft werden. Wird nur der Text des Beitrags analysiert, können Beschwerden in Screenshots übersehen werden; wird nur eine einzelne Antwort betrachtet, lässt sich möglicherweise nicht erkennen, worauf sie sich bezieht. Bei der Auswahl eines Anbieters sollte dieser erläutern, welche Inhalte analysiert werden, welcher Kontext verfügbar ist und wie nicht eindeutig beurteilbare Fälle gekennzeichnet werden. Unsicherheit bei Inhalten mit unzureichendem Kontext kenntlich zu machen, statt sie zwanghaft als positiv oder negativ einzuordnen, erleichtert die Überprüfung.

Prüfen Sie Fehlalarme und übersehene Erwähnungen anhand eigener Geschäftsdaten

Produktvorführungen des Anbieters zeigen in der Regel nur einen Teil der Fähigkeiten. Aussagekräftiger ist ein Satz von Geschäftsdaten, der manuell annotiert wurde und die wichtigsten Märkte, Sprachen und Produktlinien abdeckt. Er sollte zugleich verschiedene Fälle umfassen, etwa gewöhnliche Diskussionen, tatsächliche Beschwerden, Ironie, Verwechslungen mit gleichlautenden Namen sowie weitergeleitete oder zitierte Inhalte. Legen Sie vor der Annotation fest, ob sich eine Bewertung auf die eigene Marke bezieht, ob sie negativ ist und wie die Risikostufen eingeteilt werden. So vermeiden Sie unterschiedliche Maßstäbe zwischen den Bewertenden.

Besteht die Stichprobe ausschließlich aus Inhalten, die der Dienstleister bereits erfasst hat, lässt sich nur die Klassifizierungsleistung prüfen, nicht aber, ob Inhalte bei der Erfassung übersehen wurden. Um die End-to-End-Leistung zu beurteilen, sollten auch bekannte öffentliche Erwähnungen aus manuellen Prüfungen oder bestehenden Kundenservice-Aufzeichnungen herangezogen werden. Prüfen Sie, ob das System diese findet, und dokumentieren Sie den Zeitpunkt der Erkennung.

Bei der Abnahme sollten mindestens drei Fragen getrennt betrachtet werden:

• Wie verlässlich sind die Warnmeldungen? Wie viele der als negativ markierten Inhalte sind tatsächlich negative Erwähnungen mit Bezug zur Marke? Zu viele Fehlalarme beanspruchen fortlaufend Zeit für die manuelle Prüfung durch das Team.
• Wie viele wichtige Inhalte wurden übersehen? Wie viele der manuell bestätigten negativen Erwähnungen hat das System gefunden? Prüfen Sie insbesondere Inhalte zu Qualität, Sicherheit und Betrugsvorwürfen, die zeitnah beachtet werden müssen.
• Wie schnell erfolgt die Erkennung? Wie viel Zeit vergeht von der Veröffentlichung eines Inhalts bis zu seiner Erfassung, Erkennung und Benachrichtigung? Entscheidend ist nicht allein, wie schnell der Algorithmus die Klassifizierung abschließt.

Die Ergebnisse sollten nach Sprache, Plattform und Risikotyp aufgeschlüsselt werden. Gute Gesamtwerte können eine schwache Erkennung in einem wichtigen Zielmarkt verdecken; eine korrekte Beurteilung vieler gewöhnlicher Kommentare kann zugleich verschleiern, dass einige schwerwiegende Beschwerden übersehen wurden. Auch der Anteil negativer Inhalte in der Stichprobe beeinflusst die Gesamtgenauigkeit. Eine einzelne zusammengefasste Kennzahl sollte daher nicht als alleinige Grundlage für die Beschaffung dienen.

Die Beschaffungskriterien sollten sich daran orientieren, ob sich erkannte Fälle bearbeiten lassen

Benötigt ein Unternehmen lediglich Einblicke in Veränderungen der Markenstimmung, kann es gewisse Klassifizierungsabweichungen hinnehmen und Trends anhand von Stichprobenprüfungen beobachten. Soll der Dienst zur Frühwarnung bei schwerwiegenden Beschwerden dienen, sollten die Erkennungsrate bei gravierenden Problemen, die Benachrichtigungszeit und der Eskalationsprozess mit manueller Prüfung Vorrang haben. Wichtige Kanäle sollten außerdem weiterhin regelmäßig manuell überprüft werden.

Bei integrierten Website- und Marketingdienstleistungen besteht der Nutzen des Monitorings auch darin, Beschwerden an das richtige Team weiterzuleiten: Lieferprobleme werden dem Kundenservice übergeben, Rückmeldungen zu Missverständnissen über Produkte gehen an das Team für Website-Inhalte, und Abweichungen zwischen Werbeversprechen und tatsächlicher Erfahrung werden vom Werbeteam untersucht. Das System sollte den ursprünglichen Link, den Veröffentlichungszeitpunkt, die Beurteilungsgrundlage und den Bearbeitungsstatus speichern, damit Fälle überprüft und nachverfolgt werden können. Automatisch generierte Antworten können beim Entwurf helfen. Bei strittigen Sachverhalten, Entschädigungen oder öffentlichen Zusagen sollte jedoch eine verantwortliche Person die Antwort prüfen.

Vor Vertragsabschluss können die wichtigsten Plattformen und Sprachen, die Pflege von Monitoring-Begriffen, die Warnregeln und die Zuständigkeit für Überprüfungen in den Abnahmekriterien festgehalten werden. Legen Sie außerdem fest, wie bei Zugriffsbeschränkungen auf Daten benachrichtigt wird. Anbieter, die bereit sind, übersehene Inhalte offenzulegen, Fehlklassifizierungen zu erklären und Regeln anhand von Unternehmensdaten zu testen und anzupassen, erleichtern die Entwicklung realistischer und steuerbarer Erwartungen. Die zuverlässige Erkennung negativer Markenerwähnungen muss letztlich in einen überprüfbaren Arbeitsablauf münden, für den eine zuständige Person die Verantwortung übernimmt.