Wie stellt ein Cross-Border-Shop-System sicher, dass die Latenz an globalen Knoten in 98 % der Fälle den Anforderungen entspricht? Bei der Abnahme müssen regionale Abdeckung, Latenzgrenzwerte und Stichprobenmethodik klar festgelegt werden, damit Durchschnittswerte nicht das tatsächliche Nutzungserlebnis verschleiern. Bei der technischen Bewertung sollten zunächst die Definition der Kennzahlen geprüft und anschließend die Testergebnisse verifiziert werden.
Ein praktikables Abnahmekriterium lautet: Innerhalb der vereinbarten Regionen, Netzwerke, Geschäftsszenarien und des festgelegten Auswertungszeitraums müssen mindestens 98 % der gültigen Anfragen erfolgreich sein und den vereinbarten Latenzgrenzwert einhalten. Gleichzeitig müssen die wichtigsten Märkte jeweils eigene Mindestwerte erfüllen.
Die vom Anbieter angegebenen Knotenzahlen, Screenshots von Geschwindigkeitstests oder globalen durchschnittlichen Antwortzeiten belegen für sich allein nicht, dass die Anforderungen erfüllt sind. Die Abnahme muss nachvollziehbar nachgerechnet werden können und darlegen, wie fehlgeschlagene Anfragen berücksichtigt werden, welche Märkte die Anforderungen nicht erfüllen und wie sich das System bei Spitzenlast verhält.
Zunächst klären: Was genau wird bei den 98 % erfasst?
Es empfiehlt sich, einen „Knoten“ als Messpunkt zu definieren, der die Zielkäufer repräsentiert, und Land, Stadt, Netzbetreiber und Zugangsart anzugeben. Die vom Dienstleister bereitgestellten Edge-Knoten sind Teil der Infrastruktur und können Messpunkte im Netzwerk der Käufer nicht unmittelbar ersetzen.
Jede Kennzahl wird separat berechnet: Erfüllungsquote = Anzahl erfolgreicher gültiger Anfragen, deren Dauer den vereinbarten Grenzwert nicht überschreitet ÷ Gesamtzahl aller gültigen Anfragen. Timeouts, Verbindungsfehler und Serverfehler gelten als nicht erfüllt. Es dürfen nicht nur erfolgreich beantwortete Anfragen gezählt werden.
Beispiel: Von 10.000 gültigen Stichproben müssen 9.800 sowohl erfolgreich sein als auch die Zeitvorgabe einhalten, damit der Grenzwert erreicht ist. Werden zunächst 300 Timeouts ausgeschlossen und anschließend die verbleibenden Stichproben ausgewertet, spiegelt das Ergebnis die tatsächliche Servicequalität nicht wider.
Auch „gültige Stichproben“ müssen im Voraus definiert werden. Nur Fälle wie nachweislich ausgefallene Messsonden oder doppelte Einträge dürfen ausgeschlossen werden; dabei sind Prüfprotokolle aufzubewahren. Fehler auf grenzüberschreitenden Verbindungen gehören zum zu messenden Nutzungserlebnis und dürfen nicht allein deshalb ausgeschlossen werden, weil sie schwer zu kontrollieren sind.
Bis wohin muss die Latenz gemessen werden, um das Shop-Erlebnis abzubilden?
Die Netzwerklaufzeit beschreibt lediglich den Zustand der Verbindung. Die Time to First Byte (TTFB) gibt die Wartezeit bis zum Beginn der Antwort wieder, während die Darstellung der wesentlichen Seiteninhalte auch von Bildern und Skripten abhängt. Für die Abnahme sollten separate Kennzahlen festgelegt werden; Ergebnisse von Netzwerktests dürfen nicht mit der Ladegeschwindigkeit der gesamten Website gleichgesetzt werden.
Statische Ressourcen, Produktdetailseiten sowie Such-, Warenkorb- und Checkout-Schnittstellen sollten separat getestet werden. Bei Schnittstellen muss geprüft werden, ob die fachlichen Antworten korrekt sind – insbesondere bei Lagerbestand, Preisen und Bestellergebnissen. So wird vermieden, dass eine schnell zurückgegebene Fehlerseite als bestandener Test gewertet wird.
Die Grenzwerte sollten entsprechend Zielmarkt, Seitentyp und Geschäftsanforderungen vereinbart werden. Es gibt keinen einheitlichen Millisekundenwert, der für alle Cross-Border-Shops gilt. Für das Browser-Erlebnis und die Antwortzeiten von Schnittstellen sollten separate Grenzwerte festgelegt werden. Bei den Tests sind Gerät, Bandbreite und Cache-Status eindeutig anzugeben.
Warum kann die Abnahme trotz eines bestandenen globalen Gesamtergebnisses scheitern?
Die globale Erfüllungsquote der Latenz an Knoten wird leicht durch die Verteilung der Stichproben beeinflusst. Werden beispielsweise in Nordamerika viele, in Lateinamerika und im Nahen Osten hingegen nur wenige Messungen durchgeführt, kann das Gesamtergebnis trotz einer schlechteren Nutzererfahrung in den letztgenannten Regionen die Anforderungen erfüllen. Daher müssen die Ergebnisse nach Regionen aufgeschlüsselt werden.
Es empfiehlt sich, sowohl ein globales Ziel als auch Mindestwerte für die wichtigsten Märkte festzulegen. Die globale Kennzahl kann anhand zuvor vereinbarter Geschäftsverkehrsgewichte berechnet werden. Für jeden Markt müssen dennoch eine separate Erfüllungsquote und eine Mindeststichprobenzahl vorgelegt werden, damit Schlussfolgerungen nicht auf wenigen Stichproben aus Regionen mit geringem Traffic beruhen.
Jede wichtige Region sollte repräsentative lokale Netzwerke abdecken. Die Ergebnisse sind stündlich für Spitzen- und Nebenzeiten auszuwerten und sollten Median sowie hohe Perzentile der Latenz ausweisen. Hohe Perzentile helfen, langsame Anfragen zu erkennen. Ob die 98 % erreicht wurden, muss weiterhin direkt anhand der festgelegten Formel berechnet werden.
Wie lange und unter welcher Last muss getestet werden, damit die Ergebnisse verlässlich sind?
Sieben aufeinanderfolgende Tage können als Ausgangspunkt für die Vereinbarung dienen, um Werktage, Wochenenden und die abendlichen Spitzenzeiten der wichtigsten Märkte abzudecken. Der konkrete Zeitraum richtet sich nach den Schwankungen des Geschäfts. Gleichzeitig sollten Messhäufigkeit, Mindeststichprobenzahl und Regeln für fehlende Messwerte vereinbart werden, damit nicht nur Zeiträume mit guten Ergebnissen ausgewählt werden.
Synthetische Messungen ermöglichen einen stabilen Vergleich zwischen verschiedenen Regionen. Messungen realer Nutzer ergänzen diese um die tatsächliche Leistung auf unterschiedlichen Geräten und Netzwerken. Beide Datentypen sollten getrennt ausgewiesen werden. Bei Daten realer Nutzer sind außerdem die Stichprobenquote und die Maßnahmen zum Schutz der Privatsphäre anzugeben, damit sie nicht ohne Weiteres mit anderen Daten zusammengeführt werden.
Cache-Treffer und Cache-Fehler sowie Erst- und wiederholte Zugriffe sollten getrennt abgedeckt werden. Bei dynamischen Anfragen sind Anmeldestatus, regionale Preise und Lagerbestand zu überprüfen. Dabei müssen sowohl die Antwortgeschwindigkeit als auch die Richtigkeit der Nutzerdaten und Produktinformationen im Cache geprüft werden.
Für den Lasttest sind die Anzahl gleichzeitiger Nutzer, die Anfragerate, die Geschäftsverteilung, die Dauer und das Datenvolumen festzulegen. Die Last sollte schrittweise erhöht und der Skalierungsvorgang beobachtet werden. Gleichzeitig sind Fehlerrate und Latenz zu protokollieren, um zu überprüfen, ob die vereinbarten Anforderungen auch bei Werbeaktionen und Spitzenlast dauerhaft eingehalten werden können.
Welche Abnahmenachweise muss der Anbieter bereitstellen?
Die Abnahmeunterlagen sollten mindestens den Testplan, die Liste der Regionen und Netzwerke, die Kennzahlengrenzwerte, die Rohdaten und den zusammenfassenden Bericht enthalten. Einzelne Messdatensätze sollten möglichst Zeitstempel, Messpunkt, Szenario, Dauer, Status und Fehlerart enthalten, damit der Auftraggeber die Berechnung eigenständig nachvollziehen kann.
Außerdem sind die während des Testzeitraums verwendete Bereitstellungsversion, die Cache-Strategie, die Skalierungskonfiguration und Änderungsprotokolle bereitzustellen. Der Bericht muss alle Regionen und Zeiträume aufführen, in denen die Anforderungen nicht erfüllt wurden, und Auffälligkeiten mit Monitoring-Nachweisen verknüpfen. So lässt sich feststellen, ob die Ursache in der Verbindung oder in der Anwendung liegt.
Externe Abhängigkeiten wie Drittanbieter für Zahlungen sollten separat ausgewiesen werden; die Zuständigkeitsgrenzen sind im Voraus zu vereinbaren. Gleichzeitig sind die Nutzungsdaten für den vollständigen Checkout-Prozess aufzubewahren. Andernfalls können zwar die Kernschnittstellen die Abnahme bestehen, Käufer aber dennoch aufgrund eines langsamen Zahlungsvorgangs keine Bestellung abschließen.
Aus einer einmaligen Abnahme eine dauerhaft umsetzbare Verpflichtung machen
Der Vertrag sollte zwischen der Erstabnahme und der Servicebewertung nach dem Go-live unterscheiden und den Bewertungszeitraum, den Beginn und das Ende von Störungen, die Reaktion auf Warnmeldungen, die Fristen für Korrekturmaßnahmen und die Bedingungen für Wiederholungstests festlegen. Fehlende Messwerte dürfen nicht automatisch als bestanden gelten. Geplante Wartungsarbeiten und weitere Ausschlüsse müssen ebenfalls im Voraus vereinbart werden.
Bei einer Plattform wie 易营宝, die Website-Erstellung und internationales Marketing als integrierte Dienstleistungen anbietet, kann verlangt werden, das Monitoring entsprechend den Märkten der Werbekampagnen einzurichten und Landingpages, Produktseiten sowie den Checkout-Prozess in die Bewertung einzubeziehen. So orientiert sich die Leistungsabnahme an den tatsächlichen Wegen zur Kundengewinnung und zum Kaufabschluss.
Bei der technischen Auswahl sollte zunächst sichergestellt werden, dass Kennzahlen eindeutig definiert, Stichproben zurückverfolgt, Ergebnisse nachgerechnet und Abweichungen behoben werden können. Erst wenn die Zielmärkte abgedeckt sind und die Anforderungen unter realer Geschäftslast dauerhaft erfüllt werden, sind die 98 % für die Kaufentscheidung aussagekräftig.
