Inhaltsverzeichnis
Ein A/B-Test ist für Werbetreibende eine gute Methode, um wichtige Erkenntnisse über ihre Zielgruppe zu sammeln und auf diese Weise die Performance Ihrer Anzeigen langfristig zu steigern. Indem ein Creative, eine Landingpage oder eine Anzeige gegen eine alternative Version getestet wird, können verschiedene Möglichkeiten und Einstellungen ausprobiert werden, mit denen sich bessere Interaktions- und Kaufraten erzielen lassen
Der Mehrwert eines solchen A/B Tests liegt auf der Hand: Selbst kleine Verbesserung der Klick- oder Conversionrate können Traffic und Umsatz nachhaltig, dauerhaft und ohne zusätzliche Kosten steigern.
Ein prominentes Beispiel ist die Präsidentschaftskampagne Barack Obamas im Jahr 2008: Durch kontinuierliches Testen verschiedener Creatives konnte die Anmelderate für den Newsletter damels um 40,6% gesteigert werden. Über die gesamte Laufzeit der Kampagne hochgerechnet, führte das schließlich zu rund 57 Millionen Dollar an zusätzlichen Wahlspenden.
Um am Ende der Testphase aussagekräftige Ergebnisse erzielen zu können, sollten beim A/B Test einige wichtige Aspekte beachtet werden. Wir zeigen Ihnen, wie Sie den Test vorbereiten und anschließend erfolgreich interpretieren.
Interessieren Sie sich für die technische Umsetzung des A/B Tests? Dann lesen Sie gern unseren Blogartikel zum Thema “A/B Testing mit Analytics”.
Für einen A/B-Test eignen sich viele verschiedene Elemente: Im Ads-Konto bieten sich beispielsweise Anzeigen-Elemente, eine Landingpage oder verschiedene Creatives im Display- oder Video-Netzwerk an.
Darüber hinaus kann die Performance von Gebotsstrategien, Ausrichtungskriterien, die Preissetzung und vieles mehr ausgetestet werden. Zu Beginn sollten Sie mit den Variablen starten, die den größten Einfluss auf die gesamte Performance ihrer Kampagnen haben.
Wichtig bei der Erstellung eines A/B-Tests ist, dass alle weiteren Faktoren identisch bleiben, sodass die erzielten Ergebnisse eindeutig und unzweifelhaft auf das veränderte Element zurückzuführen sind.
Hierfür muss die Zielgruppe randomisiert werden, das heißt gleichmäßig und zufällig in zwei Untergruppen aufgeteilt werden. Eine Aufteilung nach Tageszeit bietet sich beispielsweise nicht an, da dies die Zusammensetzung der Untergruppen verfälschen könnte. Eine Aufteilung nach Standorten ist in den meisten Fällen sinnvoller. Das Ads-Konto bietet mit der Funktion Kampagnentest einrichten eine gute Möglichkeit, um Zielgruppen automatisch zu randomisieren. Diese Art des A/B Tests ist jedoch nur für Kampagnen im Such- und Displaynetzwerk verfügbar.
Wählen Sie das Budget und den Testzeitraum in einem ausreichenden Umfang aus, um validierbare Ergebnisse zu erhalten. Kampagnen mit hohem Traffic eignen sich besonders für den A/B Test, da so eine ausreichende Datengrundlage vorhanden ist, um statistisch signifikante Ergebnisse zu erhalten.
Neben den technischen Einstellungen sollte auch das Testobjekt vor dem Start entsprechend ausgewählt und analysiert werden: Hierfür eignet sich das Aufstellen einer Hypothese.
In der einfachsten Variante lautet die Hypothese:
Variante A funktioniert besser als Variante B.
Ist die Hypothese korrekt, wird im Anschluss Variante A weiterverwendet – andernfalls Variante B. Zunächst sollten Sie sich aber die Frage stellen, ob aus dieser Art der Hypothese tatsächlich Learnings für die Zukunft gezogen werden können. Beim Test verschiedener Creatives steht man möglicherweise wenige Monate später erneut vor dem Problem, diese komplett neu designen zu müssen. Auch eine verbesserte Landingpage ist möglicherweise mit dem nächsten Website-Relaunch wieder passé.
Optimalerweise werden die Testobjekte daher gezielt ausgewählt, um bestimmte Kriterien zu vergleichen:
Du vs. Sie, emotionale vs. neutrale Ansprache, grelles Design vs. schlichtes Design, etc. Nach dem Ablauf des Tests können die Ergebnisse ausgewertet werden und Erkenntnisse in Zukunft auch an anderer Stelle der Werbestrategie, beispielsweise auf der Website, im Social Media Marketing oder auch im Newsletter, gezielt eingesetzt werden.
Um tatsächlich Learnings aus dem Test zu ziehen sollte vor dem Start auch sichergestellt werden, dass die Hypothese (mit den zur Verfügung stehenden Mitteln) überprüfbar bzw. falsifizierbar ist.
Möchte man beispielsweise die Verkäufe steigern, lässt sich der Erfolg nur mittels Conversion-Tracking überprüfen. Möchte man testen, ob durch eine Maßnahme mehr Nutzer in das Ladengeschäft kommen, kann dies nur mittels Tracking von Ladenbesuchern überprüft werden. Vor dem Start des Tests sollten daher auch die KPIs definiert werden, mit denen die Hypothese überprüft werden soll. Im Ads-Konto bieten sich beispielsweise Klickraten, Conversion-Raten, Umsätze etc. an, um die bessere von der schlechteren Variante zu unterscheiden. Falls keine KPIs vorhanden sind, anhand denen eine Hypothese überprüft werden kann, wird auch der Test keine sinnvollen Ergebnisse liefern – in diesem Fall wären viel Arbeit und Budget verschwendet worden.
Zusammenfassend kann man also sagen, dass zu jedem guten Test eine strukturierte und problemorientierte Vorbereitung gehört, die sich folgendermaßen zusammenfassen lässt:
Mit den Antworten auf diese Fragen und den fertigen Testobjekten kann der A/B-Test schnell umgesetzt werden. Eine kurze Anleitung für das Testing im Google Ads-Konto stellt Google hier bereit. Ein Test-Szenario bei Google Analytics wurde in diesem Blog beispielsweise bereits an dieser Stelle erläutert.
Nach Ablauf des Testzeitraums werden die Daten analysiert, indem die vordefinierten KPIs der beiden Varianten verglichen werden. An dieser Stelle sollte auch überprüft werden, ob die Datengrundlage tatsächlich statistisch signifikant ist oder ob es sich nicht möglicherweise um Zufall handelt. Insbesondere bei weitreichenden Konsequenzen sollte man natürlich auf Nummer sicher gehen und im Zweifelsfall den Testzeitraum verlängern. Erst wenn die Daten eindeutig und signifikant sind, sollte die Hypothese angenommen oder verworfen werden.
Desweiteren bietet es sich an, die Testergebnisse und den möglichen Einfluss auf die Gesamtperformance darzustellen.
Ein vereinfachtes Beispiel: Der Test ergab, dass die Änderungen an der mobilen Landingpage eine Verbesserung in der Conversion-Rate von 10% bewirken konnte. Generell ist bekannt, dass 50% des gesamten Traffics über mobile Geräte kommt.
Vereinfacht kann man also sagen dass diese Anpassung einen positiven Einfluss in der Conversion Rate von insgesamt 5% hat. Dieses Gegenüberstellen kann Über – oder Unterbewertung der Wichtigkeit der Ergebnisse vorbeugen. Gerade bei der Beurteilung von zukünftigen Investmententscheidungen können so Mehrwert und Kosten der Änderungen auf die Gesamtperformance gegenübergestellt und analysiert werden.
Eine kurze Aufbereitung der Ergebnisse in einem kurzen Dokument oder einer Präsentation bietet sich an, um die Ergebnisse für die Zukunft aufzubewahren oder diese mit anderen Fachabteilungen zu teilen – und die Frage anzugehen: Welche Tests könnten folgen, um die Performance weiter zu steigern?
Alles in allem ist der A/B-Test eine sehr gute Möglichkeit, die Performance im Ads-Konto langfristig zu steigern, da er verhältnismäßig einfach umsetzbar und mit ausreichender Vorbereitung leicht auswertbar ist. Zudem sind die Ergebnisse konkret und leicht verständlich.
Bei genauerem Hinsehen sind lassen sich jedoch auch einige Schwächen erkennen: Das Aufsplitten des Traffics in zwei Varianten führt dazu, dass das Sammeln der Datengrundlage deutlich länger dauertm als beispielsweise bei einem Benchmarking zu historischen Daten.
Zudem kann pro Test nur eine Variable untersucht werden, sodass sich bei komplexen Fragestellungen nur langsam Fortschritte erzielen lassen. Eine Alternative wären beispielsweise Multivariate Tests, die mehrere statistische Variablen gleichzeitig untersuchen und eine Aussage über die Zusammenhänge zwischen den Variablen testen können. Diese sind allerdings, im Gegensatz zum A/B-Test, deutlich aufwändiger, komplexer und fehleranfälliger.
Sie haben Fragen zum A/B-Testing oder der Analyse der Daten in Ihrem Ads-Konten? Schreiben Sie uns gern einen Kommentar oder kontaktieren Sie uns unverbindlich!
Anrufen