A/B Testing

Definition von A/B-Testing

A/B-Testing (auch Split Test oder Split Testing genannt) bedeutet, dass zwei Varianten einer Sache (wie Webseiten, Headlines, Call-to-Action-Buttons) gegeneinander getestet und miteinander in ihrer Performance verglichen werden. Das heißt, dass Variante A und Variante B jeweils einem Teil der Zielgruppe gezeigt wird (ausgespielt nach dem Zufallsprinzip). Die Variante, die die höhere Conversion Rate erreicht, gewinnt den Test.

Ziel von A/B-Tests

Das Ziel hinter A/B-Tests ist es herauszufinden, welche Variante die bessere Leistung erzielt: die ursprüngliche oder die veränderte Version? Auf diese Weise kannst du beispielsweise in der Software-Entwicklung, im Web-Design oder Online Marketing wichtige Erkenntnisse über nötige Änderungen gewinnen, die zur Optimierung deines Ergebnisses führen.

So lässt sich die gewünschte Nutzerinteraktion (z. B. Käufe oder Newsletter-Anmeldungen)

• datenbasiert,
• kontinuierlich
• und schnell
  steigern.

Welche Messwerte lassen sich durch A/B-Tests steigern?

Hier einige Beispiele dafür, welche Messwerte sich durch A/B-Testing steigern lassen – vorausgesetzt, du nutzt die Erkenntnisse aus den Testings auch wirklich zur Optimierung:

• Downloads, z. B. von E-Books
• Registrierungen zu Newslettern, Wartelisten, kostenlosen Workshops, Kunden-Konten etc.
• Käufe in Online-Shops
• Erstellung von nutzergenerierten Inhalten wie Bewertungen und Profile
• Spenden (Anzahl und Höhe)

Dabei kannst du folgende Fragen berücksichtigen:

• welches Design (Farbe von Schriften, Hintergründen, Buttons ...),
• welche grafischen Elemente (Fotos, Schaubilder, Tabellen ...),
• welches Wording (auch: welche Menge an Text),
• welche Position auf der Webseite (Pop-up, Banner, Footer ...),
• welche Nutzerführung und Customer Journey
  konvertieren am besten?

Varianten von A/B-Tests

Je nachdem, was du mit einem AB-Test erreichen möchtest, wählst du zum Testen eine von 3 Varianten. Hier die jeweilige Definition:

Klassischer A/B-Test

Bei dieser Art zu testen lässt du im Split Test eine oder mehrere Varianten gegen die originale Version laufen, testest jedoch immer nur eine veränderte Sache (Beispiel: Button-Farbe) zur gleichen Zeit.

Multivariate Tests

Bei dieser Variante kannst du auch mehrere veränderte Variablen auf einer Webseite gleichzeitig testen. So überprüfst du, welche Kombination die bessere Conversion erzielt - z. B. wenn du gleichzeitig die Farbe eines CTA-Buttons und ein Wording änderst. Die verschiedenen Variablen werden dann von deinem A/B-Testing-Tool automatisch in Test-Kombinationen zusammengefügt. Bei 3 Fotos und 2 Wordings erhältst du dann beispielsweise 6 verschiedene Tests.

Weiterleitungstest bzw. Split-URL-Test

Bei diesem Split Testing Prinzip lassen sich beispielsweise ganze Landing Pages gegeneinander testen, um zu prüfen, welcher Aufbau, welches Design oder welcher Content besser funktioniert. Das Tool, das du zum Testen verwendest, leitet dann die eine Hälfte der User auf die eine Version der Landing Page, die andere Hälfte auf die andere Version.

Vorgehensweise bei AB-Tests

Um verschiedene Varianten zu testen, gehst du wie folgt vor:

• Definiere das Ziel deines AB-Testings. Beispiel: Mehr User sollen ein Kunden-Konto erstellen.
• Formuliere eine Hypothese zum Problem bzw. Hindernis: Woran könnte es liegen, dass nicht mehr Menschen ein Kunden-Konto erstellen?
• Erstelle die Varianten, die du testen willst. Könnte es beispielsweise am Wording liegen, schreib den Call-to-Action-Text in einer zusätzlichen Variante.
• Setze den AB-Test mit einem passenden Tool auf.

Welche Tools gibt es für AB Testing?

Die folgenden Testing-Tools stehen dir für dein AB Testing zur Verfügung:

• Google Optimize
• AB Tasty
• Kameleoon
• Optimizely

Zusätzliche Tools zur Problem-Findung und Daten-Analyse

Zusätzlich solltest du ein Web Analytics Tool wie Google Analytics verwenden. Und für den Fall, dass du dich schwer damit tust, mögliche Probleme auf deiner Webseite oder an deinem Produkt zu identifizieren und entsprechende Hypothesen zu bilden, können dir die folgenden Tools helfen:

• Umfragen (als persönliche Interviews oder Onsite-Umfragen)
• Heatmaps
• Screen- & Session-Recordings

Worauf kommt es bei A/B-Tests an?

Um beim A/B-Testing aussagekräftige Ergebnisse zu erhalten, kommt es auf folgende Punkte an:

• Die Testgruppe muss groß genug sein. Ist beispielsweise der Traffic auf einer zu testenden E-Commerce-Seite zu gering, dauert es lange, bis relevante Ergebnisse vorliegen. Gerade beim multivariaten Testing braucht ein Unternehmen viel Traffic, bis eine statistische Signifikanz erreicht ist.
• Wichtig beim Testen ist, dass in Version B jeweils nur ein einzelnes Elemente verändert und gegen das Original (Version A) getestet wird (Ausnahme: multivariate Tests). Der Grund: Nur so können Unterschiede in der Conversion den Änderungen zugeordnet werden.
• Das Testen sollte nicht zu schnell beendet werden, auch wenn schon zu Beginn viele Daten in AB Tasty oder ein anderes Tool deiner Wahl einlaufen. Als Faustregel gilt: Lass das Testing ca. 14 Tage laufen.
• Priorisiere die anstehenden AB Testings nach Impact und damit Wichtigkeit. Eine Test-Roadmap hilft dir und deinem Team, den Überblick zu behalten.

Vorteile von A/B-Testing

AB-Tests lohnen sich aus folgenden Gründen für dich und dein Unternehmen:

• Besonders, wenn AB-Tests immer wieder durchgeführt und Veränderungen getestet werden, können Ergebnisse und Produkte immer weiter verbessert werden. Denn beim wiederholten Testen können Entwickler sukzessive auf den Erfahrungen und Learnings aufbauen.
• Dank A/B-Testing gehen du und dein Team die Optimierung eures Produkts strukturiert und strategisch an, anstatt chaotisch und unfokussiert. Denn ihr verlasst euch dabei auf die Ergebnisse und Daten, die euch die AB-Tests liefern, anstatt einem vagen Gefühl nachzugehen, warum beispielsweise die Bounce Rate eurer E-Mail-Kampagnen so hoch ist.
• Über A/B-Tests steigerst du nicht nur die Conversion Rate deiner Webseiten, Apps & Co: Du sorgst automatisch auch dafür, dass sich die User Experience verbessert. Denn mit fortschreitendem Testen wirst du immer mehr über deine Webseiten Besucher lernen.