Wie kann man Webseiten mit wenig Traffic A/B-testen?

Wenn ich über A/B-Testing spreche, höre ich oft Kommentare wie „Das ist doch nur für die ganz großen Webseiten“, „… ein komplexes Projekt“, „Solche Tools sind nichts für Webseiten mit wenig Traffic“. Darauf gibt es eine klare Antwort: jein. Unsere Consultants und Kunden sind sich einig: Webseiten, die die Online-Erfahrung ihrer Besucher nicht optimieren, sind wie Läden, die die Sauberkeit ihrer Geschäftsräume vernachlässigen. Besucher geben sich einfach nicht damit ab. Ende 2016 haben wir eine Studie durchgeführt, die zeigte, dass 75% der Webseiten mit über einer Million Besuchern A/B-Tests durchführen. Wusste ich doch, werden Sie jetzt sagen. Die Studie zeigt aber auch, dass 72% aller Unternehmen, die A/B-Tests durchführen, weniger als eine Million monatliche Besucher haben.

Was genau ist A/B-Testing?

Definition: A/B-Testing ist ein Experiment auf einer Webseite oder mobilen App, um Optimierungshypothesen mit der Ausgangsversion zu vergleichen. Die statistische Analyse zeigt, was bei der Audience besser ankommt. Es gibt zwei große Schulen für A/B-Tests:

• Frequentist-Methode: Frequentistische Statistik beruht allein auf Beobachtungen. Sie ist experimental (oder induktiv). Es ist die „historische“ Methode für A/B-Tests.
• Bayes’sche Methode: Diese Methode ist deduktiv. Sie verbindet die erhobenen Daten mit bereits durch frühere Studien oder Expertenmeinungen erworbenen Kenntnissen, um schneller zu verlässlichen Ergebnissen zu gelangen.

Warum sind Tests auf Webseiten mit wenig Traffic problematisch?

Machen wir uns nichts vor: Es kann problematisch sein, einen Test nach der Frequentist-Methode auf einer Seite mit wenig Traffic durchzuführen. Ich sagte problematisch, nicht unmöglich. Noch mal unser Beispiel: Ich werfe nochmal meine Münze und weiß, dass die Wahrscheinlichkeit, Kopf zu sehen, bei 50% liegt. Ich werfe zehn Mal. Ich wiederhole das Experiment mehrmals. Die Wahrscheinlichkeit liegt bei 50%, meine Ergebnisse sehen allerdings ganz anders aus. Das Beispiel zeigt, dass eine zu kleine Stichprobe verfälschte Ergebnisse bringen kann, und das lässt sich auf A/B-Tests übertragen. Ist die getestete Stichprobe zu klein, kann das die Ergebnisse verzerren und Sie zu falschen Entscheidungen verleiten. Wenn wir die Münze über 10.000 Mal werfen, kommt das Ergebnis der statistischen Wahrheit viel näher, was ja der Ausgangspunkt der Frequentist-Methode ist. Keine Angst, ich brauchte die Münze nicht selber werfen, dafür gibt es Online-Generatoren. Versuchen Sie es selber einmal, Sie werden schon sehen.  Eine kleine Stichprobe kann eine relativ korrekte Idee geben, hat aber nach der Frequentist-Methode keinen statistischen Wert und kann deshalb zu Fehlschlüssen führen. Langer Rede kurzer Sinn: Je kleiner die Stichprobe, desto unzuverlässiger Ihr A/B-Test.

Wie kann man trotzdem Webseiten mit wenig Traffic A/B-testen?

Schlüsselelemente testen…

Auch wenn Sie über wenig Traffic verfügen, können Sie diejenigen Elemente Ihrer Webseite testen, die die größte Zahl von Besuchern anziehen.

“Wenn Sie Seiten mit wenigen Besuchern testen, müssen sie lange warten, bevor der Test beendet werden kann. Wenn ein Test aber lange läuft, beeinflussen viele externe Faktoren das „normale“ Verhalten Ihrer Besucher (Feiertage, Ferien, politische Ereignisse, Attentate, usw.). Die Ergebnisse können dadurch verzerrt werden und Sie zu falschen Entscheidungen verleiten.” Simon Chatelain, Consultant Kameleoon. 

Es gibt viele Tools, die den Traffic berechnen, den Sie für signifikante Testergebnisse benötigen. Ein solcher Rechner ist in Kameleoons Lösung integriert, Sie können auch kostenlose Tools wie das von Evan Miller benutzen. Wie wird die nötige Testdauer berechnet?

1. Baseline conversion rate = beobachtete Conversion-Rate: Geben Sie die aktuell auf Ihrer Seite / mit dem Element erzielte Conversion-Rate ein.
2. Minimum Detectable Effect = Minimum der gewünschten Veränderung: Absolut (Prozentsatz der gewünschten Veränderung wird hinzugefügt/abgezogen) oder relativ (Änderung der Rate um x%). Je kleiner die Veränderung ist, die Sie zu erzielen versuchen, desto größer muss Ihr Traffic sein, um diese Veränderung verlässlich festzustellen. Anders herum kann man große Schwankungen relativ schnell erkennen.

Auf einer Webseite mit wenig Traffic kann man große gewünschte Verbesserungen testen

Sie haben verstanden: A/B-Testing funktioniert nur mit einem Minimum an Traffic. Aber Evan Millers Tool zeigt auch, dass man keine Millionen Besucher braucht, um verlässliche Tests durchzuführen. Trotzdem müssen Sie aufpassen: Mehrere tausend Unique Visitors pro Variante reichen vielleicht für einen Test aus, aber sie brauchen auch eine Mindestanzahl von Conversions, um die Ergebnisse korrekt auswerten zu können. Beispiel: Sie A/B-testen den Haupt-CTA-Button Ihrer Homepage. Jede Variante erhält 10.000 Besucher. So weit so gut. Aber wenn die Varianten jeweils nur ein paar Dutzend Conversions hervorrufen, wird die Ergebnisanalyse kompliziert. Normalerweise empfehlen wir, einen Test erst zu beenden, wenn mindestens tausend Conversions erreicht sind. Bei Webseiten mit wenig Traffic kann die Zahl niedriger angesetzt sein, mehrere hundert Conversions sollten es aber trotzdem sein.

Untenstehend konkrete Beispiele für Tests von Menüleiste, Homepage und Produktbeschreibungen.

Die Menüleiste

Der Dreh- und Angelpunkt jeder Webseite. Weil die Menüleiste über die Zugänglichkeit Ihrer Inhalte und das Browsing der Besucher entscheidet, müssen Sie ihrem Aufbau eine besonders große Aufmerksamkeit schenken.

• Beispiel Schmidt:   

Auch wenn man nicht französisch spricht, sieht man klar, dass die Menüleiste des Küchenherstellers Schmidt überladen war. Die Informationen waren nicht klar genug strukturiert. Ziel der Neugestaltung des Menüs war die Senkung der Absprungrate der Homepage, die Steigerung der Klicks auf die Haupt-CTAs und mehr Terminvereinbarungen. Erfolgreiche Mission Die Klicks auf die unterschiedlichen CTAs der Menüleiste stiegen mit Variante 2, zwischen +40 und +317%, was diesen A/B-Test zu einem vollen Erfolg machte. 

Ihre Homepage

Die Homepage ist der Haupteinstiegspunkt in fast jede Webseite. Deshalb hat die Homepage auch logischerweise die meisten Besucher. Und bietet die besten A/B-Test-Möglichkeiten für Webseiten mit wenig Traffic.

• Beispiel Welcome Office

Welcome Office ist Anbieter von Büromaterial und führend unter französischen B2B-Online-Discountern in diesem Bereich. Die Analyse von WelcomeOffice.com zeigte, dass die Homepage viel Conversion-Potenzial aufwies. Die Teams des Unternehmens führten deshalb einen Audit der Nutzerfreundlichkeit durch, um das Verhalten der Besucher dieser Seite analysieren zu können. Ausgehend von dieser Analyse wurde ein A/B-Test auf der Homepage eingerichtet, um den Seitenaufbau auszumachen, der am besten ankommt.  Zwei Ziele wurden gesteckt: 

• Besucher sollten auf der Webseite bleiben und auch tiefere Seiten der Webseite besuchen (Katalog, Produktseiten, usw.).
• Die Conversion-Rate sollte geboostet werden.

Ein ausgesprochen erfolgreicher Test. Die Variante führte zu einer Steigerung der Conversions-Rate um 30%.

Die Webseite von Welcome Office lag hinter den sich rasch verändernden Anforderungen ihrer Besucher zurück. Der A/B-Test ermöglichte eine weitreichende Verbesserung der User Experience, sodass die enorme Steigerung der Conversion-Rate keine wirkliche Überraschung war. -Simon Chatelain, Consultant Kameleoon.

(Übrigens wurde die Homepage im Folgenden weiter verbessert.)

Produktseiten

Ich empfehle meinen Kunden mit weniger Traffic häufig, Seitenmodelle statt bestimmter Seiten zu testen. Ist der Test gut eingestellt, können alle Seiten einer Kategorie, alle Produktseiten, usw. gleichzeitig getestet werden.  -Géraud Bornet, Consultant Kameleoon.

• Beispiel Mobibam

Mobibam ist ein Startup-Unternehmen, das seinen Kunden maßgeschneiderte Möbel anbietet. Auf Mobibams Webseite können Besucher ihren Schrank oder ihr Regal selber gestalten. Vielleicht ein ungewöhnliches Beispiel, aus dem Sie aber bestimmt Lehren ziehen können. Die Webseite zählt jeden Monat etwa 15.000 Besucher. Besucher von Mobibams Webseite können auf dem „Configurator“ Materialien, Verarbeitung und die verschiedenen Elemente des Möbelstücks wählen, das sie haben möchten. Der Configurator muss intuitiv und einfach zu benutzen sein. Ist das nicht der Fall, verlässt der Besucher wahrscheinlich die Webseite, ohne die Gestaltung des Möbelstücks abzuschließen. Um die Nutzerfreundlichkeit zu testen, führte Mobibam einen A/B-Test durch. Der optimierte, vereinfachte Configurator führte zu einer Steigerung der Conversions um satte 325%!

Mobibam konnte den A/B-Test einfach durchführen, weil der Test sich auf eine der meistbesuchten Seiten der Webseite beschränkte. So konnte die Seite so verändert werden, dass sie besser den Erwartungen der potenziellen Kunden maßgeschneiderter Möbel entspricht.  -Mia Warde, Consultant Kameleoon

Kurzum:

Lassen Sie es mich klar sagen: Webseiten mit wenig Traffic können durchaus A/B-Tests durchführen, müssen sich aber an bestimmte Regeln halten. Test sollten z.B. auf Landing Pages oder solche Elemente beschränkt werden, die große Conversion-Steigerungen hervorrufen können (Klicks auf Banners, Newsletter-Anmeldung, Ausfüllen von Formularen auf B2B-Webseiten, usw.). Tests des Conversion-Prozesses sind nicht ausgeschlossen, sind aber nur in Situationen sinnvoll, in denen mit erheblichen Verbesserungen gerechnet werden kann (z.B. bei neuen Webseiten). -Jean-Noël Rivasseau, CTO Kameleoon

… und Multivariate Tests (MVT) vermeiden

Es ist möglich, mehrere Elemente einer Seite gleichzeitig zu testen, Banner, Titel, Beschreibung, Video… Ein A/B-Testing-Tool wie Kameleoon generiert in diesem Fall so viele Varianten wie Kombinationen von Elementen möglich sind. Das Problem mit MVT-Tests ist, dass besonders viel Traffic benötigt wird, weil er auf alle Varianten verteilt werden muss.

Fragen Sie Ihre Audience

Diese Option hat Ooreka gewählt. Ooreka ist eine Webseite, die alle Fragen des täglichen Lebens der Besucher beantwortet. Oooreka wollte wissen ob die User mit dem Service zufrieden sind und organisierte eine Umfrage, die per Pop-up über der Seite erscheint. Zwei Punkte konnten dabei problematisch sein:

• Wie kann man mehrheitlich objektive Meinungen zusammentragen?
• Wie minimiert man die Zahl der Besucher, die das Fenster schließen, ohne zu antworten?

Beide Probleme wurden in einem Streich gelöst, durch ein präzises Targeting der Besucher. Nur das Segment von Besuchern, die auch tiefere Seiten (d.h. nicht nur die Homepage) aufriefen und mindestens 20 Sekunden auf der Webseite surften, sah das Pop-up. Das machte es erstens wahrscheinlicher, dass die Besucher sich für das Pop-up interessieren und zweitens hatten diese User Zeit, sich eine Meinung über Ooreka zu bilden.

Gibt es andere Methoden?

Hat Ihre Webseite nur wenige tausend Besucher, ist A/B-Testing riskant, weil Tests entweder zu lange dauern, oder die Ergebnisse statistisch nicht zuverlässig genug sind. Es gibt andere Wege, sie sind aber weit weniger verlässlich und objektiv als A/B-Testing. Sie sollten sie nur in absoluten Notfällen im Rahmen der Usability-Optimierung nutzen.

Sequenzielle Tests

Vorsicht! Bevor Sie sequenzielle Tests starten, müssen Sie wissen, dass diese Methode Risiken birgt. Wenn Sie genug Traffic haben, sollten Sie sequenzielle Tests ganz vermeiden. In einem sequenziellen Test werden die Varianten nicht gleichzeitig, sondern hintereinander getestet. Theoretisch kommt man so schneller zu statistisch zuverlässigen Ergebnissen, weil der Traffic nicht aufgeteilt wird. Allerdings ist das Risiko groß, dass äußere Einflüsse den Vergleich verzerren (Monat, Ferien, politische Ereignisse), indem sie auf das Besucherverhalten einwirken. Dann basieren Sie Ihre Entscheidungen auf falschen Ergebnissen!

Anwendungstests

Mit Anwendungstests entfernt man sich vom A/B-Testing. A/B-Testing basiert auf einem quantitativen Ansatz und auf dem, was die Mehrheit Ihrer Besucher vorzieht. Mit Anwendungstests erhalten Sie im Gegenteil qualitative Informationen, dank derer Sie erkennen, ob User die Nutzung Ihrer Webseite einfach finden. Der Vorteil dieser Methode ist, dass Sie schnell konkrete Antworten erhalten. Der Nachteil ist, dass die Ergebnisse subjektiver sind, weil sie auf einer kleinen Stichprobe beruhen.

Geht nicht gilt nicht

A/B-Testing ist eine der beliebtesten Methoden der UX-Optimierung, weil sie einfach und effizient ist. Tests sind schnell umgesetzt und geben im Gegensatz zu Ihrer – immer subjektiven – Intuition zuverlässige Auskunft über die Vorlieben Ihrer Besucher. Jeder kann A/B-testen – mit einem Minimum an Traffic. Wenn Ihre Webseite wenige hundert Besucher hat, macht es wenig Sinn, Tests durchzuführen, weil auch das leistungsstärkste Tool genügend Besucherdaten braucht, um verlässliche Ergebnisse zu bringen. Aber es gibt Techniken, mit denen Tests auch bei wenig Traffic effizient sind. Möchten Sie Ihre Kenntnisse des A/B-Testing erweitern oder auffrischen? Dann empfehlen wir unseren kostenlosen E-Mail- Kurs. Werden Sie diplomierter A/B-Tester in nur 17 Tagen!