Dynamische Traffic-Aufteilung: Optimieren Sie Ihre A/B-Tests!

Dynamische Traffic-Aufteilung wird manchmal als revolutionäre Alternative zum A/B-Testing gehandelt, oder sogar als vergleichbar mit Predictive Targeting. Die Wirklichkeit ist weniger spektakulär: es handelt sich um die Optimierung des Testings in bestimmten, sich vom „klassischen“ A/B-Testing unterscheidenden Situationen. Die dynamische Traffic-Aufteilung bietet die Lösung eines Problems, das „Multi-Armed Bandit“ genannt wird

1 Das Problem Multi-Armed Bandit

Das Multi-Armed Bandit Problem ist mathematischer Natur und ist Teil der Wahrscheinlichkeitstheorie. Lassen Sie es uns bildlich erklären: Sie sind in einem Kasino, vor den Spielautomaten. Manche Maschinen schütten hohe Gewinne aus, andere niedrigere. Wie kann man den Einsatz von Zeit und Geld so aufteilen, dass der Gewinn  maximiert wird? Entweder Sie testen schnell einige Maschinen und finden eine, bei der die Gewinne recht hoch sind und bleiben bei ihr: Das nennt man Ausschöpfung. Oder Sie testen weiter, eine Maschine nach der anderen, in der Hoffnung, diejenige zu finden, die Sie reich machen wird. Das nennt man Erforschung. Welche Methode sollte man wählen? Es gibt Algorithmen, die dieses Problem lösen, bei denen die Testphase gleichzeitig mit der Gewinnphase läuft.

2 Was hat das mit meiner Webseite zu tun?

Das Beispiel kann auf die Optimierung Ihrer Webseite übertragen werden. Stellen Sie sich vor, Sie möchten ein neues Element einfügen. Sie haben zwei Möglichkeiten:

• Entweder nutzen Sie ein Element, das Sie bereits gut kennen, und das bei Ihren Besuchern gut ankommt,
• oder Sie nehmen ein neues Element und A/B-testen seinen Erfolg, in der Hoffnung, dass die Ergebnisse besser ausfallen als mit der herkömmlichen Methode.

Sie müssen also zwischen Ausschöpfung und Erforschung wählen. Wenn Sie bekannte Ressourcen ausschöpfen möchten, deren Performance Sie bereits kennen, haben Sie die Garantie, dass die Ergebnisse positiv ausfallen, verpassen allerdings eventuell die Chance, die Performance weiter zu steigern. Nutzen Sie die Erforschungsmethode, gehen Sie ein Risiko ein. Das Ergebnis kann schlecht ausfallen, oder aber all Ihre Erwartungen übersteigen.

3 A/B-Testing und Multi-Armed Bandit

A/B-Testing ist eine Arbeitsweise, bei der verschiedene Versionen eines Elements Ihrer Webseite verglichen und gegeneinander getestet werden. Diese Technik ermöglicht Ihnen, herauszufinden, welches am besten bei Ihren Besuchern ankommt. Diese Technik ermöglicht Marketingteams, fundierte Entscheidungen zu treffen und die User Experience ihrer Besucher zu optimieren. Für A/B-Testing brauchen Sie allerdings präzise Prozesse und eine Lernphase, bevor Sie fehlerfrei testen können.

Mit A/B-Testing können Sie die Performance der unterschiedlichen Elemente auf Ihrer Webseite analysieren (Erforschung), müssen aber das Testende abwarten, um Schlüsse zu ziehen und diese umzusetzen (Ausschöpfung). Hier greift die dynamische Traffic-Aufteilung. Sie ermöglicht, die Phasen der Ausschöpfung und der Erforschung miteinander zu verknüpfen.

4 Was ist Dynamische Traffic-Aufteilung?

Das Konzept ist einfach: Mit der dynamsichen Traffic-Aufteilung wird die Verteilung des Traffics auf verschiedene Varianten bereits während des Tests je nach ersten Testergebnissen verändert. Der Multi-Armed Bandit-Algorithmus leitet die Besucher progressiv auf die Variante um, die am besten funktioniert.

Mit der dynamischen Traffic-Aufteilung können Sie also schon die Ergebnisse nutzen und gleichzeitig den Test weiterlaufen lassen. Nehmen wir das Beispiel einer Marke, die herausfinden möchte, welcher CTA am besten die Conversion fördert. In einem normalen A/B-Test ist der Traffic während der gesamten Testdauer gleichmäßig auf die beiden Varianten verteilt. Werden zwei CTAs getestet, fallen auf jede Variante 50%. Mit der dynamischen Traffic-Aufteilung kann die Verteilung je nach vorläufigen Testergebnissen schwanken. Zeigt Variante B im Laufe des Tests bessere Ergebnisse, wird die Verteilung des Traffics dahingehend angepasst.

Was bringt dynamische Traffic-Aufteilung?

Conversion-Maximierung: Die Besucher werden automatisch auf die Variante umgeleitet, die besser funktioniert. Sie minimieren Verluste, die die andere Variante schon während des Tests verursacht hätte. Risiko-Minimierung: Gleichzeitig wird der Risikofaktor beim Test neuer Elemente kleiner, denn schlecht funktionierende Varianten erhalten immer weniger Traffic.

5 Wann sollte man Multi-Armed Testing statt klassischer A/B-Tests verwenden?

Multi-Armed Bandit-Algorithmen sind sinnvoll, weil die Kombination aus Erforschung und Ausschöpfung die Kosten durch während der Testphase verpasste Gelegenheiten niedrig hält. Besonders interessant ist die Methode in zwei Fällen:

Wenn die Zeit knapp ist

Dynamische Traffic-Aufteilung hilft, wenn Ausschöpfung und Erforschung aus Zeitgründen gleichzeitig stattfinden müssen. Das ist Fall z.B. bei Artikeltiteln oder zeitlich begrenzten Sonderangeboten (Events, Ferien…).

Wenn die Zeit für eine eingehende Analyse fehlt

Die Methode ist ebenfalls eine gute Lösung, wenn Sie nicht die Entwicklung der Testergebnisse verfolgen möchten. Der Test an sich muss länger dauern, allerdings wird der Traffic schon vor Testende auf die Gewinnervariante umgeleitet.

6 Und die Nachteile?

Die Methode scheint nur Vorteile zu haben, warum sollten nicht alle Webseiten sie nutzen? Die folgenden Punkte müssen Sie allerdings im Auge behalten.

Trafficvolumen

Die Dauer der reinen Erforschung ist mit einer dynamischen Traffic-Aufteilung stark verkürzt. Deshalb bedarf diese Methode einer großen Zahl von Besuchern, um signifikante Ergebnisse zu erzielen. Bei niedrigem Traffic sind die ersten Ergebnisse leichter zufallsbedingt und spiegeln nicht unbedingt einen signifikanten Trend wider, was zu falschen Rückschlüssen führen kann. Dynamische Aufteilung kann also leider nicht von allen Webseiten genutzt werden. Wir empfehlen diese Methode nur Webseiten mit einem Traffic ab etwa 5 Mio. Unique Visitors pro Monat.

Signifikante Ergebnisse

Wie bereits erwähnt, dauert es bei Multi-Armed Tests länger, signifikante Ergebnisse zu erzielen. Entweder braucht man viel Traffic (siehe oben) oder eben viel Zeit, um auf die nötige Zahl von Daten zu kommen. Wenn Sie Ihren Test nicht lange genug laufen lassen, können die Ergebnisse verfälscht sein. So kann zu Testbeginn eine Variante weniger Besucher anziehen, allein weil die Ergebnisse noch keine statistische Gültigkeit haben. Trotzdem wird der Traffic bereits auf eine andere Variante umgeleitet.

Langfristige Conversion-Verluste

Sie können Multi-Armed Tests verwenden, um Ihre Webseite kontinuierlich zu optimieren, aber auch das birgt ein Risiko. Sie können auf lange Sicht Conversions verlieren. Noch einmal der Faktor Zeit: Während der Testdauer (die bei permanentem Testing quasi unbegrenzt ist), sieht ein Teil Ihres Traffic eine weniger effiziente Variante Ihre Webseite. Und das nimmt natürlich negativen Einfluss auf Ihre Conversion-Rate. Um Conversions auf lange Sicht zu steigern, muss die Siegervariante möglichst schnell ausgemacht und auf Ihrer Webseite für den gesamten Traffic implementiert werden.

7 Kann man mit Multi-Armed Bandit auch personalisieren?

Mit einem Multi-Armed Bandit-Test beruht die angezeigte Variante allein auf bereits erzielten Ergebnissen. Der Kontext spielt überhaupt keine Rolle. Zwar gibt es eine Weiterentwicklung der Methode, die kontextuale Elemente (Clickstream, Herkunft, IP-Lokalisierung, usw.) mit einbezieht. Wenn ein Besucher mit Variante X zur Conversion gelangt, wird Besuchern mit ähnlichem Kontext die gleiche Variante gezeigt. Mit der Zeit bieten diese Algorithmen die Personalisierung der Inhalte für jedes Segment. Aber diese Methode erfordert enorm viel Zeit und zahlreiche Wiederholungen, bevor sie effizient eingesetzt werden kann. Wir raten auf jeden Fall davon ab, diese Methode für Personalisierungen zu nutzen. Ob klassischer A/B-Test oder oder Multi-Armed Bandit, vergessen Sie nie  unsere guten Tipps für fehlerfreies Testing. Wir haben sie in einem Guide für Sie zusammengefasst.