Multivariate Testing: Zeitersparnis und verbesserte Analyse

1 Was ist ein MVT?

Was ein A/B-Test ist, wissen Sie: ein Experiment auf einer Webseite, bei dem eine gegebene Seite mit einer veränderten Variante verglichen wird. Ein Multivariate Test oder MVT ist eine Form des A/B-Testings, bei der die Varianten mehrere Veränderungen beeinhalten. Beim MVT geht es darum, die möglichen Kombinationen der Veränderungen untereinander zu vergleichen und herauszufinden, welche Variante den größten Einfluss auf Ihre Conversion-Rate nimmt.

Ein einfaches Beispiel: Sie möchten sowohl die Farbe als auch das Wording eines CTA-Buttons verändern. Die Farben blau, gelb und rot sollen getestet und der Text „Kaufen“ und „Los geht’s“ miteinander verglichen werden. Kameleoon generiert 6 Versionen Ihrer Seite, die die sechs Kombinationen darstellen.

2 Welche Vorteile bringen MVT-Tests für Ihre Optimierungsstrategie?

Sie können präzise definieren, was Ihre Conversion beeinflusst

Der große Vorteil von Multivariate Tests im Gegensatz zu klassischen A/B-Tests ist ein besseres Verständnis der Performance einzelner Varianten. Durch den Vergleich der möglichen Kombinationen kann der Einfluss jedes Elements isoliert gemessen werden.

Mit einem Multivariate-Test verstehen Sie außerdem, wie die Elemente miteinander reagieren und welche Kombinationen unter ihnen die größte Performancesteigerung hervorrufen.

Zeitersparnis

Die automatische Erstellung von Kombinationen ist ein echter Zeitgewinn, besonders wenn die Zahl der zu ändernden Elemente hoch ist. Wenn man unserem Beispiel mit drei Farben und zwei Wordings noch die Sektion „Form“ hinzufügt (rechteckig oder quadratisch), müssen bereits  2 x 2 x 3 = 12 Varianten getestet werden, um diejenige mit dem höchsten Conversion-Potenzial zu ermitteln. Schon hier ist die automatische Erstellung mehr als sinnvoll.

3 In welchen Situationen ist Multivariate Testing sinnvoll?

Wenn keine klare Meinung über die zu testenden Varianten besteht

Die erste Etappe eines A/B-Tests ist immer die Identifizierung von Veränderungen, die getestet werden sollen. In bestimmten Situationen ist es nicht einfach, das eine Element zu erkennen, das die größten Auswirkungen hätte. Sie wissen, dass Ihr CTA-Button nicht die erwartete Performance zeigt. Liegt das aber am Wording, an der Farbe oder an seiner Form?

Es ist schwierig, sich für eine dieser Hypothesen zu entscheiden. In diesem Fall hilft MVT-Testing. Sie können mehrere Elemente gleichzeitig testen und Kameleoon alle Kombinationen erstellen lassen. Keine Ausgangshypothese wird so vernachlässigt, die Automatisierung bringt eine erhebliche Zeitersparnis.

Wenn die Analyse im Vordergrund steht

Multivariate Testing bietet eine besonders präzise Analyse, weil die unterschiedlichen Elemente und Veränderungen isoliert untersucht werden können. Wenn die Ergebnisauswertung vorrangig ist und Sie Ihre Testergebnisse genau verstehen und analysieren möchten, ist MVT wie für Sie gemacht.

Das Problem mit dem Traffic

Sie müssen sich bei MVTs aber immer zuerst die Frage stellen, ob Sie über ausreichend Traffic verfügen. Je größer die Zahl der Kombinationen, desto mehr Traffic benötigen Sie. Im Allgemeinen geht man bei A/B-Tests davon aus, dass für zuverlässige Ergebnisse folgende Besucherzahlen erforderlich sind:

• mindestens 1.000 Besuche pro Variante auf Seiten mit hoher Conversion-Rate (z.B. Engagement auf einer Landing Page oder Klickrate auf einen CTA-Button), auf denen eine hohe Verbesserungsrate (von etwa 10% oder 20%) erwartet werden kann, oder
• mindestens 7.500 Besuche pro Variante wenn die Conversion-Rate eher niedrig ist, wie z.B. ausgefüllte Formulare (normalerweise unter 5%).

Stellen wir uns vor, Sie möchten eine Seite ganz am Ende Ihres Conversion-Trichters testen. Schon bei einem klassischen A/B-Test muss man erst einmal auf 7.500 Besuche pro Variante kommen!

Bei einem Multivariate Test steigt die Zahl der Varianten schnell. Da muss der Traffic auf der zu testenden Seite ganz erheblich sein, um die Zahl der Conversions zu erreichen, die für verlässliche Ergebnisse nötig sind. Diese Zahlen sind nur Schätzungen. In Wirklichkeit ist die Berechnung des Mindest-Traffics weit komplexer, wie Kameleoons CTO Jean-Noël Rivasseau in einem Blogbeitrag erklärt.

Kurzum, weil es bei MVTs immer um Kombinationen geht, und die Zahl der Varianten schnell ansteigt, empfehlen wir sehr, nur wenige Variablen zu verändern. Wenn die große Zahl der Varianten letztendlich die Ergebnisanalyse erschwert oder unmöglich macht, weil die Zahl der Besucher ungenügend ist, hat ein solcher Test wenig Sinn.

4 Wie funktioniert MVT?

Mit Kameleoon haben Sie über das Back Office oder den Graphic Editor Zugang zu dieser Testing-Methode.

Alle User mit einer A/B-Testing-Lizenz können automatisch auch das MVT-Tool nutzen.

1. Varianten im Graphic Editor erstellen

Wie bei klassischen A/B-Tests besteht die erste Etappe darin, mit Kameleoons Graphic Editor die Varianten zu erstellen, die Sie testen möchten. Nehmen wir noch einmal das Beispiel, bei dem Farbe und Wording eines Buttons verändert werden sollen. Ein echtes Kinderspiel: Im Menü erstellen Sie die Sektionen Ihres Tests, also „Farbe“ und „Wording“. Innerhalb jeder Sektion erstellen Sie dann die gewünschten Varianten, z.B. in der Sektion „Farbe“ die Varianten „blau“, „gelb“ und „rot“. Innerhalb der Sektion „Wording“ heißen die Varianten „Los geht’s“ und „Kaufen“.

Kameleoon erstellt daraufhin automatisch alle möglichen Kombinationen zwischen den Varianten der beiden Sektionen. „Los geht’s“ in blau „Los geht’s“ in gelb „Los geht’s“ in rot „Kaufen“ in blau „Kaufen“ in gelb „Kaufen“ in rot

2. Traffic verteilen

Der nächste Schritt besteht darin, den Traffic Ihrer Webseite während der Testdauer auf die verschiedenen Kombinationen zu verteilen. Einer der großen Vorteil von Kameleoons MVT-Tool besteht darin, dass der Traffic nach zwei Methoden verteilt werden kann: nach Sektionen oder Kombinationen.

Nach Sektionen

In unserem Beispiel gibt es die Sektionen Farbe und Wording. Die Farbvarianten sind gelb, blau und rot. Die Varianten bzgl. des Wordings heißen „Kaufen“ und „Los geht’s“. In den Grundeinstellungen wird der Traffic gleichmäßig auf alle Varianten verteilt.

Die Aufteilung nach Sektionen ist einfacher, weil es logischerweise weniger Sektionen als Kombinationen gibt. Sie müssen also 100% Ihres Traffics zwischen gelb, blau und rot verteilen, und 100% zwischen „Kaufen“ und „Los geht’s“. Kameleoon generiert automatisch die Aufteilung zwischen den Kombinationen.

Nach Kombinationen

In unserem Beispiel sind sechs Kombinationen möglich: „Los geht’s“ in blau „Los geht’s“ in gelb „Los geht’s“ in rot „Kaufen“ in blau „Kaufen“ in gelb „Kaufen“ in rot Sie können entweder die Aufteilung zwischen den Kombinationen manuell vornehmen oder den Traffic gleichmäßig zwischen allen Kombinationen verteilen. Die manuelle Traffic-Aufteilung wird schnell komplex, wenn die Zahl der Varianten hoch ist, was wie bereits erwähnt, schnell der Fall ist. In bestimmten Situationen ist sie allerdings durchaus sinnvoll, vor allem, wenn Sie nicht alle möglichen Kombinationen testen möchten.

Beispiel: Sie ändern Hintergrund- und Textfarbe eines CTA-Buttons. Natürlich soll keiner Ihrer Besucher die Kombination schwarz auf schwarz sehen (weil der Text dann ja nicht sichtbar ist). Die Aufteilung nach Kombination ermöglicht, die Prozentzahl der Besucher, die diese Kombination sehen, auf 0 zu reduzieren.

3. KPI-Tracking einrichten

Wenn die Traffic-Aufteilung abgeschlossen ist, können Sie die Ziele einrichten, die Sie mit Ihrem Test messen möchten. Die Vorgehensweise ist die gleiche wie bei klassischen A/B-Tests. Sie richten einfach die zu verfolgenden KPIs ein. Mehr Informationen über dieses Thema finden Sie übrigens in unserem Artikel der Dokumentation.

4. Test simulieren und starten

Jetzt können Sie den Simulationsmodus starten und eine Voransicht aller Kombinationen erhalten. So kann vor dem eigentlichen Teststart noch einmal alles geprüft werden. Unser effizienter Simulationsmodus hebt unser Tool klar von der Konkurrenz ab. Für MVTs funktioniert er genau wie für klassische A/B-Tests.

5. Ergebnisse verfolgen

Auf Ihrer Ergebnisseite wird jede Kombination wie die Variante eines klassischen A/B-Tests behandelt. So können Sie ganz genau die Auswirkungen jedes Elements auf Ihre Hauptziele analysieren und die richtigen Entscheidungen bzgl. der Veränderungen Ihrer Seiten treffen. 

Youtube: Launch your Multivariate test - Kameleoon

Zum Schluss

Multivariate Testing ist eine interessante Alternative, wenn Ihre Webseite über genügend Traffic verfügt, auch wenn es länger dauern kann, zuverlässigen Ergebnisse zu erhalten. Die Nutzung dieser Test-Methode sollte keinesfalls systematisch sein, erweist sich in bestimmten Situationen als sehr sinnvoll.

Und wenn diese Situationen auftreten, sollten Sie sicher sein, diese mit einem soliden Tool wie Kameleoon angehen zu können.