Kameleoons most underrated Features: Variante als Original
Für unsere Artikelserie „Kameleoons most underrated features“ hat sich jeder unserer Consultants mit einem Kameleoon-Feature befasst, das seiner Meinung nach zu wenig Beachtung erhält. Im heutigen Artikel erfahrt ihr von Fabian mehr über die Definition einer Variante als Original beim A/B-Testing.
1 Warum sehe ich keine Uplifts im Reporting meines A/B Tests?
Beim A/B Testing kommt es immer wieder vor, dass dem Original (Referenz) kein Traffic zugeordnet wird, weil das Original durch eine weitere Variante ersetzt wird.
In diesem Fall muss man auf der Result-Page im Kameleoon Backoffice einstellen, dass man eine Variante als Original definieren möchte.
Dadurch ändert sich die Bezugsgröße, welche dafür sorgt, dass die Berechnung des Up- oder Downlifts (Improvement Rate) richtig dargestellt wird. Für die Berechnung der Improvement Rate wird die Conversion Rate im folgenden Beispiel von Variante 1 mit der Conversion Rate von Variante 2 ins Verhältnis gesetzt.
Vor der Umstellung:
Nach der Umstellung:
2 In welchem Fall hat das Original z.B. keinen Traffic?
Immer wieder kommt es vor, dass auch im eigentlichen Original eine Anpassung vorgenommen werden muss, damit das Setup korrekt abgebildet werden kann. In solch einem Fall wird dann ein neues Original (z.B.: new_default) mit kleineren Veränderungen, wie beispielsweise eine zusätzliche Umfrage, als zusätzliche Variante mit in den Test aufgenommen. In diesem „neuen“ Original können wir folglich den Code für solche Umfrage implementieren.
Wie wird der Traffic bei solchen Tests verteilt?
Das eigentliche Original erhält dann 0% des Traffics und die new_default-Variante und die Challenger Variante teilen sich den Traffic jeweils mit einer 50%-Verteilung auf.
3 Was wäre ein typischer Use Case für solch ein Szenario?
In einem Test soll beispielsweise überprüft werden, ob ein Mega Menü gegenüber einem klassischen Menü besser performt. Auf der Webseite ist das klassische Menü live und die Challanger Variante soll mit dem Mega Menü ausgestattet sein. Die Challenger Variante wird von Ihren internen oder von unseren Kameleoon Entwicklern programmiert und umgesetzt. Der klassische A/B Test wäre jetzt fertig für die Liveschaltung.
Da wir vom Consulting Team bei Kameleoon stets bestrebt sind, unseren Kunden das bestmögliche Setup zu bieten, empfehlen wir unseren Kunden in beide Varianten zusätzlich eine Umfrage auszuspielen, um direktes Feedback von den Usern bezüglich der Menüführung zu erfragen.
Auch interessant: Die Umfrage wird zu 100% über Kameleoon umgesetzt. Dies hat den großen Vorteil, dass keine weiteren Verträge mit Dienstleistern geschlossen werden müssen. Hinzu kommt, dass diese Lösung DSGVO-konform ist. Die Ergebnisse werden als Ziele angelegt, der Freitext wird mittels Custom Data gespeichert und am Ende des Tests als CSV-Datei zur Verfügung gestellt.
Im nächsten Artikel unserer most underrated features Serie schreibt Isabel über unsere Breakdown-Funktion. Lesen Sie auch Natalies letzten Artikel unserer Reihe über Kameleoons Custom Widgets.
