Kameleoons most underrated Features: Zeiträume im Reporting

Für unsere Artikelserie „Kameleoons most underrated features“ hat sich jeder unserer Consultants mit einem Kameleoon-Feature befasst, das seiner Meinung nach zu wenig Beachtung erhält. In diesem Artikel erfahrt ihr von Olga mehr über die Funktion „Ausschneiden von Zeiträumen im Reporting“.

Jedem Optimierer ist so etwas schon einmal passiert: Der A/B-Test ist live und dann taucht plötzlich ein Fehler auf der Website auf – bedingt durch einen Release oder einen Bug im Shop. Unglücklicherweise interagiert der Bug mit unserem Test und dieser sieht nun ganz anders als geplant aus.

Der Test wird sofort pausiert, der Fehler gefixt – soweit so gut. Der Test wird wieder live geschaltet und alles läuft wieder wie erwartet.

Die Herausforderung kommt erst später in der Auswertungsphase, denn der beschriebene A/B-Test hat alle Daten – auch die fehlerhaften – in einem einzigen Kameleoon-Reporting zusammengefasst.

1 Fehlerhafter Zeitraum im Reporting

So können zum Beispiel unsere Daten aussehen:

• Woche 1: Verlauf ohne Fehler
• Woche 2: Release am Montag, Fehler am Mittwoch aufgefallen, Test pausiert und nach dem Fix am Freitag wieder live
• Woche 3 und 4: Lauf ohne Fehler

Die erste Lösung, die einem gewieften Kameleoon-User hier einfällt, ist zwei Reports zu ziehen und die Zahlen zu addieren.

Die Nachteile dieser Lösung:

• Alle Tabellen und Grafiken müssen mit den neuen Zahlen zum Beispiel in Excel nachgebaut werden
• Signifikanzwerte müssen neu berechnet werden

Eine weitaus elegantere Lösung bietet ein unterschätztes Kameleeon-Feature. Damit lassen sich in einem einzigen Report unterschiedliche Zeiträume zusammenstellen und der fehlerhafte Zeitraum kann einfach ausgeschnitten werden. Vorausgesetzt natürlich, es handelt sich dabei technisch gesehen um den gleichen Test. Ein gestoppter und dann geklonter Test lässt sich leider nicht in einem einzigen Report auswerten, denn die beiden Tests sind technisch gesehen zwei unterschiedliche Tests, obwohl sie dieselbe Änderung auf der Website bewirken.

2 Zeitraum ausschneiden

Im Beispiel unten wurde ein Bug in der Trafficaufteilung festgestellt: Das Original hat kaum Traffic bekommen, die Variante lief unverändert weiter. Diesen Zeitraum möchten wir aus dem Reporting ausschließen.

Abbildung 1: Der Zeitraum 1.10.-14.10.2021 Soll aus dem Report ausgeschlossen werden.

Den Zeitraum ausschneiden können wir mit dem Feature „Neuer Datenbereich“, zu finden in den Zeitraum-Einstellungen gleich unter dem Namen des Tests im Reporting.

Abbildung 2: Zusätzlichen Zeitraum auswählen mit „Neuer Datenbereich“

Der erste Zeitraum wird mit dem letzten Tag ohne Fehler beendet, das wäre im Beispiel der 30.09.2021. Der zweite Zeitraum fängt mit dem ersten Tag nach dem Bugfix an, also wäre dies in der Abbildung der 14.10.2021.

Abbildung 3: Mit zwei neuen Zeitperioden den fehlerhaften Zeitraum aus dem Reporting ausschließen.

Nun ist der fehlerhafte Zeitraum ausgeschlossen. Die korrekten Daten werden zu einem Report zusammengefügt.

Abbildung 4: Der ausgeschnittene Zeitraum im Reporting.

Alle Conversion Rates, Improvement Rates und auch die Signifikanzniveaus werden für den neuen Zeitraum berechnet.

Abbildung 5: Goal-Auswertung ohne fehlerhaften Zeitraum.

3 Fazit: Vorteile des Features

• Einfaches Ausschneiden von fehlerhaften Zeitperioden aus dem Reporting
• Zusammenführen der Daten ohne Fehler zu einem Report
• Neuberechnung aller KPIs im Report mit der neuen Datenbasis
• Neuberechnung der statistischen Signifikanz für die neue Datenbasis
• Alle Funktionen wie Filter und Breakdowns können mit der neuen Datenbasis genutzt werden
• Spart Zeit und Mühe

Unsere A/B-Tests werden durch dieses Feature niemals wieder verunreinigte Daten aufweisen. Und wenn es doch einmal passiert – wissen Sie was zu tun ist.

Dieser Artikel beendet nun unsere Most underrated features  Reihe. Mit diesen verschiedenen Features sind Sie in jedem Fall für Ihren Test bestens ausgerüstet und wissen, wie Sie diese zu Ihrem Vorteil nutzen können. Lesen Sie auch Christophs ersten Artikel aus unserer Reihe über Kameleoons Share Funktion.

Du möchtest mehr über unser Tool und unsere Features erfahren? Kontaktiere uns!