Kann man A/B-Tests wirklich mit Einnahmen in Verbindung bringen?
In der Regel läuft das Verkaufsgespräch so ab: Die CRO-Agentur, das Tool oder der Berater sagt: „Unser Test hat X zusätzliche Einnahmen generiert. Wenn wir diesen Test auf 100 % des Traffics für das ganze Jahr ausweiten, werden Sie [große €-Zahl eingeben] generieren.“
Das kommt Ihnen bekannt vor, oder?
Für die meisten Optimierer ist die obige Zusammenfassung absurd. Die Angabe des ROI eines A/B-Tests, insbesondere in Bezug auf den Umsatz, ist weitaus komplexer als den meisten Unternehmen (und Optimierern) bewusst ist.
Doch genau so wird der Wert von A/B-Tests und Experimenten oft verkauft, selbst von sehr etablierten Akteuren in der Branche.
Können Sie also die Ergebnisse eines erfolgreichen Experiments genau für Umsatzprognosen kalkulieren?
Können die Ergebnisse eines vollständig kontrollierten Experiments für volle 52 Wochen gelten?
Wie soll dann der Wert des Experimentierens vermittelt werden, wenn nicht mit dem Zusammenhang mit einer Umsatzsteigerung?
Wir haben David Mannheim, Global VP of Experimentation bei Brainlab, Ben Labay, Managing Director @ Speero, Craig Sullivan (CEO @ Optimise or Die) und Chad Sanderson (Head of Product, Data Platform @ Convoy) zu einer "Kameleoon Live Session" eingeladen, um herauszufinden wie der Wert des Experimentieren vermittelt werden sollte.
Bei Experimenten geht es eher darum, fundierte Geschäftsentscheidungen zu treffen, die Managern und Unternehmen eine weitaus größere Chance auf Wachstum und Gewinn bieten als um die Darstellung nichtssagender CRO-Kennzahlen. Denken Sie an die folgenden Grundsätze, um sich an Ihren Wert als Optimierer zu erinnern.
- Sei das Labor, nicht der Test.
- Seien Sie der Kompass, nicht die Karte.
- Verkaufen Sie die Erkenntnis, nicht das Widget
Im Folgenden haben wir weitere wichtige Erkenntnisse zusammengefasst.
1 Mehr Menschen sind nicht der Meinung, dass man einen A/B-Test mit den Einnahmen in Verbindung bringen kann als umgekehrt.
David Mannheims Artikelserie „Warum gehen wir davon aus, dass Experimente mit Umsatz verbunden sind?“ und seine Umfrage lösten einen Schwall von Kommentaren und Diskussionen aus, als sie veröffentlicht wurden. Wir nannten es seinen "Jerry Maguire"-Moment.
Die meisten Leute stimmten ihm zu! A/B-Tests als "out" zu bezeichnen ist so, als hätte man den Mut zu sagen, dass der Kaiser keine Kleider trägt.
2 Die meisten Unternehmen wollen den kürzesten Weg zum Goldtopf.
David ist nicht allein mit seiner Frustration über die "übermäßige Indizierung von A/B-Tests für den Umsatz". Die Schaffung von Mehrwert durch Experimente erfordert viel Arbeit.
Oliver Palmer hat Davids Meinung in seinem Blogartikel "Die Krise der Optimierung" aufgegriffen. Er schreibt:
„[Experimente] sind kein Lotterielos, sondern eine Gelegenheit, die Realität zu beobachten und zu messen. Die meisten Kunden wollen aber keine Realität. Sie wollen Gewinne. Und wenn Agenturen keine Erfolge vorweisen (oder behaupten, sie hätten sie erzielt), müssen sie damit rechnen, den Kunden an den nächsten Bewerber zu verlieren, der dies verspricht. Interne Teams, die keine signifikanten Verbesserungen vorweisen können, laufen Gefahr, Finanzierung, Glaubwürdigkeit, Prestige und sogar ihren Arbeitsplatz zu verlieren.“
3 Machen Sie keine Versprechungen, die Sie nicht halten können.
Vereinfachen Sie die ROI-Berechnung eines Experiments nicht zu sehr. Oder, multiplizieren Sie nicht mit 52. Das begrenzte Verständnis für die Berechnung der "jährlichen" Auswirkungen eines Experiments auf das Geschäft oder den Umsatz führt dazu, dass die Beobachtungen/Schlussfolgerungen ihrer Experimente mit der Anzahl der Wochen eines Jahres multipliziert werden. Diese Rechnung geht nicht auf.
Als die CRO-Branche noch in den Kinderschuhen steckte, dachte Craig wie die meisten Menschen: „Diese Sache wird sich noch 52 Wochen lang auszahlen. Ich muss es nur mit 52 multiplizieren, und dann ist alles in Ordnung, oder?“
Aber sein Verständnis dafür, wie der ROI eines Experiments berechnet wird, entwickelte sich mit der Zeit: „Dann wurde mir klar, dass es sich bei diesem Wert um eine Spanne handelt und dass die tatsächliche Zahl höher oder niedriger ausfallen kann als dieser Wert. "Es gibt eine große Unsicherheit.“
Irgendwann begannen solche Prognosen, sich völlig willkürlich anzufühlen. „Sehen Sie, der Wert, den ich mir für die Zukunft vorstelle, ist völlig illusorisch. Man weiß nicht einmal, ob das, was man letztes Jahr gemacht hat, heute noch funktioniert.“ Denn Märkte ändern sich, Wettbewerbe ändern sich, Budgets und Preise ändern sich zusammen mit anderen internen und externen Faktoren. Die Dinge werden im Allgemeinen nicht mehr so sein, wie sie jetzt sind, wenn man das Experiment durchführt und die Daten erhält.
4 Verknüpfen Sie Experimente mit Zielen und Erkenntnissen – vermeiden Sie Mutmaßungen, dass ein Test zu €X führen wird.
Beim Experimentieren geht es darum, fundierte Entscheidungen zu treffen und nicht unbedingt darum, mehr Gewinn zu machen.
„Richten Sie sich nicht auf ein Scheitern ein. Experimente sagen nichts darüber aus, was in einem Monat oder in sechs Monaten oder in einem Jahr passieren wird“, sagt Chad. Er erinnert sich an ein zweiwöchiges Experiment, das er auf der Website von Subway durchgeführt hat. Er erzählt, wie der Test ursprünglich zu einem Anstieg von 3 % führte. Bei einer Wiederholung einiger Wochen später, ergab dieser allerdings kein Anstieg mehr. „Wir haben kein Ergebnis gesehen, da war nichts. Hätte er mit dem ROI auf der Grundlage dieses Tests geworben, hätte dies zu Enttäuschung und Verwirrung über den Wert seines Optimierungsprogramms geführt.“
Bei Experimenten geht es darum, das Signal vom Rauschen zu trennen und bessere Entscheidungen zu treffen. Mit dem Wissen, das Chad heute über Experimente hat, würde er sogar so weit gehen, seinen alten Job bei Subway zu "streichen"! Chad betont, dass Experimente ein Teil der Infrastruktur sein sollten und als „Rahmen für die Entscheidungsfindung im gesamten Unternehmen“ gesehen werden sollten.
OKRs (Objectives and Key Results) können dabei helfen, sinnvolle Ziele für Experimente zu setzen. Chad erklärt weiter, wie bei Convoy OKRs (Ziele und Schlüsselergebnisse) das Experimentieren leiten. „Viele unserer OKRs basieren auf den Ergebnissen von Experimenten. Wenn wir also einen OKR für die Verbesserung der Gewinnspanne um 5 % oder 10 % im Laufe des Quartals haben, gibt es in der Regel einen weiteren Satz am Ende dieses OKRs, der besagt, dass dies durch Experimente nachgewiesen wurde und das schafft eine wirklich interessante Anreizstruktur in der Organisation, bei der man sich jetzt Gedanken darüber macht, wie man bei der Entwicklung von Funktionen Experimente einbeziehen kann, damit wir einen möglichst großen Teil dieser Gewinnspannensteigerung den Bemühungen, die wir implementieren, zuordnen können. Wenn wir also einen OKR für die Verbesserung der Gewinnspanne um 5% oder 10% im Laufe des Quartals haben und dieser durch Experimente nachgewiesen wurde, entstehen interessante Anreize. Wir müssen uns bei der Entwicklung von Funktionen Gedanken darüber machen, wie wir Experimente einbeziehen können, damit wir einen möglichst großen Teil des Margenzuwachses auf die Maßnahmen zurückführen können, die wir umsetzen.“
5 Bei Experimenten geht es sowohl um die Maximierung der Vorteile (Gewinne) als auch um Risikovermeidung und -minderung.
Was kostet es, nicht zu handeln. Diese Frage sollte gestellt werde. Mit Experimenten können Unternehmen fundierte Entscheidungen treffen und das Risiko des Nichthandelns umgehen. Experimente können zu datengestützten Entscheidungen führen, z. B. zur Einführung von Freemium-Angeboten oder kostenlosen Testversionen. Hier gibt es viel zu erfahren und Experimente sind der Schlüssel dazu.
Es ist jedoch schwieriger, den Stakeholdern in marketingorientierten Unternehmen die Vorteile von Experimenten in Bezug auf die Risikovermeidung bzw. -minderung zu vermitteln, da die Versprechungen von Belohnungen und mehr Geld attraktiver sind.
6 Verbinden Sie den Umsatz an Experimente - das müssen Sie - aber achten Sie auf Probleme der Übertragbarkeit
Die CRO-Branche ist auf der Idee aufgebaut, Bemühungen mit Einnahmen zu verknüpfen. Diese lebt in der umsatzorientierten Marketing-/Geschäftswelt.
„Alles zielt auf den Umsatz ab. Es ist das ultimative Messsystem in der Geschäftswelt“, sagt Ben. Man „muss also versuchen, die Einnahmen den Experimenten und Bemühungen zuzuordnen“. Die Kunden von Speero werden nach Daten gefragt, die der Agentur helfen, Messsysteme zu erstellen. Diese Messsysteme unterstützen die Entscheidungsfindung im Zusammenhang mit ihren Experimenten, welche umsatzrelevant sind.
Die Ergebnisse von Experimenten sind keine Garantie für langfristige Prognosen. Die Messung der Einnahmen sollte jedoch keine losen basierten langfristigen Prognosen beinhalten, warnt Ben. „Wir binden sie nur innerhalb des statistischen Modells des Tests an den Umsatz. Wir versuchen nicht, Prognosen zu erstellen. Wenn man versucht den ROI eines Programms auf der Grundlage einer Reihe von Teststatistiken zu messen, die weder räumlich noch zeitlich übertragbar sein sollen, gerät man in Schwierigkeiten.“ Ihre Ergebnisse aus Experimenten, einschließlich der Entwicklung der wichtigsten Umsatzkennzahlen, sollten zu einer besseren Entscheidungsfindung führen - das ist die Idee.
7 Kennen Sie Ihre Zielgruppe, denn marketing- und produktorientierte Organisationen sehen die Dinge oft SEHR unterschiedlich.
In marketingorientierten Unternehmen geht es bei A/B-Tests um Gewinne und Gewinnspannen. Dabei geht es bei der Optimierung darum, „lokale Maximalwerte zu finden oder zu versuchen, sich selbst aus lokalen Maximalwerten herauszuschütteln, um neue zu finden“, erklärt Ben. Es macht Sinn, ihnen dabei zu helfen Wege zu finden, um Akquisitionskosten zu sparen und/oder die Kundenbindung zu erhöhen - und zwar in Form von Umsatzkennzahlen.
Produktorientierte Unternehmen nutzen Experimente in erster Linie, um daraus zu lernen. Auf der anderen Seite des Spektrums dienen Experimente eher der Innovation und Umgestaltung als der Umsatzgenerierung. Diese Unternehmen wollen durch Innovation wachsen und sich wirklich von der Konkurrenz abheben und besser sein. Experimente werden in diesem Umfeld anders betrachtet und in Technik oder Ressourcen soll an der richtigen Stelle investiert werden. Sie lassen sich zwar in Einnahmen umrechnen, sind aber nicht mit einem Geldwert beziffert.
Die Verschiebung von marketingorientiert zu produktorientiert kann stattfinden. Optimierer können versuchen, die ROI-Diskussionen in marketingorientierten Unternehmen zu ändern, indem sie ihnen den Wert der durch Experimente gewonnenen Erkenntnisse vor Augen führen und zeigen, wie diese mit ihren Wachstumszielen zusammenhängen. Denken Sie an das Ziel, dass die Shopping Experience vereinfacht und personalisiert wird, anstelle einer Steigerung der Conversion Rates um X %.
8 Machen Sie sich nichts vor. Sondern drehen Sie den Spieß um.
Das Experimentieren findet in der realen Welt statt, in der viele leitende Interessenvertreter glauben, dass Umsatzkennzahlen das A und O sind. Sie haben nicht unrecht, aber die direkte Korrelation eines einzelnen A/B-Tests mit dem Umsatz ist wahrscheinlicher. Überlegen Sie sich, wie Sie den Wert Ihres Optimierungsprogramms auf der Grundlage der Erkenntnisse vermittelt werde kann. Wenn Sie etwas Neues über ihre Kunden erfahren, fragen Sie: „Wie kann ich Ihnen auf der Grundlage der Erkenntnisse aus diesem Experiment helfen, eine Geschäftsentscheidung zu treffen?“.
