The Lean Startup: Wie man den Build Measure Learn Kreislauf umsetzt

Eric Ries ist einer der bekanntesten Experten, wenn es darum geht, wie man erfolgreich ein nachhaltiges Startup aufbaut, entweder als Entrepreneur oder als Entrepreneur in Residence innerhalb eines Unternehmens. Mit seinem Buch "The Lean Startup" hat Eric Methoden entworfen, wie man als Unternehmer erfolgreich sein kann, auch wenn am Anfang noch fast alles unsicher ist.

Eric befürwortet eine Methode, die er als "Build-Measure-Learn"-Kreislauf beschreibt. Einmal begonnen, ist dies eine der besten Methoden zur Validierung von Lernprozessen, die auch als "Tuning des Motors" bezeichnet wird. In seinem Buch “The Lean Startup” empfiehlt Eric nicht nur eine Kultur des Experimentierens, er fordert auch dazu auf, keine Pseudowissenschaft zu betreiben, indem man Zahlen verwendet, die zwar eine Hypothese stützen, aber keine validierten Erkenntnisse liefern. Eine der drängendsten Fragen, die sich nach der Lektüre des Buches stellt, ist: Wie kann man Experimente mit Ergebnissen erstellen, die nicht pseudowissenschaftlich sind?

Es gibt zwar mehrere Möglichkeiten, wie man zu validierten Erkenntnissen kommt, ein A/B-Testing-Tool wie Kameleoon bietet hierfür eine der Möglichkeiten, um im Teil "Messen" des “Build-Measure-Learn”-Kreislaufes aussagekräftige Erkenntnisse zu gewinnen.

1 Wie kann man mit dem Experimentieren beginnen?

Experimente können auf verschiedene Art und Weise durchgeführt werden. Es kann damit anfangen etwas zu tun, das zu Beginn nicht skalierbar ist. Indem man bspw. zu einem potenziellen Kunden vor Ort geht und die Arbeit manuell erledigt, welche später für jeden Kunden automatisiert werden kann.

Man kann aber auch Marketingkampagnen erstellen, ohne überhaupt ein Produkt entwickelt zu haben, eine Website zur Lead-Generierung einrichten und Leads sammeln, um am Anfang überhaupt ein Verständnis für einen Bedarf der möglichen Zielgruppe zu bekommen.

Der gesamte Prozess des Erstellens, Messens und Lernens wurde entwickelt, um zu vermeiden, dass kostbare Zeit verschwendet wird. Bspw. wenn die falschen Dinge umgesetzt werden, ohne zuvor eine Hypothese dafür validiert zu haben. Beim Experimentieren geht es also darum, eine Hypothese zu einem Problem aufzustellen, Ziele zu definieren, mit welchen man messen kann ob diese Hypothese sich bewahrheitet oder nicht und Bedingungen für die möglichen Zielgruppe festzulegen, welche in das Experiment einbezogen werden soll. Bei Kameleoon wird hierfür in der Regel eine Testspezifikation verwendet, welche all diese Daten definiert, bevor das Experiment tatsächlich durchgeführt wird. Diese Spezifikation enthält auch Informationen darüber, welche Ziele auf der Grundlage welcher Daten getracked werden können.

Das Beispiel der Toyota “Small Batch” Fertigung lässt sich auch auf den Beginn von Experimenten anwenden. Oft tun sich Gründer oder Startup-Teams mit ihrem ersten Experiment schwer, weil sie nicht wissen, wo sie anfangen sollen und auf welches validierte Lernen sie sich zuerst konzentrieren sollen. Mit einem kleinen Experiment zu beginnen, um den Prozess zu erlernen und von dort aus weiter zu gehen ist häufig eine gute Methode, um mit dem ersten Experiment zu starten.

2 Wie richtet man ein Experiment ein?

Wenn Eric Ries über digitale Produkte schreibt, werden Experimente zum “Tuning des Motors” durch die Einrichtung eines Tracking-Systems gemessen. Ein Tracking-System, das eine Vielzahl an Zielen misst, sollte nicht nur die Rohdaten zu vordefinierten Zielen tracken, sondern unbedingt auch Informationen über die Signifikanz des primären Ziels liefern.

Es ist logisch und richtig, dass “Vanity Metriken”, wie von Eric Ries beschrieben, nicht zur Erfolgsmessung beitragen. Daher sollte das Hauptziel des Experiments mit Bedacht gewählt werden. Optional kann man beliebig viele sekundäre Ziele hinzufügen, um unerwünschte Veränderungen in anderen Bereichen gleichzeitig zu erfassen. Bevor man ein primäres Ziel definiert, sollte man sich eine Frage selber stellen: "Wenn dieses Ziel in Referenz und Variation erreicht wird, sagt es mir dann, ob das Experiment erfolgreich ist oder nicht?"

Nur wenn ein Experiment erstellt wird, welches bei einer Wiederholung statistisch gesehen das gleiche Ergebnis hervorbringt, kann man von einem wissenschaftlich gültigen Experiment sprechen. Daher sollte das Tracking der Ziele möglichst wasserdicht sein, zumindest im Rahmen der Möglichkeiten, welche die Technologie derzeit innerhalb der Frontend- und Backend-Programmierung zulässt.

Man wird immer einen Benchmark oder eine Referenz haben, an der man sich messen kann - sei es bereits eine konstante Anzahl von Nutzern oder schlicht keine Nutzer, sodass 0 die Referenz ergeben würde. Wenn man ein Ziel definiert, welches man messen will, z.B. ein Klick-Ziel oder eine Conversion beim Absenden eines Formulars, sollte man dieses immer sofern möglich sowohl in der Referenz als auch in der Variation messen.

Bei der Durchführung eines A/B- oder Split-Tests in Kameleoon, erstellt man ein Experiment über die A/B-Testing Applikation oder mit Hilfe der Kameleoon Automation REST API. Anschließend erstellt man ein neues Ziel, definiert wie es gemessen werden kann und verbindet dieses Ziel mit dem Experiment.

Nachdem das Targeting festgelegt wurde, entweder durch ein bestimmtes Segment oder durch vordefinierte Regeln, wie URLs und weitere Bedingungen, kann das Experiment simuliert und getestet werden. So kann man sehen, ob das Ziel in der Referenz genauso gut konvertiert wie in der Variation.

Die Qualitätssicherung ist hierbei von entscheidender Bedeutung und sollte vor jedem Experiment durchgeführt werden, um unbeabsichtigte Folgen wie falsche Daten aufgrund von Tracking-Fehler zu vermeiden.

Man muss bedenken, dass die Ergebnisse eines Experiments die Grundlage für die Entscheidungen bilden, die zur Entwicklung der Strategie getroffen werden. “Pivot or persevere” - ohne ein angemessenes Tracking wäre es nicht möglich, diese entscheidende Frage zu beantworten. Wenn eine Idee scheitert und dies in einem Experiment aufgrund der Daten gezeigt wird, führt dies automatisch zu anschließenden Experimenten auf der Grundlage der Ergebnisse. Der Kreislauf beginnt von vorne. Dies sollte auf keinem Fall dem Zufall überlassen werden.

3 Wie kann man Daten innerhalb eines Experiments tracken?

Das Tracking der Daten kann auf verschiedene Weise erfolgen, und es ist unerlässlich zu wissen, welche Art von Daten erfasst werden sollen. Während webbasierte Analysesysteme wie Adobe Analytics, Google Analytics oder Open-Source-Systeme wie Matomo verwendet werden können um innerhalb von Web-Applikationen zu tracken, erfordert das Tracking innerhalb eines Produkts eher spezialisierte Systeme wie Mixpanel, Heap oder Kissmetrics.

Bei der Auswahl einer A/B-Testing-Plattform sollte man daher darauf achten, dass die Interoperabilität zwischen den Systemen unterstützt wird. Das bedeutet, dass Nutzer innerhalb der Experimente mit der Referenz oder Variationen in der führenden Analytics-Plattform getagged werden können, um zusätzliche Erkenntnisse innerhalb dieser Analyse Tools zu gewinnen.

Obwohl diese Tools oft keine statistischen Daten darüber enthalten, welche Variation der Gewinner sein wird oder ob das Experiment signifikant und stabil ist, ist es hilfreich, die Daten zusammenzuführen. Wenn die verschiedenen Tools miteinander verbunden wurden, wird es einfacher, die richtigen Schlussfolgerungen zu ziehen, da somit alle Daten innerhalb des führenden Analyse Tools verfügbar sind und eine Filterung nach bestimmten Kohorten oder benutzerdefinierten Dimensionen möglich ist.

4 Wie interpretiert man die gemessenen Daten?

Gemessene Daten sind nur so gut wie die richtige Interpretation, die sich aus ihnen ergibt. In einem Startup mit vielen Unsicherheiten neigt man dazu, die gesammelten Daten zu früh zu interpretieren, wenn das Experiment noch keine Stabilität und Signifikanz aufweist.

Entscheidend für die Interpretation der Daten ist die Mindestdauer der Durchführung eines Experiments und einer der häufigsten Fallstricke bei A/B-Tests.

Es kommt nicht selten vor, dass Experimente in Unternehmen als Verschwendung empfunden werden, vor allem wenn keine Veränderung gemessen wird oder wenn die Referenz die getestete Variante übertrifft. Hierbei ist zu beachten, dass dies nicht als Ressourcenverschwendung angesehen werden sollte, sondern als eine validierte Erkenntnis. Hat man etwas durch ein Experiment gelernt, so hat man anschließend die Gewissheit, dass man auf dem richtigen Weg ist oder aber etwas ändern muss. Um eine höhere Conversionrate zu erreichen, sind viele nicht erfolgreiche Tests notwendig. Das Tracking der Daten im ersten Schritt ist relevant, um aus den Fehlschlägen zu lernen und diese anschließend nicht erneut zu wiederholen.

Mit einem leistungsstarken A/B-Testing-Tool wird nicht nur die Erstellung des Experiments, sondern auch das Erhalten wertvoller Erkenntnisse zum Eckpfeiler des Experimentierens. Die Möglichkeit, Daten auf Basis verschiedene Metriken zu analysieren, Filter und Aufschlüsselungen auf diese Daten anzuwenden, sollte bei der Auswahl einer Experimentierplattform Standard sein.

5 Build, Measure, Learn - Rinse and repeat

Der Aufbau des ersten Experiments in einem crossfunktionalen Team kann zunächst beängstigend und ungewohnt sein, insbesondere wenn es um einen wissenschaftlichen Ansatz zur Messung der richtigen Daten geht. Der erste Schritt, um ein Experiment zu starten und validierte Erfahrungen zu generieren, besteht darin, die eigene Komfortzone zu verlassen.

Auch kleine Änderungen häufig hintereinander führen am Ende zu einem großen Erfolg. Der Ratschlag, große Veränderungen zu testen, um einen bemerkenswerten Unterschied zu sehen, mag hierbei auch verwirren. Das kann stimmen, solange man sich über die Geschäftsidee an sich noch nicht im Klaren ist. Wenn man jedoch ein funktionierendes Geschäftsmodell gefunden hat, validierte Erfahrungen gemacht hat, hat man bereits eine Experimentier-Kultur etabliert. Jetzt ist es an der Zeit, schrittweise Änderungen vorzunehmen und dabei den Fokus auf die wichtigsten KPIs zu richten.