Experten erklären: Multivariate Tests oder A/B-Tests, wann eignet sich welcher Test?
Sie haben kürzlich ein neues Produkt auf den Markt gebracht, aber Ihre Conversion Rates entsprechen nicht Ihren Erwartungen und Sie haben keine Ahnung, warum? Oder vielleicht wissen Sie es doch, können allerdings die Zusammenhänge nicht erkennen?
Vielleicht ist es der Call-to-Action (CTA), der nicht auffällt. Vielleicht liegt es an dem Formular mit zu vielen Feldern, das die Besucher ausfüllen müssen. Oder vielleicht ist es das Teaserbild oben auf der Website, bei dem die Überschrift darüber nur schwer zu lesen ist.
All das bietet Ihnen einen Ansatzpunkt um Hypothesen für die Ursache der niedrigeren Conversion Rates aufzustellen. Mithilfe von Testing können Sie die Antwort herausfinden, ganz egal ob mit multivariaten oder klassischen A/B-Tests.
Beide Arten von Tests erfordern die Aufstellung einer Hypothese, die Ihre Frage klären soll. Die Hypothese basiert darauf, was Ihrer Meinung nach passieren wird, wenn Sie ein oder mehrere Elemente ändern. Ziel ist es, mehr über den Kunden zu erfahren, um im Nachgang seine Bedürfnisse besser erfüllen zu können.
„Bei multivariaten Tests sollte man sich, wie bei allen Testarten, darauf konzentrieren, was man testen will und wie komplex der Test ist. Die Menge des Traffics ist nur ein Faktor in einem viel größeren Konstrukt. Andere Faktoren, die ebenso wichtig sind, sind der Reifegrad des Optimierungsteams, die Komplexität der Tests und das Tracking.“ — Talia Wolf, Founder and Chief Optimizer, GetUplift
Hier ein Beispiel: Mit einem multivariaten Test könnte sowohl der CTA-Button (Farben, Text usw.), das Layout der Website (Platzierung des CTA-Buttons in der Mitte der Seite oder unter einem Text) als auch das Bild und der Text im Header-Block getestet werden. Bei einem A/B-Test hingegen wird jeweils nur eines dieser drei Elemente vertestet.
Beide Testmethoden liefern unschätzbare Erkenntnisse zur Verbesserung der Customer Experience auf Grundlage quantitativer Analysen und nehmen Ihnen das wahllose Ausprobieren bei der Optimierung Ihrer Website ab.
1 Was ist multivariates Testing (MVT)?
MVT wird eingesetzt, wenn mehrere Elemente auf einer Website, einer Unterseite oder einer digitalen Anzeige getestet werden. Es gibt Aufschluss darüber, wie diese Elemente miteinander funktionieren, um das beste Ergebnis zu erzielen. Beim multivariaten Testing geht es also darum,, zu verstehen, wie jedes Teil in das größere Puzzle der CX-Optimierung und des Experimentierens passt.
MVT untersucht mehrere verschiedene Elemente gleichzeitig und gibt Aufschluss darüber, wie diese Elemente zusammenwirken, um die Conversion Rate zu erhöhen. Diese Methode eignet sich besser, wenn Sie mehr Zeit für das Experiment haben und mehrere Elemente zur gleichen Zeit testen möchten.
2 Wozu sind multivariate Tests gut?
Multivariate Tests finden die richtige Kombination von Elementen.
Bei dem MVT geht es darum, herauszufinden, welche Kombination der Elemente in ihrer Gesamtheit die besten Ergebnisse für die Customer Experience liefert.
Ein Beispiel ist das Experimentieren mit der Ausrichtung eines Formulars zum Herunterladen von Download-Content: Soll der Text zentriert oder rechtsbündig ausgerichtet sein? Soll dieses Formular einen blauen oder grünen CTA-Button besitzen? Und soll auf dem CTA "Jetzt herunterladen" oder "Holen Sie sich das E-Book" stehen?
Während in einem A/B-Test eine CTA-Variante die andere übertrumpfen kann, gibt es Fälle, in denen eine andere Bedingung, beispielsweise die Positionierung, diesen Uplift wieder aufhebt. MVT zeigt Ihnen, welche der Kombinationen die meisten Downloads erzielt.
"Multivariate Tests können hilfreich sein, wenn Sie herausfinden wollen, welche Kombination von Elementen am besten funktioniert anstatt herauszufinden, welches Element für sich allein am effektivsten ist. Wenn zum Beispiel eine Schlagzeile mehr Klicks und eine andere eine höhere Conversion Rate erzielt, aber nur weil diese in Verbindung mit einem bestimmten Bild verwendet wird, dann können Sie mit diesem Ansatz feststellen, wie alle drei Elemente als Einheit funktionieren - anstatt einfach jedes Element unabhängig, wie in einem klassischen A/B-Test, voneinander zu messen." — Ankur Goyal, Digital Marketing Evangelist, Website Pandas
Multivariates Testing zeigt Beziehungen zwischen Elementen auf
Hier ein einfaches Beispiel, das Sie berücksichtigen sollten: Die Farbe Ihres CTA-Buttons (Bsp.: blau, rot, grün) und der Text der Schaltfläche (Bsp.: „Jetzt bewerben“, „Abschicken“, „Senden“) mögen wie zwei getrennte Bedingungen erscheinen, aber wenn Sie jede dieser Bedingungen testen, können sie sich im besten Fall sogar gegenseitig ergänzen. Wenn Sie also die richtige Kombination aus den neun möglichen finden, können Sie definitiv feststellen, welches Element mehr Klicks oder Conversions erzielt. Multivariate Tests sind die einzige Möglichkeit, die Beziehung zwischen den Bedingungen oder Elementen zu bestimmen und herauszufinden, wie sie zur Steigerung der Conversions beitragen.
„Multivariate Tests bieten einen enormen Einblick in die Beziehungen, die zwischen verschiedenen Komponenten bestehen. Der multivariate Testansatz ermöglicht es, mehrere Bedingungen parallel zu testen und so herauszufinden, welche Kombination den größten Gesamtwert für die Website bietet. Multivariate Tests sind unverzichtbar, um die Wechselbeziehungen zwischen unabhängigen Komponenten zu ermitteln und um festzustellen, welche Kombination am effektivsten ist.“ — Andriy Bogdanov, CEO and Co-Founder, Online Divorce
3 Was ist A/B-Testing?
A/B-Testing testet jeweils nur ein Element auf Ihrer Website, Unterseite oder Ihrer Anzeige. Die quantitativen Ergebnisse eines A/B-Tests ermöglichen es dem Marketer, eine fundierte Entscheidung darüber zu treffen, welches Element die meisten Conversions erzielt.
Beim A/B-Testing werden nur zwei Veränderungen (die Kontroll- und eine Alternativ-Version) untersucht, um herauszufinden, welches einzelne Element zu mehr Conversions führt. Mit A/B/n-Tests können Sie mehrere Bedingungen untersuchen. Viele bevorzugen A/B-Tests, um sich auf ein Element und eine klar definierte Hypothese für Ihr Experiment zu konzentrieren.
Wozu ist A/B-Testing gut?
A/B-Tests ermöglichen schnellere Experimente.
Da nur zwei Veränderungen zu testen sind, kann der Test unter der Voraussetzung des genügenden Traffics in einem kürzeren Zeitrahmen durchgeführt werden. Deshalb sollte sich Ihre Hypothese auf Elemente beziehen, die einen größeren Einfluss auf die Conversions haben, z. B. der CTA-Button oder die Anzahl der auszufüllenden Felder in einem Formular.
“Bei einem A/B-Test wird ein einzelnes, aber auffälliges Element geändert und dann getestet, um festzustellen, ob eine Zunahme der Conversions zu erkennen ist. So können Unternehmen beispielsweise die Position eines Warenkorb-Buttons auf einer Produktdetailseite einem A/B-Test unterziehen. Dies erfordert einen wesentlich geringeren Testaufwand, da es sich um eine einmalige und kontrollierte Änderung handelt.” — Jonathan Zacharias, Co-Founder, GR0
A/B-Testdaten sind einfacher zu interpretieren.
Im Gegensatz zu MVT wird bei A/B-Tests nur eine Veränderung berücksichtigt, die gegen eine Kontroll-Version, meistens der Ist-Zustand des Elements, getestet wird. Da Sie nur ein Element ändern, ist es viel einfacher, die Ergebnisse zu interpretieren, da nur dieses eine Element der Grund für die Änderung sein kann, egal ob positiver oder negativer Natur.
“Verwenden Sie A/B-Tests, wenn Sie schnelle, aussagekräftige Ergebnisse benötigen. Sie zeigen Ihnen, welche Seite am effektivsten ist, in dem sie die Vorteile der Veränderungen von Seite zu Seite nutzen.” — Harriet Chan, Co-Founder and Marketing Director, CocoFinder
Wenn Sie wissen, was funktioniert und was nicht funktioniert oder keine Auswirkungen auf Ihre Conversions hat, können Sie Ihre digitalen Ressourcen kontinuierlich verbessern.
4 Wann sollten Sie A/B- und wann multivariates Testing anwenden?
Sowohl A/B-Tests als auch multivariate Tests untersuchen unterschiedliche Dinge und liefern unterschiedliche Ergebnisse. Das heißt allerdings nicht, dass Sie nur das eine oder das andere verwenden können. Tatsächlich ist die Kombination der beiden Methoden ein leistungsfähiges Instrument für eine differenzierte Analyse.
Nutzen Sie multivariates Testing, um mit großen Veränderungen und großen Ideen zu experimentieren.
Mit MVT können Sie verschiedene Elemente auf einmal testen, und somit potenziell größere Gesamtänderungen erzielen. Dies kann das Layout der Seite mit einem Teaserbild, einem eingebetteten Video und verschiedenen Farben für den CTA sein. A/B-Tests sind dagegen geeignet, um zu erfahren, welche einzelnen Elemente mit Veränderungen am besten funktionieren. Also nur eines der Elemente aus dem MVT, wie beispielsweise die Position des Videos auf der Homepage.
“Multivariate Tests sind nicht von der Anzahl der Visits abhängig. Sie können auch mit weniger Visits Ergebnisse erzielen. Der Hauptunterschied besteht darin, dass multivariate Tests viele verschiedene Elemente auf einmal testen, während A/B-Tests hervorragend geeignet sind, um ein einzelnes Seitenelement und dessen Leistung zu testen. Meiner Erfahrung nach eignet sich der multivariate Test prima dafür, wenn Sie zwei völlig unterschiedliche Seiten für dasselbe Angebot haben und herausfinden möchten, welches Konzept besser funktioniert. Wenn Sie hingegen wissen, dass das Angebot großartig ist, eignen sich A/B-Tests hervorragend, um es zu optimieren - sprich um die beste Reihenfolge der Elemente, den besten CTA-Button, UI und UX und so weiter zu finden.” — Adam Hempenstall, Founder and CEO, Better Proposals
Nutzen Sie MVT um großes zu testen.
MVT eignet sich am besten, wenn Sie größere Änderungen, wie das Seitenlayout, in Betracht ziehen. Diese Änderungen können sich jedoch nicht nur auf Ihre Conversions auswirken, sondern auch auf andere Analysen wie Click-Through-Rate, Bounce-Rate und Warenkorbabbrüche.
Wenn Sie z.B. die Anzahl der Felder auf einer Kreditantragsseite testen und prüfen, ob sich die Feldbeschriftungen innerhalb oder außerhalb des Feldes befinden sollen, könnte dies hypothetisch Menschen davon abhalten, Ihr Formular auszufüllen, weil sie die Beschriftung nicht gut lesen können. Hier eignet sich prinzipiell ein klassisches A/B-Testing eher als multivariates Testing. Das ist aber kein Grund, auch kein MVT aufzusetzen. Allerdings müssen Sie hier die Möglichkeiten vor dem Testen kennen, damit Sie, wenn diese Probleme immer wieder auftreten, wissen, dass Sie diese Elemente ändern müssen.
Beginnen Sie bei umfangreichen Experimenten mit MVT und optimieren Sie mit A/B-Tests.
Wenn Ihre Hypothese breit gefächert ist oder Sie nicht sicher sind, was Sie erwarten können, ist MVT ein guter Ausgangspunkt, da es hier um die Beziehung zwischen verschiedenen On-Page-Elementen geht. Sobald Sie Ihre Ergebnisse erhalten haben und eine solidere Hypothese aufstellen können, können Sie dazu übergehen, diese ein oder zwei vorherigen Elemente mit A/B-Tests zu testen und ein vollständigeres Bild erhalten.
“Sie sollten A/B-Tests als eine Art abschließende Prüfung zwischen zwei Optionen verwenden, für die Sie sich nach einem multivariaten Test entschieden haben. Viele Veränderungen auf einmal zu testen kann kompliziert sein, liefert aber viel komplexere Daten. Je nach Anwendungsfall, Umfang des Traffics und Dauer des Tests kann dies also der richtige Weg sein.” — Bryan Philips, Head of Marketing, In Motion Marketing
5 Sollten Sie MVT oder A/B-Tests über einen bestimmten Zeitraum durchführen?
Es gibt eine Menge Fehlinformationen über die Mindestmenge an Traffic und die Dauer, die für die Durchführung eines Tests erforderlich ist. Die Wahrheit ist, dass jede Website oder digitale Anzeige anders ist, weshalb die Antwort daher lautet: Es kommt darauf an.
Bestimmen Sie Ihre Mindestanzahl an Conversions.
Sie sollten sicherstellen, dass Sie eine Mindestanzahl von Conversions erhalten (mindestens 150 pro Variante), um wirklich sicher zu sein, ob die Ergebnisse zuverlässig sind. Denken Sie daran, rückwärts zu arbeiten und damit zu beginnen, wie viele Conversions jede Variante potenziell erreichen kann, um zu bestimmen, wie viele Varianten Sie testen müssen.
“Im Allgemeinen legen wir bei der Durchführung von Tests viel mehr Wert auf die Anzahl der Conversions pro Variante als auf die Menge des Traffics, den wir für einen Test benötigen. Unser Ziel während eines zweiwöchigen Zeitraums sind mindestens 150 Conversionen pro Variante, damit wir wissen, dass der Test signifikant ist. Das bedeutet, dass wir vor der Durchführung eines Tests entscheiden, wie viele Varianten wir einbeziehen, je nachdem, wie viele Conversions jede Variante erhalten wird.” — Talia Wolf, Founder and Chief Optimizer, GetUplift
Legen Sie Ihren Zeitplan fest.
Haben Sie einen festen Termin, bis wann Sie die Ergebnisse umsetzen müssen? Da multivariate Tests länger dauern, sind A/B-Tests am besten für kürzere Zeiträume geeignet. Auf diese Weise laufen Sie nicht Gefahr, einige Veränderungen umzusetzen, die sich negativ auf Ihre Conversions auswirken könnten.
“Multivariate Tests sind langwieriger, weil sie mehrere Schritte durchlaufen, bevor die Ergebnisse statistische Signifikanz erreichen (Grund: Sie benötigen eine größere Stichprobengröße). A/B-Tests ermöglichen es uns schnell eine fundierte Entscheidung zu treffen da das Risiko, mehrere Veränderungen gleichzeitig umzusetzen, die Ergebnisse nicht durch verwirrende Ursache-Wirkungs-Beziehungen verfälschen kann. Auch wenn diese Methoden unterschiedliche Vor- und Nachteile haben, sollten beide in Abhängigkeit von Ihren Zielen, Ihrem Zeitplan, Ihren Ressourcen und Ihrer Risikotoleranz in Betracht gezogen werden.” — Ankur Goyal, Digital Marketing Evangelist, Website Pandas
Berechnen Sie den Traffic, den Sie für jede Variante benötigen, um statistische Signifikanz zu erreichen.
Je nachdem, wie viele Kombinationen Sie testen, kann es sein, dass Sie nur 5 bis 15 % Ihres üblichen Traffics auf einer Testseite erhalten. Das liegt daran, dass Ihr Testing-Tool Ihren Traffic bei einem MVT, mit dem Sie z.B. sechs verschiedene Versionen testen, automatisch in sechs gleiche Teile aufteilt, um Ergebnisse zu erhalten. Das bedeutet, dass jede Version während des Tests von 15 % Ihrer Besucher gesehen wird. Und wenn Sie noch weitere Versionen einsetzen, dann wird Ihr Traffic pro Version sogar noch weiter aufgeteilt. Lässt sich der Traffic nicht gleichmäßig auf alle Versionen aufteilen, ist der übrige Prozentsatz vom Experiment ausgenommen.
“Für multivariate Tests ist eine hohe Anzahl täglicher Besucher erforderlich, da jeder Variante etwa 5 bis 15 % Ihrer Besucher zugewiesen werden. Daher benötigen Sie für jede Variante genügend Besucher, um zuverlässige Ergebnisse zu erhalten.” — Chris Westmeyer, President, Caring Advisor
Je mehr Versionen Sie testen, desto mehr Traffic benötigen Sie.
Da MVT einen viel geringeren Anteil des Traffics (5 bis 15 %) erhalten als A/B-Tests (50 %), eignen sich MVT am besten für Websites mit hohem Traffic. Wenn Sie wissen, wie hoch der durchschnittliche Traffic auf Ihrer Website oder einer bestimmten Seite ist, können Sie mit einem Stichprobengrößen-Rechner abschätzen, welche Trafficgröße Sie benötigen.
“Multivariate Tests erfordern sehr viel mehr Traffic als A/B-Tests. Wie viel Traffic Sie genau benötigen, hängt davon ab, wie viele Varianten Sie gleichzeitig testen und wie groß die Stichprobe ist, die Sie benötigen, um aussagekräftige Ergebnisse zu erhalten. Aus dem Statistikunterricht wissen wir, dass es wichtig ist, die richtige Stichprobengröße zu haben, um aussagekräftige Ergebnisse zu erzielen. Wenn Sie A/B-Tests durchführen, können Sie einen Stichprobengrößen-Rechner verwenden. Wie lange Sie Ihren Test durchführen, hängt von der Anzahl der Besucher ab - je mehr Besucher, desto schneller erreichen Sie die Mindeststichprobengröße.” — Nicholas Tippins, Director of Digital Marketing, Beyond PhD Coaching
Sollten Sie auch in Finanz- oder Gesundheitsbranchen testen?
Marketer in Branchen wie dem Finanz-, Gesundheits- und Versicherungswesen können beruhigt sein, denn beide Formen von Tests können sicher durchgeführt werden und halten gleichzeitig die ganzen Vorschriften und Regeln ein. Für die meisten multivariaten und A/B-Tests sind keine personenbezogenen Daten erforderlich, um verwertbare Ergebnisse zu erzielen, da sie auf Conversions basieren (Beispiel: Haben sie sich angemeldet - „Ja“ oder „Nein“?).
Testing beschränkt sich auf den Inhalt und nicht auf personenbezogene Daten
Ein Vorteil beider Testmethoden ist, dass sie sich auf Inhalte, Benachrichtigungen und Design beschränken und nichts mit den personenbezogenen Daten der Nutzer zu tun haben. Unabhängig davon, ob Sie einen A/B-Test oder einen multivariaten Test durchführen, können Sie also sicher sein, dass Sie die Vorschriften einhalten.
“Nach der Analyse der Testergebnisse können Sie eine fundierte Entscheidung treffen und die Variante bewerben, die am besten abgeschnitten hat. Bei einer großen Zielgruppe sollte man jedoch nicht alles auf eine Karte setzen. Sowohl A/B-Tests als auch multivariate Tests eignen sich hervorragend für sensible Branchen, auch wenn es dort Beschränkungen in Bezug auf Inhalte und Benachrichtigungen gibt.” — Lauren Kennedy, Founder and Chief Marketing Nerd, Coastal Consulting
Ihre digitalen Produkte sollten getestet werden
Unabhängig von Ihrer Branche sollten Sie immer daran denken, Ihre digitalen Produkte zu testen. So stellen Sie sicher, dass Sie Ihren Kunden genau das bieten, was sie wollen oder brauchen und können so Ihre Seite Stück für Stück optimieren.
“Ob Sie multivariate oder A/B-Tests durchführen, hängt davon ab, in welchem Stadium des Lebenszyklus sich Ihr Produkt befindet. Das hat nichts mit Ihrer Branche zu tun. Daher kann Ihr Produkt entweder multivariate Tests oder A/B-Tests benötigen und das alles unabhängig davon, ob Sie in der Gesundheits-, Versicherungs-, Finanz- oder anderen Branchen tätig sind.” — Sally Stevens, Co-Founder and Head of Marketing, FastPeopleSearch.io
6 Next Steps für multivariates und A/B-Testing
Die Durchführung von multivariaten und A/B-Tests braucht Sie nicht zu überfordern, sondern sollte Ihre Arbeit als Marketer erleichtern. Letztendlich sollten Ihre Testentscheidungen von den Ressourcen, einschließlich Zeit und Budget, abhängen.
Wenn Sie noch Fragen zu einer der beiden Testmethoden haben oder bereit sind, damit zu starten, kontaktieren Sie uns gerne, um eine kostenfreie Demo mit jemandem aus unserem Team zu vereinbaren.
