Was ist-A/B Testing?
Einführung
Wir Leben in einer Zeit, in der Marketing von Daten bestimmt wird. Lang ist es her, dass es reichte, Geld zu investieren und auf erfolgreiche Ergebnisse zu warten. Der moderne Marketer verfolgt einen wissenschaftlichen Ansatz und stützt sich auf Daten. Bei Entscheidungen über Marketing oder Design von Websites, Werbung, kurz allem Online-Content, ist A/B-Testing die beste Art, alle Unsicherheiten und Bauchentscheidungen aus dem Weg zu räumen.
Seien Sie experimentierfreudig!
Eine auf Daten und Tests basierende Strategie macht Sie reaktiver, bietet präzises Feedback und zeigt auf, was funktioniert – und was nicht. Sie können bessere Entscheidungen treffen und Zeit und Geld in den Content investieren, den Ihre Besucher wirklich wollen.

A/B-Testing - die Geheimwaffe der besten Vermarkter
75% aller Websites mit mehr einer Million Besuchern pro Monat verwenden bereits A/B-Testing. Vielleicht ist es auch für Sie an der Zeit, die Risiken bei Ihren Marketingentscheidungen zu entfernen.
Es braucht Zeit, um A/B-Testing einzuführen, und sogar mehr Zeit, um sich richtig einzuarbeiten. Sie müssen Prozesse erstellen, einen Rahmen setzen, Statistiken einbeziehen, ein neues Tool implementieren und lernen, wie man es verwendet, sicherstellen, dass die erzielten Ergebnisse korrekt sind… Aber von nichts kommt nichts: Wer ein großes Potenzial heben möchte, muss einen großen (Zeit-)Aufwand in Kauf nehmen.
Das hört sich kompliziert an, ist es aber nicht. Hier finden Sie alles, was Sie über A/B-Testing wissen müssen, erarbeitet von den besten Blogs und Experten.

Was ist A/B-Testing?
Definition: A/B-Testing ist ein Online-Experiment, für Websites, Mobile Apps oder Online-Werbung (unter anderem), das ermöglicht, potenzielle Verbesserungen im Vergleich zu einer Kontroll- (oder Original-) Version zu testen. Kurz gesagt zeigt A/B-Testing dank statistischer Analysen, welche Version besser bei Ihren Website-Besuchern ankommt.
A/B-Testing wird auch Split-Testing genannt, wobei es sich entweder um A/B-Testing ODER um Split-URL-Testing handeln kann. Das klassische A/B-Testing geht von ein und derselben URL aus, beim Split-URL-Testing hat die Variante eine eigene URL (was der Besucher natürlich nicht sieht).

Was ist Multivariate Testing (MVT)?
Es kann vorkommen, dass mehrere Veränderungen getestet werden sollen, z. B. Banner, Kopfzeile, Beschreibung oder Video. Um sie gleichzeitig zu testen, kann Multivariate Testing (MVT) genutzt werden.
Es werden Varianten generiert, die alle unterschiedlichen Kombinationen dieser Veränderungen testen und die beste Kombination ermitteln.
Der große Nachteil dieser Methode ist, dass sie ein sehr hohes Traffic-Niveau Ihrer Webseite erfordert. Bevor Sie ein Multivariate Testing Projekt starten, vergewissern Sie sich bitte, dass Ihr Traffic hoch genug ist, um repräsentative Ergebnisse zu erhalten. Nähere Informationen über diese Methode finden Sie in diesem Artikel von Hubspot.

Bandit Testing oder Multi-Armed Bandit Testing
Multi-Armed Bandit Testing heißt, dass ein Algorithmus Sie automatisch und schrittweise zu der besten Variante führt.
Für nähere Informationen ist der Artikel von Alex Birkett (Conversion XL) bei Weitem der beste.

A/B/n-Testing
A/B/n-Testing nennt man die Variante, bei der mehr als zwei Varianten eines Elements oder einer Seite getestet werden. So könnten sechs Varianten einer Seite in einen A/B/C/D/E/F Test geprüft werden .
Einführende Artikel für Ihre ersten Schritte mit A/B-Testing:
Welche Vorteile bietet A/B-Testing?
Warum SIE A/B Testing einführen sollten? Gegenfrage: Sind Sie vollkommen zufrieden mit der Nutzung Ihres hart erarbeiteten Website-Traffics? Mit einem hohen Traffic-Volumen sind höhere Conversion Rates viel kostengünstiger zu erzielen und bieten hohes ROI-Potenzial. Das ist aber noch nicht alles, hier einige weitere Vorteile:
- Mit jedem Test lernen Sie Ihre Besucher besser kennen: was sie mögen, wie sie sich verhalten, ihre Bedürfnisse und Gewohnheiten.
- Entscheidungen nach Ihrem Bauchgefühl haben in Ihrer Marketingstrategie keinen Platz mehr, indem Sie experimentieren und alles testen.
- Dank der Ergebnisse Ihrer A/B-Tests investieren Sie Ihre Zeit und Ihr Geld optimal, in das, was Ihre Besucher am meisten anspricht.
Hier konkrete Beispiele für Fragen, die Sie mit A/B-Testing beantworten können:
- Welche Elemente beeinflussen Umsatz, Conversion und Nutzerverhalten?
- Lieber Lang- oder Kurzformen nutzen?
- Sollten neue Funktionen eingeführt werden?
- Welche Artikelüberschriften sind am publikumswirksamsten?
- Welche Glieder Ihrer Conversion-Kette sind die schwächsten?
A/B-Testing Beispiele von führenden Websites
Wie funktioniert A/B-Testing?
Eine gegebene (oder Kontroll-) Version einer Seite oder eines Elements wird im Vergleich zu einer Version mit der Variation eines oder mehrerer Elemente getestet (Webseite, Element innerhalb einer Seite, CTA, Bild…)
Der Traffic wird in gleichen Teilen aufgeteilt, Besucher sehen eine der Variationen. Die Performance beider Varianten (Conversion, Umsatz,…) wird verglichen, um herauszufinden, welche Änderungen sich lohnen.
Einen Schritt weiter im A/B-Testing

Optimierung der Conversion Rate durch A/B-Testing
Hohe Besucherzahlen sind toll – aber nur wenn sie optimal genutzt werden. Und hier kommt CRO ins Spiel.
Die besten Ratgeber für Conversion Rate Optimierung :
-
The Beginner’s Guide to Conversion Rate Optimization (Qualaroo)
- The Definitive Guide to Conversion Rate Optimization (Quicksprout)
- Conversion Rate Optimization Techniques (100+ Techniques and Free PDF) (Note: Lots of ideas to test in there)
- The Beginner’s Guide to Conversion Rate Optimization (ConversionXL)
- The A-Z Guide to Conversion Rate Optimization
- The Definitive How-To Guide For Conversion Rate Optimization
- What you have to know about conversion optimization
- The Conversion Optimization Rulebook
- Widerfunnel’s case studies
Wie A/B-Testing funktioniert: Rahmen und Methoden
A/B-Testing steht und fällt mit dem zugrunde liegenden Prozess. Es handelt sich um eine wissenschaftliche Methode. Der Prozess muss deshalb präzise definiert werden und auf die nützlichsten Tests fokussiert werden.
Jedes Unternehmen hat seinen eigenen Prozess, aber er ähnelt in der Regel dem folgenden:
Website-daten messen, auswerten und analysieren. bestimmen sie die probleme und möglichkeiten.
Hypothesen erstellen (Craig Sullivan gibt nützliche Beispiele)
Testideen priorisieren (eine der meist genutzten Methode ist PIE von Widerfunnel)
Dieser Rahmen bietet die Priorisierung nach drei Kriterien:
- Potenzial ./10: Wie viel Raum für Verbesserungen bietet diese Seite?
- Auswirkung ./10: Wie wertvoll ist der Traffic auf dieser Seite?
- Einfache Umsetzung ./10: Wie einfach kann der Test auf Ihrer Website implementiert werden?
Die Antworten auf diese drei Fragen zeigen, welche Tests Vorrang haben sollten. Es gibt viele andere Methoden, testen Sie mehrere und passen Sie sie an ihre Bedürfnisse an.
die hypothese mit der höchsten priorität testen
Testergebnisse analysieren und von ihnen lernen
Kommunizieren.
Ganz wichtig! Teilen Sie Ihre Erfahrungen mit Kollegen, erklären Sie warum der Test wichtig für Ihre Businessziele ist, was funktioniert hat und was nicht, welche Lehre Sie daraus ziehen. Fördern Sie den den Austausch: Jede Abteilung hat eine andere Sicht des Prozesses und kann dabei helfen, neue Testideen zu entwickeln. Und natürlich muss das IT-Team eingebunden werden.
Ab Schritt 1 wiederholen
Interessante A/B-Testing Prozesse und Methoden :
- PXL: A Better Way to Prioritize Your A/B Tests
- The A/B Testing Framework So Good It Got A Codename
- Widerfunnel's infinity optimization process
- How to Build a Strong A/B Testing Plan That Gets Results
- Iterative A/B Testing – A Must If You Lack a Crystal Ball
- Start A/B Testing Today with 5 Simple Steps
Was kann mit A/B-Testing getestet werden?
A/B-Testing kann grundsätzlich für alles auf Ihrer Website genutzt werden:
Auch wenn die Beispiele zahlreich sind, fehlt manchmal die Inspiration. Deshalb ein paar A/B-Testing Ideen für Sie.
Zuvor aber eine kleine Warnung: Was bei anderen funktioniert hat, ist nicht unbedingt die richtige Lösung für Sie. Sie sollten also nicht blind den Beispielen folgen, sondern analysieren, was für Sie relevant ist und ob und wie die Lösung auf Ihr Unternehmen angepasst werden kann.
A/B-Testing Ideen – Lassen Sie sich inspirieren :
A/B-Testing: Best Practice und Fehler
A/B-Testing kann schwierig sein… und ist leicht zu vermasseln. Es ist deshalb nützlich, sich darüber im Klaren zu sein, was schief gehen könnte, und Sicherheitsmaßnahmen zur Hand zu haben. Zum Glück sind beide Themen bereits gründlich bearbeitet worden.
Erhöhen Sie Ihre Erfolgschancen und lernen Sie von Best-Practice-Beispielen und Fehlern der Anderen. Aber Vorsicht, wie immer sollten Sie austesten, was am besten auf Ihre Situation zutrifft.

Best Practice für erfolgreiches A/B-Testing:
- 36 essential A/B testing best practices to boost your conversions
- 55 A/B Testing Best Practices Every Marketer Should Know
- 8 Rules of A/B Testing – The Art in Marketing Science
- 8 Best Practices for Starting Your A/B Testing
- What are some best practices with A/B testing?
- A/B Testing Best Practices Can Save You Time, Money and Effort – Here's How
- The Endless Suck of Best Practice and Optimisation Experts
PS: Wir bieten einen monatliche Newsletter mit ausführlichen Informationen über A/B-Testing und CRO, hier können Sie sich anmelden.

A/B-Testing Fehler (Achtung: mit falschen Daten verlieren Sie Geld!)
- 12 A/B Split Testing Mistakes I See Businesses Make All The Time
- [INFOGRAPHIC] 19 Ways A/B Testing Is Ruining Your Site (And How To Fix It)
- Should You Run an A/A test?
- Why Your Brain Is Your Worst Enemy When A/B Testing
- Deuten Sie Ihre A/B-Testergebnisse falsch?
- Warning! Is the world sabotaging your A/B Tests?
- Are You Stopping Your A/B Tests Too Early?
- Die 7 häufigsten Anfängerfehler beim Split-Testing
- How to Minimize A/B Test Validity Threats
- Sample Pollution: The A/B Testing Problem You Don’t Know You Have
- 11 ways to stop FOOC’ing up your A/B tests
Reporting & Ergebnisse der A/B-Tests
Bei A/B-Testing geht es darum datenbasierte Entscheidungen zu treffen und daraus zu lernen. Das heißt, Reporting und Ergebnisse sind von höchster Bedeutung, sei es um Erfahrungen zu nutzen, mit Kollegen zu kommunizieren oder um Ideen für weitere Tests zu bekommen.
Infos über A/B-Testing Reporting & Ergebnisse

Statistiken von A/B-Tests verstehen
A/B-Testing basiert auf statistischen Methoden. Sie brauchen kein Statistik-Experte zu sein, aber eine kleine Auffrischung in diesem Bereich ist von Nutzen und erhöht die Erfolgschancen erheblich.
Dem A/B-Testing liegen zwei grundsätzliche statistische Methoden zugrunde. Sie unterscheiden sich nicht nach Qualität sondern nach Einsatzgebiet.
Frequentist Ansatz:
Ansatz der Entscheidungshäufigkeit Ermöglicht eine einfaches Ablesen der Zuverlässigkeit der Ergebnisse: ab einem Niveau von 95% haben Sie eine 95%ige Chance, die richtige Entscheidung zu treffen. Nachteil: die Methode hat einen festen Zeitraum, das Konfidenzniveau hat vor dem Ende des Tests keine Gültigkeit.
Bayesian-Ansatz:
Bietet die Verlässlichkeit der Ergebnisse sofort ab Testbeginn. Man braucht nicht auf das Testende zu warten, um Trends zu erkennen und Daten zu interpretieren. Bedingung für diesen Ansatz ist allerdings die Kenntnis des Konfidenzintervalls, auf dem die Einschätzungen während des Tests basieren. Jede Conversion hilft, die beste Variante zu definieren.
A/B-Testing Kompetenzen und Management
Um alle Trümpfe in der Hand zu haben, hier noch ein paar Tipps zum Thema Kompetenzen und Management, z.B. Web Analytics und UX-Design.
Verbessern Sie Ihre Kompetenzen für bessere A/B-Tests
- Five skills you need to make AB testing work
- 10 Things Every Marketer Should Know About A/B Testing
- Free A/B Testing course by Google
- Beginner's Guide To Web Data Analysis: Ten Steps To Love & Success
- The Absolute Beginner's Guide to Google Analytics
- The ultimate guide to user experience
- Beginner’s guide to UX
- 9 strategies for becoming the marketing optimization champion your company can’t live without

ProjeKt-management:
Interessante Blogs zum Thema A/B-Testing
Es gibt einige tolle Blogs mit interessanten Beiträgen zum Thema A/B-Testing oder Conversion Rate Optimierung, die Sie lesen können, um zu lernen, sich inspirieren zu lassen und Ihr A/B-Testing zu verbessern.

A/B-Testing Experten, denen sie folgen sollten
Bleiben Sie auf dem Laufenden in der schnell wandelnden Welt der CRO. Eine gute Methode dafür ist, den besten Experten zu folgen. Hier einige Twitter-Accounts, sowie eine Liste der Experten, falls Sie allen folgen möchten (nicht zu vergessen @kameleoonrocks!).
Lance Jones > @userhue
Jason Kincaid > @jasonkincaid
Noah Kagan > @noahkagan
Hiten Shah > @hnshah
Dave McClure > @davemcclure
Avinash Kaushik > @avinash
Daniel Gonzalez > @HiDanielG
David Kirkpatrick > @davidkonline
Shanelle Mullin > @shanelle_mullin
Steve Blank > @sgblank
Matt McGee > @mattmcgee
Rand Fishkin > @randfish
Bart Schutz > @BartS
Rick Perreault > @rickperreault
Sean Ellis > @SeanEllis
Campaign Monitor > @CampaignMonitor
Moz > @Moz
Bryan Eisenberg > @TheGrok
Shopify > @Shopify
Scott Brinker > @chiefmartec
Chris Goward > @chrisgoward
Brian Massey > @bmassey
Jeffrey Eisenberg > @JeffreyGroks
Sherice Jacob > @sherice
Carlos del Rio > @inflatemouse
Pam Moore > @PamMktgNut
Angie Schottmuller > @aschottmuller
Ryan Deiss > @ryandeiss
Ian Lurie > @portentint
ashukairy > @ayat
Khalid Saleh > @khalidh
Anne Holland > @AnneHolland55
Lincoln Murphy > @lincolnmurphy
Amy Africa > @amyafrica
Unbounce > @unbounce
Raven Tools > @RavenTools
Roger Dooley > @rogerdooley
Neil Patel > @neilpatel
Nichole Elizabeth > @NikkiElizDemere
Craig Sullivan > @OptimiseOrDie
Peep Laja > @peeplaja
Jon Henshaw > @RavenJon
Marketing Nutz > @MktgNutz
Dan Siroker > @dsiroker
Tommy Walker > @tommyismyname
John Teevan > @JohnP_Teevan
Joanna Wiebe > @copyhackers
Rich Page > @richpage
Tiffany Da Silva > @bellastone
Jason Quey > @jdquey
Ton Wesseling > @tonw
Adam Hutchinson > @adamiswriting
Michael Aagaard > @ContentVerve
Matt Gershoff > @mgershoff
Andy Johns > @ibringtraffic
Brian Balfour > @bbalfour
Oli Gardner > @oligardner
Tim Ash > @tim_ash
Paul Rouke > @paulrouke
Linda Bustos > @edgacentlinda
Theo van der Zee > @theovdzee
Get Elastic > @getelastic
Conversion Conference > @ConversionConf
MAA1 > @MAA1
Talia Wolf > @TaliaGw
Justin Rondeau > @Jtrondeau
Tyson Quick > @TysonQuick
KlientBoost > @KlientBoost
Andre Morys > @morys
Conversion.com > @conversion_com
Anna Talerico > @annatalerico
Kelly Cutler > @kfcutler
Brooks Bell > @brooksbell
Andrew Youderian > @youderian
Alhan Keser > @AlhanKeser
Conversion Sciences > @ConversionSci
Alex Birkett > @iamalexbirkett
Steven Jacobs > @StevenJacobs_
Kaitlyn Nelson > @kaitlynelson
Kevin Hillstrom > @minethatdata
Dan Wang > @danwwang
Malachi Leopold > @livethetreplife
Pete Koomen > @koomen
Aaron Orendorff > @iconiContent
Chief Conversionista > @Conversionista
Joel Harvey > @JoelJHarvey
Agenturen, die Sie mit Ihren A/B-Tests beauftragen können
Wenn Sie nicht die nötigen Ressourcen haben aber trotzdem A/B-Tests durchführen möchten, hier einige der besten Agenturen:
PS: Wir bieten ein A/B-Testing-Tool, aber auch die komplette Durchführung der Tests, wie die Erfolgsstorys unserer Kunden zeigen.