Qu'est-ce que l'A/B testing
Introduction
Les temps où l’on dépensait son budget marketing à tout va est révolu. Aujourd’hui, les équipes marketing sont en mesure de prendre des décisions informées, et adoptent une approche scientifique pour optimiser l’expérience de leurs visiteurs. Ils basent leurs décisions sur de la donnée fiable et pas sur une intuition subjective, grâce notamment à l’A/B testing.
Il est temps d’adopter une culture de l’expérimentation et de tester concrètement toutes vos idées !
En basant votre stratégie sur de la donnée, vous serez non seulement plus agile mais saurez également ce qui marche, et ce qui ne marche pas. Vous investirez votre temps et argent dans ce que vos visiteurs veulent vraiment et prendrez ainsi de meilleures décisions pour votre business.
A/B Testing : l’arme secrète des meilleurs marketers
75% des sites ayant un trafic supérieur à 1 million de visiteurs font de l’A/B testing. Peut-être devriez-vous également retirer toute incertitude dans vos décisions marketing.
Il est cependant vrai que l’A/B testing nécessite la mise en place d’un process strict et une période d’apprentissage. Vous devrez identifier les zones d’optimisation de votre site, prioriser votre roadmap, et apprendre (un peu) sur les statistiques pour ne pas commettre d’erreurs.
Mais n’ayez crainte, nous avons réuni toutes les ressources dont vous aurez besoin pour maitriser le sujet, avec les meilleurs contenus des plus grands experts de la discipline.
Qu'est-ce que l'A/B testing ?
Définition : L’A/B testing est une expérience conduite sur un site internet, une application mobile, des publicités (entre autres), venant valider des hypothèses d’optimisation améliorations potentielles comparées à une variante de référence (ou original). Il vous permet de voir ce qui fonctionne pour votre audience en vous basant sur l’analyse statistique des performances.
L’A/B testing peut également être appelé split testing, ou split URL testing. Dans un A/B test classique, les deux variations de vos pages sont sur la même URL. Dans le cas du split URL testing, la variante B est sur une URL distincte (vos visiteurs ne voient évidemment pas la différence).
Qu’est ce qu’un test multi-varié (MVT)?
Dans certains cas, il est possible de tester plusieurs changements simultanément sur une page web : une bannière, un titre, une description ou encore une vidéo. Un test MVT vous permet de tester toutes ces optimisations dans la même expérience.
Votre outil d’A/B testing générera autant de variantes qu’il y a de combinaisons pour déterminer laquelle à le plus grand impact sur vos taux de conversion.
Le problème d’un test MVT est qu’il nécessite d’avoir un volume énorme de trafic pour pouvoir tester toutes les variantes et obtenir la significativité statistique qui vous permettra de prendre des décisions informées. Si vous souhaitez en savoir plus sur les différences entre un test MVT et un test A/B/n, nous vous conseillons de lire cet article d’Hubspot.
Test Bandit ou test à allocation dynamique de trafic (multi-armed bandit testing)
Dans un test bandit, un algorithme redirige graduellement et automatiquement une proportion croissante de votre trafic vers la variation gagnante.
Si vous souhaitez en savoir plus sur le multi-armed bandit testing, le meilleur article sur le sujet est de loin celui d’Alex Birkett pour le blog ConversionXL.
A/B/n testing
Un test A/B/n permet de tester n hypothèses d’optimisation de votre page. Vous pourriez par exemple tester 6 variantes de votre page en faisant un test A/B/C/D/E/F.
Quelques articles pour vous aider à débuter dans l’A/B testing :
- Checklist : comment choisir sa plateforme d'A/B testing ?
- 4 Basic A/B Testing Tips for Beginners
- A Dozen Thoughts on A/B Testing for Beginners
- A Beginner’s Guide To A/B Testing: An Introduction
- How to Run A/B Tests That Give Your Business Big Wins
- The Beginner's Guide to Simple A/B Testing
- How to Accelerate Sales With A/B Testing
Quels sont les bénéfices de l'A/B testing ?
Pourquoi vous lancer dans l’A/B testing ? Ou une meilleure question serait : êtes-vous satisfait de la façon dont vous exploitez le trafic acquis à la sueur de votre front et de votre porte-monnaie ? Optimiser vos conversions est bien moins cher que d’acquérir du trafic, avec un ROI potentiel bien plus important. Et avec l’A/B testing les effets seront magnifiés. Mais l’A/B testing vous permet bien plus :
- Apprendre en profondeur sur vos visiteurs à chaque test : l’impact des différents éléments de vos pages sur leurs comportements, besoins et habitudes
- Supprimer le facteur risque et la subjectivité de vos prises de décisions en adoptant une culture du test et validant toutes vos hypothèses d’optimisation
- Concentrer vos efforts (et votre argent) sur ce qui fonctionne le mieux pour l’ensemble de votre audience grâce à ce que vous aurez appris avec vos tests
Voici quelques exemples de questions auxquelles vous pourrez apporter des réponses fiables grâce à l’A/B testing :
- Quels éléments de vos pages impactent vos ventes, conversions, ou le comportement de vos visiteurs ?
- Quel est le nombre optimal de champs pour vos formulaires ?
- Devriez-vous passer en production cette nouvelle fonctionnalité ?
- Quel titre d’article génère le plus de partages ?
- Quelle(s) partie(s) de votre tunnel de conversion sous-performe(nt) ?
Exemples de Success stories de leaders du digital :
Comment marche l'A/B testing ?
L’A/B testing vous permet de comparer la version existante de votre page à une (ou plusieurs) variante(s), faisant apparaitre l’optimisation que vous souhaitez tester (CTA, titre, élément...).
Votre audience est divisée en portions égales et exposée de manière aléatoire aux différentes variantes testées jusqu’à identifier la variante la plus performante pour les objectifs que vous vous êtes fixés (engagement, clic, mise au panier…), c’est-à-dire dont le taux de conversion est meilleur. Les performances sont ensuite analysées et comparées pour déterminer si oui ou non les changements que souhaitiez implémenter en valent la peine ou pas.
Vous souhaitez en savoir plus sur le fonctionnement de l’A/B testing ?
La discipline de l'optimisation de la conversion est indispensable à l'A/B testing
Il peut s’agir d’un achat (ou “conversion”) ou encore de la collecte de coordonnées, faisant avancer vos visiteurs dans leur cycle de vie client.
Avoir beaucoup de trafic est un atout indéniable, encore faut-il capitaliser dessus. C’est là que l’optimisation des taux de conversion prend tout son sens et sa valeur.
Quelques uns des meilleurs guides sur l’optimisation des taux de conversion :
- The Beginner’s Guide to Conversion Rate Optimization (Qualaroo)
- The Definitive Guide to Conversion Rate Optimization (Quicksprout)
- Conversion Rate Optimization Techniques (100+ Techniques and Free PDF) (Note: Lots of ideas to test in there)
- The Beginner’s Guide to Conversion Rate Optimization (ConversionXL)
- The A-Z Guide to Conversion Rate Optimization
- The Definitive How-To Guide For Conversion Rate Optimization
- What you have to know about conversion optimization
- The Conversion Optimization Rulebook
- Widerfunnel’s case studies
Comment faire de l'A/B testing : méthodologie et process
Mesurez et analysez les performances de votre site pour identifier les zones d’optimisation et les opportunités de croissance.
Formulez une ou plusieurs hypothèse(s) d’optimisation (sujet très bien couvert par Craig Sullivan).
Priorisez vos idées de tests A/B : une des méthodes les plus utilisées est le PIE framework, créé par Widerfunnel.
Grâce à ce framework, vous pourrez classer vos idées de tests selon 3 critères notés de 1 à 10 pour déterminer par où commencer :
- Potentiel ./10 : à combien évaluez-vous la marge d’amélioration sur cette (ces) page (s) ?
- Impact (./10) : quelle est la valeur du trafic (volume, qualité) sur cette (ces) page(s) ?
- Facilité de mise en place (./10) : quelle est la facilité de mise en place du test (10 = très facile, 1 = très difficile) ?
En faisant la moyenne des 3 notes, vous saurez par quels tests commencer. (Il existe bien sûr d’autres frameworks de priorisation, à vous de trouver celui que vous préférez)
A/B testez les hypothèses les plus prioritaires.
Analysez et apprenez des résultats de vos tests A/B
Communiquez vos résultats en interne.
Comme l’a expliqué Thomas Sauzedde, directeur général du routard.com, c’est un des facteurs clé du succès de vos efforts d’optimisation ! Il faut encourager les échanges et discussions pour générer de nouvelles idées de tests, sans oublier de toujours inclure l’équipe IT dans la boucle.
Recommencez !
Autres frameworks et processus d’A/B testing :
Quoi tester ? Des idées d'A/B tests à la pelle
Vous pouvez absolument tout A/B tester sur votre site :
Mais de temps en temps, il faut stimuler la créativité et trouver de nouvelles sources d’inspiration. Voici donc quelques idées de tests pour vous aider.
Avertissement : ce qui a marché pour d’autres ne marchera pas nécessairement pour vous ! N’appliquez pas tous les tests que vous lirez ici sans prendre le temps de bien en analyser la pertinence pour votre situation et le cas échéant la manière de les adapter à votre business.
Trouvez de l’inspiration pour vos prochains tests A/B :
Meilleures pratiques pour des A/B tests réussis
- 36 essential A/B testing best practices to boost your conversions
- 55 A/B Testing Best Practices Every Marketer Should Know
- 8 Rules of A/B Testing – The Art in Marketing Science
- 8 Best Practices for Starting Your A/B Testing
- What are some best practices with A/B testing?
- A/B Testing Best Practices Can Save You Time, Money and Effort – Here's How
- The Endless Suck of Best Practice and Optimisation Experts
Note: Notre newsletter Conversion Matters est une source d’inspiration pour tous les marketeurs souhaitant lancer les meilleures campagnes d’optimisation de l’expérience utilisateur. Inscrivez-vous ici
Les erreurs de l’A/B testing(attention, de faux résultats vous feront perdre de l’argent !)
- 12 A/B Split Testing Mistakes I See Businesses Make All The Time
- [INFOGRAPHIC] 19 Ways A/B Testing Is Ruining Your Site (And How To Fix It)
- Should You Run an A/A test?
- Why Your Brain Is Your Worst Enemy When A/B Testing
- Are You Misinterpreting Your A/B Tests Results?
- Warning! Is the world sabotaging your A/B Tests?
- Are You Stopping Your A/B Tests Too Early?
- 7 Mistakes Most Beginners Make When A/B Testing
- How to Minimize A/B Test Validity Threats
- Sample Pollution: The A/B Testing Problem You Don’t Know You Have
- 11 ways to stop FOOC’ing up your A/B tests
Comprendre les statistiques pour l'A/B testing
L’A/B testing est basé sur des méthodes de calculs statistiques. Vous n’avez pas besoin d’être data scientist pour réussir, mais quelques notions de mathématiques vous y aideront surement.
En A/B testing, Il existe 2 méthodes de calculs statistiques, qui répondent à deux besoins et enjeux différents. Voici comment nous abordons le sujet avec le moteur statistique de Kameleoon.
La méthode fréquentiste
Elle permet une lecture simple de la fiabilité des résultats grâce à un indicateur du taux de confiance : un taux de confiance de 95 % ou plus indique que vous avez 95 % de chance d'obtenir le même résultat si vous reproduisez l'expérience dans les mêmes conditions. La méthode a cependant une contrainte : elle est « à horizon fixe », c’est-à-dire que ce taux n’a de valeur pour juger de la fiabilité de des résultats qu’à la fin du test.
La méthode bayésienne
Elle indique une probabilité de résultats dès le lancement du test. Plus besoin d’attendre la fin d’un test pour voir se dessiner une tendance et interpréter les données. La méthode a cependant elle aussi ses exigences : savoir bien lire l’intervalle de confiance donnée aux estimations en cours de test. La confiance dans la probabilité qu’une variante soit donnée gagnante augmente à chaque conversion supplémentaire.
Autres ressources sur les statistiques pour l’A/B testing
-
Ignorant No More: Crash Course on A/B Testing Statistics
- A/B Testing Tech Note: determining sample size
- Speed vs. Certainty in A/B Testing
- How Not To Run An A/B Test
- Statistical Significance Does Not Equal Validity (or Why You Get Imaginary Lifts)
- What is the difference between Bayesian and frequentist statisticians?
A/B testing : compétences clés & gouvernance
Pour mettre toutes les chances de votre côté, vous aurez besoin de compétences précises, que ce soit pour vous ou votre équipe : Web analytics et UX en sont des exemples.
Les compétences à développer sont :
-
Five skills you need to make AB testing work
- 10 Things Every Marketer Should Know About A/B Testing
- Free A/B Testing course by Google
- Beginner's Guide To Web Data Analysis: Ten Steps To Love & Success
- The Absolute Beginner's Guide to Google Analytics
- The ultimate guide to user experience
- Beginner’s guide to UX
- 9 strategies for becoming the marketing optimization champion your company can’t live without
Outils complémentaires pour maximiser les chances de succès de vos A/B tests
Gestion de projets
Quels blogs sur l'A/B testing devriez-vous lire ?
En France, la référence sur le sujet est Conversion Matters. (Disclaimer, c’est notre blog ! Mais nous sommes très fiers d’avoir réuni la plus grande communauté de marketeurs sur le sujet de l’optimisation de l’expérience utilisateur.) Si vous aimez lire en anglais, vous trouverez ci-dessous une liste des meilleurs blogs sur l’A/B testing et l’optimisation de la conversion dont les contenus vous permettront d’apprendre, de trouver l’inspiration, et devenir un vrai pro de l’A/B testing.
Les experts de l'A/B testing à suivre
Le monde de l’optimisation de la conversion évolue très rapidement, et suivre les experts qui en définissent le futur peut vous être utile. Vous trouverez ci-dessous la liste complète des comptes twitter des experts qui nous inspirent le plus.
Lance Jones > @userhue
Jason Kincaid > @jasonkincaid
Noah Kagan > @noahkagan
Hiten Shah > @hnshah
Dave McClure > @davemcclure
Avinash Kaushik > @avinash
Daniel Gonzalez > @HiDanielG
David Kirkpatrick > @davidkonline
Shanelle Mullin > @shanelle_mullin
Steve Blank > @sgblank
Matt McGee > @mattmcgee
Rand Fishkin > @randfish
Bart Schutz > @BartS
Rick Perreault > @rickperreault
Sean Ellis > @SeanEllis
Campaign Monitor > @CampaignMonitor
Moz > @Moz
Bryan Eisenberg > @TheGrok
Shopify > @Shopify
Scott Brinker > @chiefmartec
Chris Goward > @chrisgoward
Brian Massey > @bmassey
Jeffrey Eisenberg > @JeffreyGroks
Sherice Jacob > @sherice
Carlos del Rio > @inflatemouse
Pam Moore > @PamMktgNut
Angie Schottmuller > @aschottmuller
Ryan Deiss > @ryandeiss
Ian Lurie > @portentint
ashukairy > @ayat
Khalid Saleh > @khalidh
Anne Holland > @AnneHolland55
Lincoln Murphy > @lincolnmurphy
Amy Africa > @amyafrica
Unbounce > @unbounce
Raven Tools > @RavenTools
Roger Dooley > @rogerdooley
Neil Patel > @neilpatel
Nichole Elizabeth > @NikkiElizDemere
Craig Sullivan > @OptimiseOrDie
Peep Laja > @peeplaja
Jon Henshaw > @RavenJon
Marketing Nutz > @MktgNutz
Dan Siroker > @dsiroker
Tommy Walker > @tommyismyname
John Teevan > @JohnP_Teevan
Joanna Wiebe > @copyhackers
Rich Page > @richpage
Tiffany Da Silva > @bellastone
Jason Quey > @jdquey
Ton Wesseling > @tonw
Adam Hutchinson > @adamiswriting
Michael Aagaard > @ContentVerve
Matt Gershoff > @mgershoff
Andy Johns > @ibringtraffic
Brian Balfour > @bbalfour
Oli Gardner > @oligardner
Tim Ash > @tim_ash
Paul Rouke > @paulrouke
Linda Bustos > @edgacentlinda
Theo van der Zee > @theovdzee
Get Elastic > @getelastic
Conversion Conference > @ConversionConf
MAA1 > @MAA1
Talia Wolf > @TaliaGw
Justin Rondeau > @Jtrondeau
Tyson Quick > @TysonQuick
KlientBoost > @KlientBoost
Andre Morys > @morys
Conversion.com > @conversion_com
Anna Talerico > @annatalerico
Kelly Cutler > @kfcutler
Brooks Bell > @brooksbell
Andrew Youderian > @youderian
Alhan Keser > @AlhanKeser
Conversion Sciences > @ConversionSci
Alex Birkett > @iamalexbirkett
Steven Jacobs > @StevenJacobs_
Kaitlyn Nelson > @kaitlynelson
Kevin Hillstrom > @minethatdata
Dan Wang > @danwwang
Malachi Leopold > @livethetreplife
Pete Koomen > @koomen
Aaron Orendorff > @iconiContent
Chief Conversionista > @Conversionista
Joel Harvey > @JoelJHarvey
Vous souhaitez passer par une agence pour faire de l'A/B testing ?
Si vous n’avez pas les ressources internes, passer par une agence est un bon moyen de déployer votre stratégie d’A/B testing. Nous ne travaillons qu’avec les meilleures, et vous pouvez faire confiance à la liste ci dessous.
Note: Les équipes Kameleoon peuvent également vous accompagner dans la mise en place et l’exécution de votre stratégie d’optimisation. Pour en savoir plus, cliquez ici
Pour aller plus loin : suivez notre parcours de formation à l'A/B testing
Approfondissez vos connaissances et apprenez à mettre en place des tests A/B performants, à décrypter et analyser leurs résultats et à bâtir une roadmap d'expérimentation au service de vos objectifs UX et business grâce à notre parcours de formation en ligne. A l'issue de la formation, validez-vos acquis en passant une certification.