Ce qu’il faut savoir sur l’A/B testing avant de se lancer

2 septembre 2019

Lauréline Saux

Lauréline est Content Manager, en charge du contenu chez Kameleoon. Elle analyse tous les retours de nos clients et consultants ainsi que les derniers rapports sur les tendances du marketing digital afin de vous livrer les meilleurs conseils en matière d'A/B testing et de personnalisation.

Les équipes marketing qui ont adopté une culture de l'expérimentation le savent parfaitement : pour offrir à leurs visiteurs une expérience de qualité en ligne, les décisions UX doivent être basées sur de la donnée fiable, et non sur une intuition subjective. Grâce à l’A/B testing, vous gagnez en agilité puisque vous pouvez identifier ce qui fonctionne vraiment, et prendre les meilleures décisions pour votre business.

Mais l’A/B testing est une pratique qui nécessite un process précis et une certaine période d’apprentissage. Quelles sont les conditions à réunir pour mener un test A/B fiable ? Et quelles sont les différentes déclinaisons possibles d’un test A/B ? Dans cet article, nous revenons sur les notions essentielles et les grands principes à connaître pour initier des expérimentations pertinentes et réussir votre stratégie d’A/B testing.

1 Qu’est ce que l’A/B testing ?

L’A/B testing est une expérience en ligne menée sur un site web, une application mobile, pour tester les améliorations potentielles d'un élément par rapport à une version originale. La pratique vous permet de voir quelle version fonctionne le mieux pour votre public, sur la base d'une analyse statistique. Par ailleurs, l’A/B testing est également très usité en SEA ou dans l’emailing.

Les grands bénéfices de l’A/B testing

L’A/B testing est l'un des outils les plus puissants à la disposition des équipes marketing. Il vous permet d’optimiser l'expérience globale proposée sur votre site afin d'entretenir la relation avec vos visiteurs et de les encourager à convertir. Les bénéfices de la pratique sont nombreux :

Une meilleure compréhension du comportement de vos visiteurs grâce à l’analyse de l’impact des différents éléments de vos pages
Supprimer la subjectivité et fonder vos décisions sur de la donnée fiable en validant rigoureusement toutes vos hypothèses d’optimisation
Focaliser vos investissements sur ce qui fonctionne le mieux pour l’ensemble de votre audience grâce aux conclusions de vos A/B tests

Comment fonctionne l’A/B testing ?

Prenons un exemple : vous vous demandez si le fait d’afficher le nombre d'articles encore disponibles sur votre page produit peut influencer les visiteurs.

Pour identifier la meilleure version de vos fiches produit, vous pouvez effectuer un test A/B dans lequel vous créez deux versions de votre page. Tout le trafic arrivant sur cette page sera réparti de manière aléatoire en deux portions égales entre les deux versions, sans que les visiteurs ne remarquent quoi que ce soit.

Une fois que le test atteint un niveau de fiabilité suffisant, vous pouvez analyser ses performances et identifier la version qui donne le meilleur résultat. Vous pouvez enfin rendre le changement permanent en redirigeant tout votre trafic vers la variation gagnante et … passer au test suivant !

résultats AB-testing

Identifier les zones d’optimisation de votre site

Que pouvez-vous tester avec un A/B test ? La réponse est simple : pratiquement tout ! N’importe quel élément de votre site est susceptible d’être testé : un page entière, formulaire, une image, du texte, un call-to-action (CTA), un lien, une bannière, …

A l’instar des experts UX, vous pouvez approfondir toutes les pistes d’optimisation susceptibles d’améliorer l’expérience utilisateur :

emplacement, taille et design des CTA
nombre et taille idéale des étapes dans un tunnel de conversion
format et taille des messages de réassurance, ...

2 Quels sont les prérequis pour mettre en place une stratégie d’A/B testing ?

L’A/B testing doit reposer sur une méthodologie rigoureuse pour prioriser vos idées et obtenir des résultats significatifs.

Bâtir une roadmap d’expérimentation

Il est indispensable de planifier vos tests pour cadrer votre stratégie d'optimisation. Le fait de prioriser vos actions vous permettra d’en tirer le meilleur parti pour votre site et votre organisation. Pour bâtir une roadmap d'A/B tests qui réponde à vos objectifs business, vous devez :

Définir l’objectif de vos tests : augmenter les conversions, l'engagement ou la fidélité, le cadrage de vos objectifs des test est fondamental pour pouvoir mesurer vos performances.
Définir les KPIs de vos tests : la durée moyenne d’une visite, le taux de clic, le nombre de pages consultées… Les KPIs doivent être soigneusement choisis en fonction des objectifs de votre test.
Prioriser les tests de votre roadmap : pour affecter un niveau de priorité à chacun de vos tests A/B, vous pouvez examiner différents critères : leur potentiel, leur importance et leur facilité d’implémentation.
Communiquer les résultats : que ce soit avant ou après le test, communiquer avec l’ensemble de votre équipe est essentiel pour créer une dynamique de progression en continu.

Allouer un niveau de trafic significatif

L’un des facteurs clé d’une expérimentation fiable, c’est la quantité de données disponibles. Il n'y a pas vraiment de chiffres exacts, mais en règle générale, il faut garder cet ordre d’idée à l'esprit :

En dessous de 10 000 visiteurs par mois, les tests A/B doivent être réalisés sur des éléments très précis (CTA, formulaire) et sur les landing pages les plus fréquentées. Par ailleurs, le test devra être mené sur une longue période de temps pour obtenir des résultats significatifs.
Entre 10 000 et 200 000 visiteurs par mois, vous pouvez réaliser plus de tests, mais il faut souvent du temps pour obtenir des résultats.
De 200 000 à 1 million de visiteurs par mois, votre trafic est suffisamment élevé pour vous permettre de faire un test A/B. Vous pourriez encore avoir quelques difficultés avec certaines pages moins fréquentées, comme la fin du tunnel de conversion par exemple.
Au-delà d'un million de visiteurs mensuels, le trafic est rarement un problème.

3 Quelles sont les déclinaisons possibles d’un A/B test ?

Selon vos objectifs et vos usages, l’A/B test classique peut se décliner sous différentes formes. Voici une introduction aux diverses méthodes utilisées par les marketeurs :

Le test multi-varié (MVT)

Dans certains cas, il peut être utile de tester plusieurs changements sur un élément de votre page. Par exemple le wording et la couleur d'un CTA ou l'image et le wording d'une bannière. Un test multi-varié vous permet de tester toutes ces optimisations dans le cadre d’une seule et même expérience.

MVT

Quand utiliser un test multi-varié (MVT) ?

Lorsque de multiples variations sont possibles pour un élément de votre site, le test multi-varié vous permet d'identifier directement la combinaison qui obtient le plus de succès auprès de vos visiteurs.
Les tests MVT nécessitent néanmoins un volume de trafic très important pour obtenir une véritable significativité statistique. En effet, vous aurez autant de variations qu'il y a de combinaisons testées sur votre page. Pour en savoir plus, consultez notre article sur les tests multi-variés.

A/B/n testing

Un test A/B/n vous permet de tester n hypothèses d’optimisation d’une page de votre site. Vous pourriez par exemple tester 6 variantes de votre page en faisant un test A/B/C/D/E/F.

ABn testing

Quand utiliser un test A/B/n ?

Le test A/B/n est utile pour tester plusieurs versions d'une page qui présentent des modifications importantes (une mise en page globale, un design, ...).
Pourquoi ne pas utiliser un test MVT dans ce cas de figure ? Le test multi-varié crée des variations avec toutes les combinaisons d'un éléments que vous souhaitez modifier sur la page. Si vous voulez changer radicalement une mise en page ou si vous apportez des modifications profondes à un design, il est utile de réaliser un test A/B/n.

Test à allocation dynamique de trafic (ou algorithmes du Bandit Manchot)

Avec l'allocation dynamique de trafic, un algorithme redirige progressivement et automatiquement vos visiteurs vers la variation gagnante du test.

Dans un test classique, le trafic est réparti équitablement entre chaque variante jusqu’à la fin du test. Ainsi, si deux types de CTA sont testés, 50 % des visiteurs seront exposés à la variante A, et le restant à la variante B. Avec l’allocation dynamique de trafic, la répartition peut évoluer en fonction des performances de l’élément testé. Si la variante B montre un fort taux de conversion, alors la répartition du trafic sera ajustée automatiquement. Pour en savoir plus, vous pouvez lire notre article sur l'allocation dynamique du trafic.

Allocation dynamique du trafic en A/B testing

Quand utiliser l'allocation dynamique de trafic ?

L’allocation dynamique de trafic est pertinente dans deux cas de figure :

Pour des tests sur un temps limité : vous allouez en effet plus rapidement une part croissante de votre trafic à la variante gagnante et maximisez votre potentiel de conversion.
Pour des tests dont vous ne suivez pas les résultats de près : l'algorithme vous permet de paramétrer le test au départ, puis de le laisser fonctionner. L’apprentissage sera plus long, mais le trafic sera réparti vers la meilleure variante en continu.

Toutefois, pour utiliser l'allocation dynamique de trafic il faut bénéficier d’un flux important de visiteurs pour obtenir des résultats significatifs. Elle doit donc être utilisée à des moments stratégiques et les marketers doivent le prendre en compte lorsqu'ils analysent leurs résultats.

Vous le savez à présent, un projet d’A/B testing ne s’improvise pas : pour obtenir des résultats fiables, vous devez prioriser vos tests, leur allouer un trafic significatif et choisir un méthode adaptée à vos objectifs. Dans ces conditions, vous pourrez prendre des décisions informées, et optimiser la conversion et l'engagement de votre audience.

Pour aller plus loin, consultez notre article dédié à l’analyse et l'interprétation des résultats de vos tests A/B.