Comment faire de l’A/B testing sur un site à faible trafic ?

Quand je parle d’A/B testing, on me répond souvent que “ce n’est que pour les gros sites”, que c’est “un projet trop lourd à porter”, ou simplement “que ce type de solution n’est pas utile pour un site à faible trafic”. Ce à quoi je m’empresse de répondre que … ça dépend.

En discutant avec les consultants qui accompagnent les projets de nos clients chez Kameleoon, on m’a même dit qu’un site qui tourne le dos à l’optimisation de l’expérience de ses utilisateurs, c’est comme un magasin physique qui néglige la propreté de ses locaux. Bref, ce n’est pas acceptable aux yeux du client. Nous réalisions fin 2016 une étude qui indiquait que 75% des sites avec plus d’un million de visiteurs font aujourd’hui de l’A/B testing. Je vous vois venir… Sauf que cette étude révèle aussi que 72% des entreprises qui font de l’A/B testing ont moins d’un million de visiteurs uniques chaque mois.  Je vous propose donc de revenir sur un problème récurrent : comment faire de l'A/B testing sur un site à faible trafic ?

Qu’est-ce que le testing exactement ?

Définition : L’A/B testing est une expérience que l’on mène sur un site internet ou une application mobile qui vient valider des hypothèses d’optimisation comparées à la version originale.

A/B testing : approche fréquentiste ou bayésienne ?

L’analyse statistique permet de calculer le succès d'une approche par rapport à une autre et de voir ce quel élément fonctionne le mieux pour votre audience.

• L’approche fréquentiste : la statistique fréquentiste repose sur la loi des observations. Elle est expérimentale (ou inductive). C’est la méthode historiquement utilisée par toutes les solutions d’A/B testing.
• L’approche bayésienne : la statistique bayésienne est déductive. Elle combine les données récoltées avec des connaissances a priori provenant soit d’études antérieures soit d’avis d’experts, dans le but d’obtenir une information a posteriori.

Prenons un exemple pour bien comprendre la différence entre les deux.

Si on lance une pièce 10 fois : Selon l’approche fréquentiste, si on obtient 6 fois pile, la probabilité d’obtenir pile (lors de cette expérience) est donc de 6/10 = 0.6. Évidemment, ce % convergera vers 0.5 si la pièce est lancée un nombre important de fois (voir exemple suivant). Avec l’approche bayésienne, on ne s’intéresse pas à cette probabilité mais à sa loi a priori qui indique qu’une pièce équilibrée donne une probabilité d’obtenir pile de 0,5. En somme, l’approche bayésienne requiert moins de trafic pour tirer des conclusions puisqu’elle exploite les évènements passés pour construire un résultat. Si cela permet de lancer plus facilement des tests sur des sites au volume de trafic faible, la méthode bayésienne présente certaines limites en terme d’A/B testing. Dans cet article, nous verrons comment il est possible de faire de l'A/B testing sur un site à faible trafic avec la méthode fréquentiste, qui offre des résultats plus précis.

Peut-on faire de l'A/B testing sur un site à faible trafic ?

Il est plus compliqué de mener un test sur un site à faible trafic avec la méthode fréquentiste, mais cela n'est pas impossible.

Peut-on obtenir des résultats statistiques significatifs sur un site à faible trafic ?

Sur un site à faible trafic, les résultats d'un test A/B peuvent ne pas être représentatifs statistiquement car l'échantillon testé n'est pas suffisamment conséquent. Prenons un exemple. Je lance une pièce de monnaie dont la probabilité d'obtenir pile est de 50 %. Je la lance 10 fois.

J'obtient une probabilité d'obtenir pile de 0,7. Je réitère l’expérience plusieurs fois.

Alors que la probabilité statistique est de 50/50, j’obtiens des résultats beaucoup plus dispersés. Si l’on considère chaque série de lancers comme un test, on comprend vite qu’un échantillon trop faible peut donner des résultats qui ne collent pas du tout à la réalité et vous pousser à prendre de mauvaises décisions. À l’inverse, si on lance cette pièce plus de 10 000 fois, on obtient un résultat bien plus proche de la vérité statistique, comme le veut la méthode statistique fréquentiste. Un petit échantillon peut parfois vous donner une idée du résultat final, mais n’en tirez pas de conclusions étant donné qu’elles n’auront aucune valeur statistique avec une approche fréquentiste.

Combien de temps doit durer un test A/B sur un site à faible trafic ?

Avec un faible trafic, il vous faudra donc beaucoup plus de temps pour obtenir des résultats significatifs.

“Si vous lancez un test sur une page avec un faible volume de trafic, vous risquez de devoir attendre très longtemps avant de pouvoir mettre fin à votre test. Or, un test trop long peut être influencé par beaucoup d’évènements (jours fériés, vacances, évènements politique, attentats, etc…) qui vont potentiellement altérer le comportement “normal” de vos visiteurs. Le résultat de votre test sera peut-être biaisé, vous poussant à potentiellement prendre de mauvaises décisions.” Simon Chatelain, Consultant Kameleoon. 

Plus vous souhaitez tester un élément spécifique, plus votre trafic doit-être important. De même, si vous voulez tester une page au faible taux de conversion, vous avez besoin d’un trafic plus important. Cela peut varier d’un minimum de 1000 visiteurs uniques (valable sur des tests aux taux de conversion élevés de type menu, landing pages, CTA, etc.) à quelques centaines de milliers (notamment dans le cas de tests dans votre tunnel de conversion). Jean-Noël Rivasseau, CTO de Kameleoon, vous en parle plus en détail dans son article : A/B testing : Votre trafic est-il suffisant ?

Combien de conversions sont nécéssaire pour prendre un décision ?

Vous l’avez compris, l’A/B testing requiert un minimum de trafic. Si quelques milliers de visiteurs uniques par variante peuvent suffire, il faut aussi que vous ayez un minimum de conversions à analyser sur chaque variante. Par exemple, vous lancez un test A/B sur le CTA principal de votre page d’accueil. Si chaque variante reçoit 10 000 visiteurs, c’est très bien, mais si vous avez peu de clics sur votre CTA, soit, peu de conversion, il sera difficile de prendre une décision. En temps normal, nos consultants recommandent de ne pas mettre fin à un test si vous avez moins de 1 000 conversions. Dans le cas d’un site à faible trafic, comptez au moins 300 conversions.

Comment faire de l’A/B testing avec un trafic faible ?

Avec un trafic faible, vous devez concentrer vos expériences sur les éléments et les pages qui accueillent le plus de visiteurs. Ainsi, vous vous assurez d'obtenir un trafic suffisant pour tirer des résultats significatifs de votre test A/B.

De manière assez claire, les sites à faible trafic sont tout à fait aptes à l’A/B testing à condition de concentrer leurs tests sur des landing pages ou des modifications pour lesquelles les gains de conversion sont potentiellement substantiels (de type taux de clics sur des bannières, inscription à une newsletter, formulaire à remplir pour les sites B2B à l’audience qualifiée). Des tests sur le tunnel de conversion ne sont pas exclus mais à condition que le potentiel d’amélioration soit significatif (ce qui est souvent le cas de sites récemment créés). -Jean-Noël Rivasseau, CTO Kameleoon

Je vous livre ici 2 exemples de tests que vous pouvez mener avec un faible trafic, sur votre menu et sur vos fiches produits.

1. Testez votre menu

Le menu est l’un des éléments clés d’accessibilité et de navigation pour les visiteurs. Il est donc essentiel d’y consacrer une attention toute particulière. Revenons sur le cas de Schmidt qui génère 160 % de leads en plus grâce à la rénovation de son menu. L'objectif de la marque était de diminuer le taux de rebond de la page d’accueil, d’augmenter les taux de clics sur les CTAs principaux et d’accroitre les prises de rendez-vous. À l'origine, le menu du site était surchargé, les informations étaient mélangées et aucun objectif précis n'était défini. Deux variantes ont été mises en place : la variante 1 qui reprend les éléments du menu de référence avec quelques optimisations et la variante 2 qui est une refonte complète. Avec ce test A/B, la marque observe une augmentation de 130 % dur les clics du CTA « Catalogue », de 40 % sur le CTA « Magasin » et de 317 % sur le CTA « Espace projet ».

2. Testez vos fiches produit

Je conseille souvent à mes clients qui ne profitent pas d’un volume de trafic très important de travailler sur des templates de page plutôt que sur des pages en particulier. En configurant bien son test, cela permet de mener des tests sur l’ensemble des pages produits, ou catégories, etc.  -Géraud Bornet, Consultant Kameleoon.

Prenons l'exemple de Mobibam, startup qui vous permet de concevoir votre propre meuble sur-mesure. Le site compte en moyenne 15 000 visiteurs uniques par mois. Les visiteurs doivent se rendre sur le configurateur du site pour choisir les matériaux, les finitions, les dimensions et les différents éléments du meuble qu’ils ont imaginé pour lui donner vie. Pour s’assurer de l’efficacité de son configurateur et proposer une expérience positive à ses visiteurs, Mobibam a eu recours à l’A/B testing. En optimisant et en simplifiant l’interface de leur configurateur de meuble, les équipes de Mobibam ont augmenté leurs conversions de 325% !

Avec un test se concentrant sur l’une des pages les plus visitées du site, il était simple pour les équipes de Mobibam de réaliser un test A/B pour prendre une décision à partir de ce que préfèrent les acheteurs potentiels de meubles sur-mesure.  -Mia Warde, consultante Kameleoon.

Pour résumer 

Si l’A/B testing est l’une des pratiques d’optimisation UX préférées des marketeurs, c’est parce qu’elle est simple et efficace. Rapide à mettre en place, elle permet d’obtenir très vite des résultats fiables basés sur ce que veulent vos visiteurs (au lieu de vos propres intuitions, nécessairement biaisées). Si tout le monde peut faire de l’A/B testing, il existe pourtant une limite : le trafic. Avec un volume de trafic trop faible et malgré les performance de votre solution d’A/B testing, vous ne pourrez pas identifier de variante gagnante de façon significative. Comme je le montre dans cet article, des astuces existent pour mener des tests significatifs avec un trafic faible. Ceci étant, vous ne pouvez pas songer à lancer un test A/B avec des centaines de visites uniques chaque mois.   Si vous voulez approfondir votre connaissance de l’A/B testing et mieux en comprendre les enjeux, inscrivez-vous à  notre academy (en anglais). Ce cours vous apprendra les rouages du testing et vous pourrez obtenir un diplôme à l’issue d’un test de 20 questions.