3 pièges d'A/B testing et comment les éviter

La pratique de l’A/B testing apporte beaucoup à des millions d’entreprises. La montée en compétence des équipes marketing peut s’effectuer rapidement, permet de multiplier les tests et d’optimiser l’expérience utilisateur continuellement. Ceci dit, il y a des règles à suivre et les pièges d’A/B testing sont bien réels (et sont capables d’altérer vos résultats). Nous vous en présentons 3 aujourd’hui.

Le piège de la connaissance

C’est le « curse of knowledge ». Cette expression signifie que lorsque l’on sait quelque chose, il est difficile d’imaginer l’oublier.

Or, se mettre dans la peau d’un visiteur demande un regard neuf. Pourtant, la connaissance intime d’un site web empêche de repérer des détails qui influent le comportement des visiteurs.

Pour contourner ce piège, nous recommandons d’adopter la pratique du « Mommy’s test ». C’est à dire de solliciter une personne étrangère à votre site (et idéalement sans connaissances informatique avancées).

Donnez-lui un objectif clair à réaliser sur votre site et notez ses réactions. Ses hésitations ou incompréhensions mettront peut-être en évidence des «grains de sable » que plus personne ne remarque en interne.

Cela fournira en tout cas autant d’enseignements qui serviront à définir de nouvelles hypothèses de test.

Le saviez-vous ? La carte de chaleur de Kameleoon permet d’étudier le comportement de vos visiteurs et de combattre ce piège.

Ne regarder qu’un seul KPI

Avant de lancer un test, il faut définir vos KPIs. Quels éléments comptez vous mesurer et/ou améliorer ?

Une variante qui génère une augmentation des ventes mais qui décuple les coûts logistiques n’est pas forcément une bonne affaire ; l’augmentation significative de votre revenu publicitaire par un emplacement plus approprié de vos bannières a une probabilité non négligeable de dégrader vos ventes ; l’optimisation dans le but d’acquérir de nouveaux visiteurs peut se faire au détriment des anciens, etc.

Dans les faits, il est très rare d’améliorer l’ensemble de ses KPIs par une seule expérience.

Bien souvent (et presque systématiquement dès lors que le site est déjà à un bon niveau de conversion), un test donné améliorera un ensemble de KPIs et dégradera un autre ensemble.

Par conséquent, la difficulté de l’exercice réside dans le fait d’arbitrer les différentes options en fonction des objectifs de l’entreprise et de sa stratégie.

On notera là encore que le principal atout du web testing est de fournir des chiffres indiscutables qui serviront de support à une décision éclairée.

Ne pas multiplier les tests

Une des idées reçues sur l’AB testing est que la réalisation en simultané de plusieurs tests serait proscrite, car elle ne permet pas de déterminer si une augmentation de la conversion est attribuable à l’un ou l’autre des tests.

C’est ne pas comprendre le fonctionnement fondamental de l’A/B testing, qui repose sur une vérité statistique objective et non individuelle.

Interrogez-vous simplement sur la possibilité d’une corrélation entre deux variantes :

Si l’une a un parti-pris très marqué (par exemple un bandeau annonçant la gratuité des frais de port) ou si les deux variantes sont fortement liées (par exemple des modifications de blocs proches sur la même page ou des changements de wording et de couleur simultanés du même bouton), une corrélation peut exister : il faut mener ces tests consécutivement et non en simultané.

En revanche, dès que deux variantes portent sur différents endroits du site et ne concernent pas des changements structurants de votre offre, n’ayez aucune crainte à les lancer en simultané : un visiteur en fin de tunnel de conversion n’est plus du tout influencé par la couleur du CTA correspondant à votre test sur la page d’accueil…

Ainsi, nous vous recommandons de garder la possibilité de mener plusieurs tests en parallèle, notamment sur les sites à faible trafic pour lesquels se limiter à un seul test réduit de fait la possibilité d’en mener un grand nombre dans le temps, étant donnée leur durée moyenne.

Les acteurs les plus matures du web testing (Google, Amazon, Facebook...) réalisent tous de manière continue des dizaines de tests en parallèle.

En espérant que ces conseils vous apporteront conversion et optimisation.