A/B testing : Déjouez les biais cognitifs !
L’être humain n’est pas fait pour raisonner de façon statistique. Nous sommes imparfaits, irrationnels et subjectifs. Pourquoi ?
Parce que nous sommes influencés par de nombreux biais cognitifs. Vous pouvez très bien vivre sans vous en soucier, mais lorsque vous réalisez un test A/B ils peuvent devenir handicapants. L’A/B testing est une expérience scientifique qui requiert de l’objectivité et des données actionnables, mesurables et pertinentes, pas de place donc pour l’approximation !
1 L'A/B testing, une arme redoutable contre les biais cognitifs
Les biais cognitifs, l'ennemi juré du marketeur
Les biais cognitifs sont les opinions, les croyances ou encore les préférences qui influent votre capacité à raisonner, à vous remémorer ou à évaluer les informations. Que vous le vouliez ou non, vos choix lorsque vous optimisez une page web peuvent être biaisés par certains biais cognitifs.
Or, cette influence que vous exercez involontairement sur vos choix peuvent avoir un impact sur l'expérience de vos visiteurs. Par exemple :
- Vos choix en termes d'UX peuvent avoir un impact considérable sur votre taux de rebond
- Vos contenus peuvent ne pas convenir aux réelles interrogations de vos visiteurs
- Vos call-to-actions ou toutes autres incitations à la conversion peuvent être mal placés ou incompréhensibles.
Dans tous les cas, les hypothèses que vous avez émises sont basées sur vos convictions, mais ne correspondent pas forcément aux attentes de vos visiteurs. Cela peut avoir un une conséquence très néfaste sur la conversion générale sur votre site.
L'A/B testing, la solution pour éviter les biais cognitifs
Pour optimiser votre site, vous devez vous appuyer sur des données actionnables, mesurables et pertinentes. C'est pourquoi l'A/B testing est la meilleure solution pour prendre des décisions en écartant les biais cognitifs.
En effet, avec l'A/B testing, vous soumettez différentes variantes de votre site aux visiteurs et pouvez constater grâce à l'analyse des résultats quelle est la version qui correspond vraiment à vos visiteurs. Par exemple, un CTA que vous trouviez plus visible rouge sera peut-être préféré en vert pour les visiteurs. Il faut donc accepter ces résultats qui sont fiables et reflètent les envies de visiteurs et ne pas vous baser sur votre opinion qui peut être biaisée.
Néanmoins, même dans la mise en place d'A/B tests, de nouveaux biais cognitifs peuvent s'insinuer dans votre méthode.
2 Les 9 biais cognitifs qui peuvent altérer votre processus d'A/B testing
En matière d’A/B testing il est primordial de suivre une méthodologie rigoureuse et de laisser de côté les biais cognitifs qui peuvent vous amener à tirer de mauvaises conclusions.
Biais cognitif 1 : Trouver des liens (inexistants) entre des évènements
Avec le biais de corrélation illusoire (ou trompeuse) vous risquez de créer une relation entre deux événements indépendants.
Vous pourriez par exemple supposer que c’est la nouvelle couleur rose de votre CTA qui a fait décoller les conversions de votre variante alors qu’en réalité les gens se ruent momentanément sur vos produits à cause d’un autre facteur comme des conditions météorologiques particulières.
Notre cerveau tire parfois des conclusions trop hâtives, vous devez donc analyser vos résultats scrupuleusement afin de ne pas faire de mauvaises interprétations.
Biais cognitif 2 : Ne pas comprendre la taille d’échantillon
Dans un article précédent, nous avons souligné l’importance d’établir la taille de l’échantillon nécessaire avant d'arrêter un test A/B. Avec les biais cognitifs, notre cerveau peine à appréhender correctement la taille de l’échantillon et sous-estime les variations sous jacentes aux petits échantillons.
Prenons un exemple de l’ouvrage de Daniel Kahneman, Thinking, Fast and Slow : Une ville possède 2 hôpitaux. 45 enfants naissent chaque jour dans le plus grand, et 15 dans le plus petit. Imaginons qu’il y a exactement 50% de chance d’avoir un garçon. Le pourcentage exact varie chaque jour et on compte parfois plus de garçons que de filles, parfois moins.
Pendant un an, chaque hôpital a noté les jours où l’on a observé que plus de 60% des nouveaux nés étaient des garçons. Quel hôpital selon vous en a noté le plus ?
- 1. Le grand hôpital
- 2. Le petit hôpital
- 3. À peu près la même chose (à 5% près).
Lors de cette étude, 56% des interrogés ont choisi la réponse 3, 22% la réponse 1 et 22% la réponse 2. La bonne réponse est pourtant le petit hôpital. En effet, l’échantillon étant plus réduit, les variations sont automatiquement plus importantes.
Il est capital de comprendre cette notion de taille d’échantillon (mais notre cerveau l’oublie souvent lorsqu’il s’agit de résoudre des problèmes comme celui-ci de manière spontanée). Un petit échantillon peut vous donner des idées de tests, mais n’en tirez pas de conclusions étant donnée qu’elles n’auront aucune valeur statistique. Vous connaissez maintenant les risques, plus l’échantillon est petit, moins il est fiable.
Biais cognitif 3 : interpréter la moindre information pour valider une idée préconçue
Il est également important de connaître le biais de confirmation qui se produit lorsque l’on se concentre sur une information en particulier simplement pour valider une idée préconçue.
On peut y ajouter le biais de congruence. C’est le fait de ne tester ou de ne remettre en question que ce que VOUS pensez être le problème, sans même considérer d’alternative : en résulte un test subjectif. Par exemple, si vous pensez que la couleur rouge augmente les conversions, votre cerveau ne va se concentrer que sur les informations qui semblent confirmer cette idée.
Quand vous pensez avoir raison et que les données semblent confirmer votre idée, demandez-vous si cela prouve objectivement votre hypothèse ou s’il n’y a pas d’autres facteurs qui ont pu influencer cette hausse de conversion. Vous ne devez pas tester pour prouver que vous avez raison mais pour apprendre et remettre en question toutes les hypothèses.
Biais cognitif 4 : repérer des similitudes imaginaires dans vos données
L’illusion des séries est le fait de percevoir des coïncidence dans des données tirées au hasard ou de penser que des évènements aléatoires suivent une logique particulière. Ce n’est pas parce que vous remarquez des similarités entre des évènements qu’ils sont forcément liés.
Par exemple, si vous obtenez 39 fois pile après 39 lancés, quelle est la probabilité que vous obteniez à nouveau un pile au 40e lancer ?
50 % puisqu’il s’agit simplement d’un nouveau lancer indépendant des autres et dont la probabilité est de 50% comme pour tous les autres lancer. C’est aussi ce que l’on appelle le sophisme du parieur. Il consiste à croire que si l’on a obtenu un résultat similaire plusieurs fois lors d’une expérience aléatoire, il se reproduira encore.
Rangez votre intuition et méfiez-vous de votre cerveau qui est câblé pour essayer de trouver un lien entre toutes les informations qu’il traite. Ainsi, n’arrêtez pas un test parce « vous pensez » avoir remarqué une tendance car vous pourriez avoir sur-interpréter vos résultats.
Biais cognitif 5 : Penser que ce qui se trouve devant vous suffit pour tirer des conclusions
Prenons à nouveau un exemple : Une batte et une balle coûtent ensemble 1,10€. La batte coûte 1€ de plus que la balle. Combien coûte la balle ?
La réponse n’est pas 0,10€. En effet, si la batte coûte 1€ de plus, alors la balle coûte 0,5 centimes et la batte 1,05 € (soit 1,05 + 0,5 = 1,10 €).
Votre cerveau est fait pour tirer des conclusions avec les informations qu’il possède. Sauf que de temps en temps (voire plus) il va un peu trop vite en besogne. Ce n’est pas parce que vous semblez avoir toutes les pièces d’un puzzle sous les yeux que vous êtes près à les assembler pour le terminer.
Biais cognitif 6 : baser tout son raisonnement sur la première information reçue
Le biais d'ancrage est le fait que l’on accorde souvent plus d’importance à la première information qui nous est livrée.
Voici l’exemple d’une étude menée par Fritz Strack et Thomas Mussweiler : On a demandé à deux groupes de personnes quel âge avait Gandhi lorsqu’il est mort.
- On a demandé au premier groupe s’il était mort avant ou après avoir atteint l’âge de 9 ans.
- On a demandé au second groupe s’il était mort avant ou après l’âge de 140 ans.
Les deux réponses étaient assez évidentes. Ce qui est intéressant en revanche sont les réponses données dans les deux groupes lorsqu’on leur a demandé de donner une estimation de l’âge qu’avait Gandhi lorsqu’il est mort. Dans le premier groupe, la moyenne était de 50 ans. Dans le second, elle était de 67.
Pourquoi une telle différence ? Parce qu’ils étaient influencés par la première question qui leur a respectivement été posée. Notre cerveau est « fait » pour chercher des liens entre les informations à sa disposition (devant vos yeux), et en tirer des conclusions. Nous n’avons pas non plus le réflexe de prendre du recul et de considérer la situation de son entièreté.
Faites très attentions aux résultats que donnent vos tests. Quand ils confirment ce que vous pensiez, ne passez pas à la suite. Arrêtez-vous, prenez du recul et vérifiez votre test—ou que vous n’êtes pas juste en train de confirmer vos opinions par un test biaisé. Faites un second test si besoin.
Biais cognitif 7 : abandonner la logique dès que vos émotions entrent en jeu
C’est probablement le plus difficile. Vous vous donnez à fond pour travailler sur un design, y passez des heures et êtes même extra fier(e) de votre travail. Vous lancez un A/B test pour comparer les performances par rapport à l’ancien design… Et c’est un échec cuisant…
C’est douloureux, mais si vous faites des tests A/B, c’est pour ne pas perdre d’argent sur des décisions basées sur l’émotion ou l’intuition. Il faut aller dans le sens de ce que veulent vos visiteurs. Oubliez votre orgueil, repartez de l’hypothèse qui vous a mené à ce nouveau design et essayez de comprendre ce qui n’a pas fonctionné à l’aide des données obtenues.
Biais cognitif 8 : Ne pas se remettre en question
La fixation fonctionnelle correspond au fait d’être coincé dans un raisonnement linéaire. Quand vous voyez un fer à repasser, vous l’associez automatiquement aux vêtements (pensée linéaire). Vous ne vous voyez pas l’utiliser comme un grille pain. C’est ce qu’on appelle la pensée latérale (out of the box).
Vous pouvez vous soumettre à l’expérience et demander « pourquoi » à répétition dès que quelque chose vous semble évident ou surprenant. Vous finirez par remonter jusqu’à la source en validant (ou invalidant) votre hypothèse. D’autres idées pour déclencher votre pensée latérale :
- Un problème ? Essayez de résoudre son opposé.
- Pensez à la solution la plus bête et évidente
- Découpez votre problème en une série de problèmes plus petits et précis
- Ne soyez pas satisfait avec une seule solution.
- Changez votre perspective : comment aborderiez-vous ce problème si vous étiez un ingénieur, un scientifique, voire un(e) parfait(e) débutant(e) ?
Biais cognitif 9 : Surestimer l’unanimité de votre opinion
« Personne n’aime les pop-in ». VOUS les détestez peut-être. Elles viennent généralement perturber le client, mais permettent également d’accroître les conversions lorsqu’elles sont bien utilisées.
C’est le biais de l’effet du faux consensus : il peut arriver que l’on croie fermement en quelque chose et penser que tout le monde partage notre opinion, à tort. Quand vous pensez que quelque chose performe aussi bien qu’il est possible, ou que ça ne peut pas marcher parce que « tout le monde » le déteste, arrêtez-vous tout de suite. Et remettez-vous en question.
Testez les éléments qui auront le plus d’impact, mais testez aussi ce qui semble déjà bien fonctionner. Il y a toujours un moyen de faire mieux.
Pour réaliser un A/B test concluant, il est indispensable de se concentrer sur les chiffres et d'analyser les résultats de manière objective et de déjouer tous les biais cognitifs. Comme vous avez pu le voir, il peut être difficile d'être objectif dans toutes les situations alors n'hésitez pas à tester et re-tester !
