A/B testing : Quel trafic pour un résultat fiable ?

Pour obtenir des résultats fiables, il est essentiel d’allouer le bon niveau de trafic à vos tests A/B. Le trafic minimum requis pour une expérimentation significative peut varier, selon les objectifs de conversion et les seuils de confiance que vous avez déterminé. Comment calculer le niveau de trafic nécessaire pour obtenir un test A/B significatif ?

1 Quatre paramètres à prendre en considération

Le taux de conversion de votre référence (P1)

C’est la valeur actuelle de conversion pour l’objectif principal de votre test (exemple : 3% de taux de clic sur un bouton sur lequel vous réalisez votre test).

L'effet minimum espéré sur le taux de conversion par la variante (P2)

Si vous choisissez 10%, vous cherchez à détecter une variation de conversion de plus de 10%(qu'il s'agisse d'un gain, ou d'une baisse). Plus vous cherchez à détecter une différence faible, plus grand devra être le nombre de visites. A l’inverse, plus vous cherchez à détecter une différence forte, plus votre test sera rapide et moins le nombre de visites nécessaire sera important pour obtenir un résultat fiable.

Cet axiome peut paraître contre-intuitif à première lecture mais il est simple à comprendre. Si vous visez un gain élevé, disons au-delà de 20%, le moteur statistique n’a pas besoin de beaucoup de visites et de temps pour savoir si, oui ou non, votre variante est telle qu’elle sur-performe grandement votre page de référence. Vous aurez l’assurance très rapidement qu’elle bat à plus de 20% (ou ne bat pas à plus de 20%) votre page de référence.

Ce type de gain peut être typiquement obtenu sur des CTAs n'impliquant pas d'achat, comme l'inscription à une newsletter, ou sur des landing pages.

A l’inverse, si le gain espéré est susceptible d’être beaucoup plus limité (typiquement à la fin du tunnel de conversion pour le nombre d’achats), le nombre de visites nécessaire pour garantir un résultat fiable sera potentiellement très élevé.

Le seuil de confiance pour lequel un effet est détecté (P3)

Cette donnée représente le pourcentage de chances que le changement que vous espérez soit bien détecté. La valeur classique recommandée pour ce paramètre dans la littérature statistique est de 80%, c’est-à-dire qu’il existe une chance sur 5 que cet effet ne soit pas détecté alors qu’il existe bel et bien.

Le seuil de confiance pour lequel un effet est détecté alors que celui-ci n'existe pas (P4)

Ce paramètre représente le pourcentage de chances qu'un faux positif soit détecté (lire notre article : Test A/A : comment ça marche ? ); dit autrement, le pourcentage de chances de détecter un effet qui est en fait absent dans la réalité. La valeur classique recommandée pour ce paramètre est de 5%, c’est-à-dire que l’on se donne une chance sur 20 qu'un effet détecté soit faux.

Pour maximiser la fiabilité de votre test, il faut augmenter le seuil de confiance pour lequel un effet est détecté (P3) et diminuer le seuil de confiance pour lequel un effet est détecté alors que celui-ci n'existe pas (P4). A l’inverse, en diminuant P3 et en augmentant P4, le nombre de visites requis pour votre test sera plus faible, et les résultats seront moins fiables .
 

2 Calculer le nombre de visites nécessaire pour effectuer un A/B test fiable

Une fois ces quatre paramètres définis, il ne vous reste plus qu’à réaliser le calcul statistique qui vous donnera le nombre moyen de visites requises pour chacune des variantes. Les bonnes plateformes d'A/B testing vous fournissent directement le résultat à travers un outil d'estimation de trafic ou de temps nécessaire. Dans Kameleoon, ce calculateur est présent dans la fenêtre de lancement de test.

N'oubliez pas que, par visites nécessaires, on entend bien évidemment visites réellement soumises au test et non pas l’ensemble des visites sur votre site.

Illustrons maintenant le niveau de trafic nécessaire avec quelques cas courants sur la base de seuils de confiance P3 et P4 fixés de manière standard à 80 et 5% :

• Pour les tests dont le taux de conversion naturel (P1) est élevé (par exemple 30%) et dont le gain potentiel attendu (P2) l’est aussi (par exemple + 20%), le seuil minimal de visites nécessaires par variante pour avoir un résultat statistiquement significatif est d’à peine 1 000 (929 exactement). Ces tests sont donc accessibles à tous les acteurs ou presque.

• Pour les tests dont le taux de conversion initial (P1) est plus faible (par exemple 5%, type envoi de formulaire) mais dont le gain potentiel (P2) reste fort (par exemple +20%), le seuil minimal de visites est de l’ordre de 7 500 par variante. Si l’espérance de gain (P2) est plus faible, le trafic requis s’envole: passer de 20 à 10 % d’effet minimum sur le taux de conversion fait monter à plus de 30 000 le nombre de visites nécessaires par variante, soit 4 fois plus.

• Enfin, pour les tests dont le taux de conversion initial (P1) est encore plus faible (par exemple 2 % à l’instar des fins de tunnel) et dont le gain potentiel attendu (P2) est également faible (par exemple 5%), le seuil monte à près de 310 000 visites par variante. Le nombre de e-commerçants en capacité de mener ce type de test est de fait limité.

3 L'A/B testing sur un site à faible trafic 

Le niveau de trafic attendu est, dans l’ensemble, loin d’être négligeable. Ces exemples battent en brèche certains discours volontairement mercantiles voulant faire croire que l’A/B testing apporte un enseignement statistiquement fiable quel que soit le type de test réalisé. Mieux vaut savoir où l’on met les pieds, et avec qui, avant de se lancer et mieux vaut être conscient du type de tests qu’on est en mesure de réaliser.

De manière assez claire, les sites à faible trafic sont tout à fait aptes à l’A/B testing à condition de concentrer les tests sur des landing pages ou des modifications pour lesquelles les gains de conversion sont potentiellement substantiels. Un site à faible trafic peut A/B tester (des bannières, une inscription à une newsletter, un formulaire à remplir pour les sites B2B à l’audience qualifiée). Des tests sur le tunnel de conversion ne sont pas exclus, à condition que le potentiel d’amélioration soit significatif. 

Pour les tests dont l’obtention de gain est intuitivement beaucoup plus limité, comme ceux portant sur le tunnel de conversion ou l'ajout au panier, le trafic nécessaire pour valider un résultat requiert un nombre de visites conséquent. Ils sont réservés à des e-commerçants ou des media à fort trafic.
 

Enfin pour rappel, un test n’est fiable qu’à son terme, une fois tous les visiteurs testés. Même si la tentation est forte, regarder les résultats avant terme ne donne aucune valeur statistique à votre test même s’il est annoncé à un moment t avec une indice de confiance supérieur à 95%. (Pour approfondir de sujet, consultez notre article dédié à la compréhension de la valeur statistique d’un test A/B).