Méthode CUPED : des A/B tests plus fiables et plus rapides

1 Réalisez des A/B tests plus fiables et plus rapides avec CUPED

Trouver le bon équilibre entre fiabilité et rapidité est l’un des grands challenges de l’expérimentation. L’impatience peut conduire à l’erreur : exploiter des résultats avant d’avoir atteint une pertinence statistique risque de fausser votre analyse. L’attente peut néanmoins être longue.

C’est pourquoi, depuis janvier 2023, l’équipe Kameleoon teste en interne CUPED, l’une des méthodologies les plus puissantes pour obtenir des résultats plus rapides, sans altérer la qualité des données. 

Après trois mois de tests, nous en sommes venus à la conclusion qu’appliquer la méthode CUPED aux résultats de certains tests pourrait permettre de réduire la taille de l’échantillon nécessaire de près de 60 %. 

Appliquée aux bons tests, cette méthodologie permet :

• D’accélérer les processus d’expérimentation et de personnalisation 
• De prendre des décisions basées sur des données encore plus fiables
• D’évaluer encore plus précisément l’impact des variantes du test 
• De réduire le risque de faux positifs pour les tests à faible audience

2 Qu’est-ce que la méthode CUPED  ?

La méthode CUPED (Controlled Experiment Using Pre-Experiment Data = Expérience contrôlée utilisant des données pré-expérimentales) est une méthode de réduction de la variance grâce aux données pré-expérimentales, utilisées pour accroître la précision des estimations et réduire les intervalles de confiance et les biais d’exposition préalable dans les résultats.

Cette technique a été employée pour la première fois en 2013 par une équipe de recherche Microsoft afin d’améliorer la précision de tests et a depuis été utilisée par les plus grandes entreprises du secteur des technologies telles que Facebook, Netflix ou Airbnb.

Appliquée aux bons cas d’expérimentation (voir détail ci-après), la méthode CUPED permet de réduire de manière significative :

• Les intervalles de confiance 
• Les valeurs-p (et donc les marges d’erreur)
• Les tailles d’échantillon 
• La durée de l’expérimentation

En d’autres termes, cette pratique offre des résultats plus rapides, de meilleures estimations et davantage de fiabilité des tests. 

Image

3 Comment avons-nous testé CUPED ?

En nous basant sur les recommandations de l’équipe Microsoft, nous savions que nous souhaitions réduire la variance en recherchant des corrélations sur une même variable, utilisées dans des tests antérieurs et dans celui en cours.

Nous avons donc calculé la corrélation entre le taux de conversion sur un objectif principal sur un test en cours et ce même taux lors des 2 semaines qui précédaient le lancement du test, et ce, pour plus de 200 expériences. En nous basant sur cette corrélation, nous avons estimé la taille d’échantillon requise pour obtenir un résultat fiable et significatif.

Au cours de nos tests, nous avons vérifié si les visiteurs exposés à l’expérimentation en cours :

• Avaient ouvert une session au cours des deux semaines passées
• Avaient converti sur l’objectif principal du test pendant cette période de deux semaines
• Puis avaient converti sur cet objectif lors de l’expérimentation en cours.

Nous avons ensuite calculé dans quelle mesure le comportement des visiteurs avant le début de l’expérimentation correspondait à leur comportement durant l’expérimentation.

L’algorithme CUPED montre que plus le comportement des visiteurs coïncide, plus nous bénéficierons d’une réduction de la variance. Par ailleurs, comme il existe un rapport entre la variance et la taille de l’échantillon, nous pouvons calculer l’impact de la méthode CUPED en déterminant la taille d’échantillon nécessaire pour réduire la variance. 

4 Quand utiliser la méthode CUPED ?

En dépit de la puissance de cette méthode, il n’est pas nécessaire de l’utiliser pour tous les types de tests. Lors de nos expériences, nous avons constaté que sa pertinence variait en fonction du secteur d’activité des utilisateurs, du nombre de visiteurs et de l’objectif principal.

L’emploi de la méthode CUPED est particulièrement indiqué si : 

• Votre test porte sur des visiteurs récurrents : vous disposez déjà de données sur eux, ce qui vous permet d’affiner vos prévisions.
• Vous avez déjà réalisé de nombreux tests avec Kameleoon : plus vous utilisez Kameleoon, plus vous aurez de données d’expérimentation qui nourriront l’algorithme CUPED.
• Vous avez déjà des données de conversions sur l’objectif de votre test avant même de le lancer : plus vous avez de données de conversions sur l’objectif de l’expérience, mieux l’algorithme sera capable de prévoir l’impact réel du test en cours. 
• Vos tests portent sur des KPI qui vous serviront pour prendre des décisions (Transactions, Ajouts au panier, complétions de formulaire…)

5 Comment utiliser CUPED dans Kameleoon ?

Vous pouvez activer CUPED sur la page “Résultats” de chaque campagne. Nous n’appliquons pas automatiquement cette technique à toutes les expérimentations, nous vous laissons décider si son utilisation est pertinente. 

Lorsque vous activez CUPED, n’utilisez plus les résultats que vous aviez précédemment obtenus sur la même expérience. Vous augmenteriez le risque d’obtenir des faux positifs. 

CUPED est accessible à l’ensemble de nos utilisateurs. Nous continuons à suivre ses performances et évaluons des pistes d'amélioration possibles de cette fonctionnalité, par exemple vous en offrant une période de « lookback » personnalisée pour des tests longue durée.