3 bonnes raisons d’utiliser les tests séquentiels selon les experts de l’expérimentation

Quel modèle statistique est le plus adapté à votre pratique de l’expérimentation ? Notre réponse est sans appel : “Ça dépend.” Pour tirer le meilleur parti de vos tests, vous devez connaître les spécificités de chaque modèle et choisir celui qui vous permettra d’obtenir les résultats dont vous avez besoin. Malheureusement, la majorité de la littérature scientifique disponible autour de ces modèles a été conçue par des chercheurs aux réalités assez éloignées du quotidien d’un responsable de l’expérimentation au sein d’un business. 

Dans un monde idéal, les équipes devraient pouvoir lancer leurs tests avec une grande rigueur statistique et les faire tourner aussi longtemps que nécessaire pour obtenir des résultats fiables. La réalité terrain est souvent différente pour les équipes Produit et Marketing. Elles doivent pouvoir suivre le rythme des développement produit et prendre des décisions business de façon agile. 

Les tests séquentiels constituent une bonne alternative pour ce type d’entreprise. Ce modèle est d’ailleurs utilisé par des acteurs de références, tels que Spotify, Netflix, ou Booking.com. Mike Fawcett explique :

Voici les 3 raisons principales qui font des tests séquentiels des alliés de choix :

1  Les tests séquentiels permettent des analyses intermédiaires

Les modèles statistiques traditionnels, fréquentistes et bayésiens, nécessitent de définir certains paramètres avant de lancer les tests comme le taux de significativité à atteindre, la puissance statistique et l’​​effet minimum détectable (MDE - Minimum Detectable Effect). Ces chiffres déterminent la durée du test et certains tests peuvent être amenés à tourner plusieurs semaines avant que la moindre décision ne puisse être prise. Sous la pression, certaines équipes peuvent être tentées par le “peeking”, c’est-à-dire la consultation anticipée des résultats, et décider d’interrompre le test prématurément alors que la significativité statistique n’est pas encore atteinte. À ce stade, les données ne sont pas fiables et le risque d’obtenir un faux positif est assez élevé.

Avec les tests séquentiels, le “peeking” est possible car les intervalles de confiance restent valides quelque soit le nombre de fois que vous consultez les résultats. Vous pouvez ainsi surveiller les tests en temps réel, sans augmenter le taux d’erreur. Néanmoins, avec un test séquentiel, vous perdez en puissance statistique. Ronny Kohavi explique :

2  Les tests séquentiels accélèrent la prise de décision

Beaucoup d’équipes travaillent dans un format de gestion de projet agile avec des déploiements de code en continu. Suivre le rythme de l’entreprise est alors un défi majeur pour les équipes dédiées à l’expérimentation. Elles sont souvent soumises à une forte pression pour prendre des décisions le plus rapidement possible. Prateek Parashar utilise les tests séquentiels pour maintenir une cadence propice à l’innovation :

Il y a toutefois une contrepartie à ces tests rapides :

3  Les tests séquentiels boostent le ROI

D’après Georgi Georgiev, la rapidité qu’autorise les tests séquentiels n’est pas leur principal atout. Il faut surtout considérer le ROI qu’ils vous permettent de dégager.

Voici deux démonstrations s’appuyant sur le travail de Georgi Georgiev. 

LES AVANTAGES D’INTERROMPRE PLUS TÔT UN TEST PERDANT 

Prenons l’exemple d’une entreprise qui génère 1 million de dollars de revenus par semaine. Elle lance un test avec un partage de trafic à 50 %. En stoppant un test séquentiel perdant 4 semaines plus tôt qu'un test classique, avec une variante ayant un impact négatif de -10 %, vous évitez une perte de revenus de 5 %, soit 50 000 $. Si l’entreprise réalisait 10 millions de dollars par semaine, les pertes évitées seraient alors de 500 000 $. 

LES AVANTAGES DE DÉPLOYER PLUS TÔT UN TEST GAGNANT 

Dans la même entreprise, si vous stoppez un test gagnant 4 semaines plus tôt qu'un test classique, avec une variante ayant un effet positif de +2 %, vous générez 40 000 $ de revenus supplémentaires sur ces quatre semaines. Si l’entreprise réalisait 10 millions de dollars par semaine, les revenus supplémentaires s’élèveraient alors à 400 000 $. Les tests séquentiels sont conçus pour accompagner les équipes ayant besoin de prendre des décisions rapides, sans risquer d’altérer la fiabilité de l’analyse. Si vous voulez en savoir plus sur les tests séquentiels, contactez votre CSM ou demandez une démo.

Merci aux experts qui ont contribué à la rédaction de cet article : 

• Mike Fawcett, Fondateur de Mammoth Website Optimisation 
• Ronny Kohavi, Consultant et Enseignant 
• Anjali Arora Mehra, Senior Director, Product Analytics & Data Science chez DocuSign 
• Prateek Parashar, Senior Data Scientist chez Twitch 
• Georgi Georgiev, Fondateur d’Analytics-Toolkit.com