Tests séquentiels : pour une sécurité renforcée de vos tests A/B

Vous manquez de temps ? Les tests séquentiels vous permettent de prendre des décisions rapides. Lancement d’A/B test sur un trafic faible, consultation anticipée des résultats ou alertes pour interrompre plus tôt les tests sous-performants, découvrez comment utiliser cet algorithme statistique.

Les tests séquentiels, qu’est-ce que c’est ?

Les tests séquentiels font partie des modèles statistiques exploitables pour l’analyse des résultats de vos tests. Au lieu de baser ses calculs sur un échantillon représentatif, cette méthode permet une analyse continue des données en temps réel.

Quels sont les avantages des tests séquentiels en A/B testing ?

Les tests séquentiels sont utilisés par tous types d’entreprises : de la petite structure qui souhaite challenger son expérience en temps réel, à la grande multinationale comme Netflix ou Booking.com. Leurs principaux avantages sont :

L’A/B TESTING SUR FAIBLE TRAFIC

L'un des avantages des tests séquentiels est qu'ils ne nécessitent pas un grand nombre d’utilisateurs pour être réalisés. Quelques dizaines d’utilisateurs par test suffisent, ce qui rend les tests possibles sur des zones à très faible trafic ou d’obtenir des résultats très rapides.

L’ALERTE DE FIABILITÉ SÉQUENTIELLE

Avec les tests séquentiels, il est possible de suivre l’évolution en temps réel des performances de vos tests. Définissez des critères et soyez alertés si les performances de votre variation impactent trop fortement les conversions ou si la qualité de votre test est insuffisante. Vous pourrez ainsi choisir de poursuivre, itérer ou stopper le test et dédier vos ressources uniquement aux tests les plus prometteurs.

LA DIFFÉRENCE ENTRE ÉVOLUTION ESTIMÉE ET ÉVOLUTION OBSERVÉE

Lors des tests séquentiels, on distingue deux types d’évolution entre l’évolution estimée et l’évolution observée est fondamentale. L’évolution estimée évolue à mesure que vous collectez des données. L’algorithme calcule des intervalles de confiance et une fiabilité séquentielle qui font que les résultats demeurent “valides” quel que soit le nombre de fois que vous les consultez. Vous pouvez l’utiliser pour déterminer si vous devez poursuivre le test, itérer ou l’interrompre. L’évolution observée est celle que vous constatez dans les données une fois le test terminé.

Quelles sont les différences entre les modèles bayésien, fréquentiste et les tests séquentiels ?

Ces trois méthodes permettent de compulser les résultats de vos A/B tests mais ont des méthodologies et des objectifs différents.

MÉTHODE FRÉQUENTISTE

Le modèle fréquentiste est le plus fréquemment utilisé et possède la plus grande puissance statistique des trois solutions proposées. Il fonctionne avec une méthodologie classique : formulation d’une hypothèse, paramétrage du test puis consultation et analyse des résultats à la fin de celui-ci. Les résultats obtenus sont très complets et d’une grande fiabilité. Cependant, cette méthode exige une organisation rigoureuse et permet très peu de flexibilité. L’équipe ne peut ni interrompre, ni modifier le test en cours, comme cela est possible avec les tests séquentiels.

MÉTHODE BAYÉSIENNE

Les modèles bayésiens permettent aux équipes disposant de grands ensembles de données d’exploiter leurs connaissances existantes et de les mettre à jour en fonction des nouvelles informations. Cependant, l’hypothèse doit être réfléchie avec soin : si elle est mal conçue, elle peut entraîner toute l’analyse dans la mauvaise direction.