Comment optimiser vos A/B tests avec l'allocation dynamique de trafic ?

L’allocation dynamique de trafic est parfois présentée comme une alternative révolutionnaire à l’A/B testing, ou même comme une solution comparable au ciblage prédictif.

La réalité est plus prosaïque : il s’agit d’une optimisation de l’approche de testing qui ne répond pas exactement aux mêmes problématiques que l’A/B testing « classique ».

L’allocation dynamique de trafic permet de résoudre ce que l’on appelle un problème de bandit manchot.

Un bandit manchot, me direz-vous, mais qu’est-ce donc ? C’est l’un des noms que l’on donne aux machines à sous des casinos à cause du « bras » sur le côté qui permet d'actionner le mécanisme.

1 Le problème du bandit manchot

Le problème du bandit manchot est un problème mathématique, qui se pose en théorie des probabilités. Il est plus aisé de se le représenter de façon imagée.

Vous êtes dans un casino, face à plusieurs machines à sous. Certaines machines distribuent de grosses récompenses, d’autres machines de plus petites récompenses.

Comment choisir sur quelles machines répartir le temps et les jetons que vous avez devant vous pour maximiser vos gains ?

• Soit vous testez rapidement quelques machines, en repérez une qui récompense beaucoup, et décidez de rester sur celle-ci : c’est l’exploitation.
• Soit vous décidez de continuer à tester une à une toutes les machines pour espérer que la suivante vous fera gagner plus : c’est l’exploration.

Quelle solution choisir entre l’exploitation et l’exploration ? Les algorithmes de « bandit manchot » (qu’on appelle aussi « multi-armed bandit » ou MAB) permettent de résoudre ce problème en alliant en simultané période de test et période de gain.

Quelle stratégie concernant l’optimisation de votre site ?

Transposons maintenant ce dilemme à celui que vous rencontrez lorsque vous souhaitez optimiser votre site web. Imaginons que vous voulez intégrer un nouvel élément, 2 options s'offrent à vous :

• Utiliser un élément dont vous avez l’habitude et qui fonctionne bien auprès des visiteurs
• Opter pour un nouvel élément et A/B tester son efficacité en espérant obtenir des résultats plus satisfaisants qu’avec votre pratique habituelle.

Vous devez donc choisir entre l’exploitation et l’exploration.

Si vous choisissez d’exploiter les ressources dont vous connaissez les performances, vous vous assurez d’obtenir des résultats convenables mais n’aurez pas la possibilité de savoir si d’autres solutions fonctionnent mieux.

Si vous axez votre démarche sur l’exploration, vous prenez le risque de tester un élément qui ne vous rapportera rien ou au contraire, qui surpassera tous vos autres résultats.

L’A/B testing face au problème du bandit manchot

L’A/B testing est une pratique qui consiste à comparer différentes versions d’un élément de votre site pour découvrir laquelle est la plus efficace auprès de vos visiteurs. Cette technique permet aux équipes marketing de prendre des décisions informées pour optimiser l’expérience des utilisateurs sur leur site. Les tests A/B nécessitent cependant la mise en place d’un process strict et d’une période d’apprentissage avant de pouvoir lancer une action sans commettre d’erreurs.

L’A/B testing vous permet donc d’analyser (exploration) les performances de différents éléments de votre site mais il faut attendre la fin du test pour pouvoir en tirer des conclusions et les mettre en action (exploitation).

L’allocation dynamique de trafic intervient pour tenter d’allier l’exploration et l’exploitation.

2 Qu'est-ce que l'allocation dynamique de trafic ?

Le concept est simple : l’allocation dynamique de trafic permet de modifier la répartition du trafic en fonction des premiers résultats observés lors de la période de test. Un algorithme de bandit manchot redirige au fur et à mesure les visiteurs vers la variante qui fonctionne le mieux.

Ainsi, l’allocation dynamique de trafic vous permet d’exploiter vos résultats tout en continuant à effectuer des tests. Prenons l’exemple d’une marque qui voudrait déterminer quel type de CTA convertit le mieux sur son site.

Dans un test classique, le trafic est réparti équitablement entre chaque variante jusqu’à la fin du test. Ainsi, si deux types de CTA sont testés, 50 % des visiteurs seront exposés à la variante A, et le restant à la variante B. Avec l’allocation dynamique de trafic, la répartition peut évoluer en fonction des performances de l’élément testé. Si la variante B montre un fort taux de conversion, alors la répartition du trafic pourra être ajustée.

3 Pourquoi utiliser l’allocation dynamique de trafic ?

Maximiser les conversions

Grâce à l’allocation dynamique de trafic, les visiteurs sont dirigés vers la variante qui fonctionne le mieux. Par conséquent, vous minimisez les pertes dues au test A/B tout en continuant à explorer de nouvelles possibilités.

Minimiser le risque 

A l'inverse, vous minimisez le risque lorsque vous testez de nouveaux éléments puisque s’ils ne fonctionnent pas, le trafic alloué à cette variante sera réduit progressivement.

4 Quand utiliser les tests bandits plutôt que les tests A/B ?

Les algorithmes de bandit manchot sont utiles car ils minimisent le coût des opportunités manquées lors de la phase d’exploration d’un test A/B en alliant l’exploration et l’exploitation.

Lorsque le temps est limité pour réaliser le test

L'allocation dynamique de trafic est très utile quand la période d’exploration et la période d’exploitation doivent être effectuées dans un temps limité. C'est notamment le cas lorsque vous testez des titres d'articles ou des campagnes promotionnelles à durée limitée (vacances, événements).

Si vous manquez de temps pour analyser les résultats

L’allocation dynamique de trafic peut également être utile lorsque vous souhaitez conduire des tests sans avoir à suivre de près les évolutions et résultats. En mettant en place le test bandit, l’apprentissage sera plus long mais le trafic sera réparti vers la meilleure variante sans pour autant mettre fin à la période d'exploration.

5 L'allocation dynamique de trafic convient-elle à tous les sites ?

Si cette pratique permet d’allier la phase d’exploration et la phase d’exploitation, alors pourquoi ne pas la généraliser ?

Trafic du site

La période d’exploration pure étant réduite, votre site doit avoir un fort trafic pour obtenir des résultats significatifs. En effet, si vous n’avez que peu de visiteurs sur votre site, les premiers résultats obtenus ne représenteront pas la tendance générale et vous risquez d’en tirer de mauvaises conclusions.

L’allocation dynamique de trafic ne convient donc pas à tout le monde, et c’est pourquoi nous ne la conseillons qu’à nos clients ayant un trafic très conséquent (>5MVU/mois).

Résultats significatifs

La technique du « bandit manchot » met plus de temps qu’un A/B test pour obtenir des résultats statistiques significatifs car les algorithmes répartissent le trafic au fil des résultats obtenus et il faut tester beaucoup plus de visiteurs pour obtenir des résultats concluants. Si vous ne faites pas durer le test assez longtemps, vous prenez le risque d'obtenir de faux résultats. Par exemple, si une variante est testée au tout début du test et qu'elle est déclarée comme perdante parce que le trafic n'est pas encore assez conséquent, alors il faudra un certain temps pour connaitre les réels bénéfices de cette variante.

Perte de conversion sur le long terme

Vous pouvez utiliser les tests de bandit manchot pour optimiser votre site en continu, mais dans ce cas vous passez à côté d’un certain nombre de conversions sur le long terme. En effet, avec cette technique, il faut beaucoup plus de temps pour obtenir des résultats significatif et pendant cette période, une partie de votre trafic est toujours dirigée vers les variantes les moins efficaces.

Pour maximiser les conversions sur le long terme, l’idéal est de trouver une variante gagnante rapidement avec un A/B test et de l’implémenter ensuite sur votre site.

6 Peut-on personnaliser avec les algorithmes de bandit manchot ?

Avec un test bandit classique, la version affichée aux visiteurs est basée uniquement sur les résultats obtenus et fait fi du contexte.

Une version plus évoluée des algorithmes existe : il s’agit des bandits contextuels, extension des tests bandits, ou version simplifiée de l’apprentissage par renforcement. Les algorithmes de bandit contextuel sont capables de prendre en compte le contexte (parcours de navigation, provenance, géolocalisation, etc) pour affiner la répartition du trafic : si un premier visiteur convertit sur une variante x, alors les autres visiteurs ayant un profil similaire verront la même variante.

Ces algorithmes peuvent permettre à terme de personnaliser le contenu de chaque segment de votre audience, toutefois, cette méthode demande beaucoup de temps et de nombreuses répétitions pour y parvenir.

Que vous utilisiez un A/B test classique ou un test bandit, n’oubliez jamais de suivre les bonnes pratiques de testing : qu’il s’agisse de l’interprétation des données ou du moment où arrêter le test A/B.

Découvrez sans plus attendre la solution d’A/B testing de Kameleoon qui propose de nombreuses fonctionnalités vous permettant d’effectuer des tests simples ou complexes avec une facilité d’exécution déconcertante.