Test multivarié : gagnez du temps et affinez votre analyse
Le test multivarié ou multivariate testing (MVT) vous permet de tester en même temps plusieurs variations déclinées à partir de plusieurs facteurs sur un élément de votre site web au cours d'une seule expérimentation. Bien que cette méthode soit très efficace pour tester votre site web ou votre produit, obtenir des résultats significatifs, fiables et exploitables demande de prendre certaines précautions.
Dans cet article, vous apprendrez :
- Quand recourir à un test multivarié ?
- En quoi il diffère des tests A/B et des tests multipages ?
- Quels sont les limites et les avantages de son utilisation ?
Bonne lecture !
1 Qu’est-ce qu’un test multivarié ?
Un test multivarié est une forme d’expérimentation où chaque variante inclut plusieurs modifications à la fois. Le principe est de tester en simultané toutes les combinaisons possibles de plusieurs éléments d’une même page, afin de déterminer quelle combinaison a le meilleur impact sur vos taux de conversion.
Si vous souhaitez modifier à la fois la couleur du fond et la formulation du texte d’un CTA, vous pourriez, au lieu de lancer les tests un par un puis d’en comparer les performances, tester toutes les combinaisons en même temps.
Un exemple simple : Vous constatez que le call-to-action (CTA) de votre homepage sur desktop ne convertit pas aussi bien que vous le souhaiteriez. Vous souhaitez donc challenger à la fois la couleur et le texte du CTA.
Vous voulez tester le jaune, le bleu et le rouge ainsi que deux formulations : « C’est parti » et « J’achète ». Kameleoon génère alors 6 versions de votre page présentant les 6 combinaisons possibles :
2 Quels sont les avantages du test multivarié ?
GAGNEZ EN PRÉCISION
Le premier avantage d’un test multivarié par rapport à un test A/B classique est qu’il permet d'identifier précisément ce qui impacte votre conversion grâce au détail des performances de vos différentes variantes.
Vous pourrez alors comprendre comment les éléments de la page interagissent entre eux et lesquels sont déterminants dans l’amélioration de la performance.
Gagnez du temps
La réalisation automatique des combinaisons fait gagner un temps précieux. C’est d’autant plus vrai quand le nombre de facteurs différents est important. Vous obtiendrez aussi des résultats plus rapidement qu’en testant les combinaisons une par une.
Comme le dit Daniel J. DeSimone, CRO Manager chez PayScale,
AUGMENTEZ VOS CHANCES DE TEST SIGNIFICATIF
L'un des avantages des tests multivariés est qu'ils augmentent vos chances d’obtenir des résultats significatifs. Comme vous testez un grand nombre de combinaisons, les chances de trouver une combinaison gagnante sont beaucoup plus élevées que si vous exécutez une série de tests séparés.
IDENTIFIER LES INTERACTIONS
En statistique, un “effet d'interaction” est défini comme "le rôle d'une variable dans un modèle estimé et son effet sur la variable dépendante". Il est important de comprendre les effets d'interaction pour savoir quelle variable ou variante est responsable du changement qui se produit.
Par nature, les tests multivariés vous aident à comprendre les effets que les différents éléments de votre page ont les uns sur les autres et comment ces interactions impactent votre taux de conversion.
3 Quelles sont les limites du test multivarié ?
L’expérimentation multivariée rencontre deux inconvénients principaux.
1. VOUS DEVEZ EXPÉRIMENTER SUR UN ÉCHANTILLON PLUS LARGE
La question du trafic sur la page testée est une question importante, que vous devez toujours considérer avant de vous lancer. Plus le nombre de combinaisons est élevé, plus vous avez besoin d’un trafic important.
De manière générale, on considère qu’on obtiendra un taux de fiabilité acceptable dans une expérimentation web :
- À partir de 1000 visites/variantes, si la page testée a un taux de conversion élevé (de type engagement sur une landing page ou taux de clic d’un CTA) et où le gain potentiel attendu est élevé (par exemple +10 ou 20 %) ;
- À partir de 7500 visites/variantes, si le taux de conversion est faible, ce qu’on trouve dans les remplissages de formulaire par exemple (généralement <5%). C’est d’autant plus vrai en bout de tunnel, où les taux de conversion sont généralement faibles et où le trafic est également très réduit.
Atteindre les 7500 visites/variantes peut-être compliqué. Et plus on multiplie le nombre de variantes, plus le trafic doit être important pour atteindre le seuil critique du nombre de conversions par variante. Ces chiffres sont donnés à titre indicatif, la réalité du trafic minimum étant plus complexe.
Ces chiffres sont légèrement différents pour la Feature Experimentation, bien qu’une densité de trafic conséquente soit aussi nécessaire pour obtenir des résultats significatifs.
2. L’EXPÉRIMENTATION PREND PLUS DE TEMPS
De la création des différentes combinaisons à l'exécution du test lui-même et à l’atteinte d’une significativité statistique, l'exécution des tests multivariés peut être relativement chronophage.
Une solution d’expérimentation générant automatiquement les différentes versions et/ou permettant une modification simple et rapide de celles-ci via un éditeur graphique peut néanmoins vous faire gagner du temps sur la phase de création.
Ces deux limites peuvent être mises en perspective avec l’utilisation de CUPED. Cet algorithme statistique vous permet de réduire le temps nécessaire à l’obtention d’une significativité statistique ou la taille de votre échantillonnage.
4 Quand choisir le multivariate testing ?
QUAND L’HYPOTHÈSE À TESTER DÉPEND DE PLUSIEURS PARAMÈTRES
Dans certaines situations, il est difficile de savoir précisément quel élément impacte vos performances. Si votre CTA ne répond pas aux objectifs attendus, il peut s’agir d’un problème de wording, de couleur, de forme… Impossible parfois d’avoir une hypothèse ferme dès le départ. Dans ce cas, un test multivarié s’impose. Identifiez les éléments à tester et laissez Kameleoon générer toutes les combinaisons possibles. Vous n’écartez ainsi aucune possibilité et gagnez un temps considérable grâce à l’automatisation.
POUR TESTER UN USER FLOW
Les tests multivariés sont indispensables pour optimiser un user flow comme les landing pages, les tunnels de demande de devis ou les séquences de paiement.
5 A/B/n Testing, multi-page testing et multivariate testing : quelles différences ?
La principale différence entre les tests A/B/n, les tests multi-pages et les tests multivariés réside dans le nombre de variables et de variations testées.
- Dans les tests A/B/n, vous choisissez une variable à tester sur plusieurs variations. Par exemple, vous décidez de challenger le wording du CTA "Ajouter au panier" de vos pages produits. Vous hésitez entre plusieurs formulations et concevez les variations "Acheter" et “J’achète” que vous comparez à l'originale. Vous avez ainsi plusieurs variations, mais une seule variable change : le wording.
- Dans les tests multivariés, vous testez plusieurs variables dans des combinaisons qui produisent de multiples variations. Par exemple, vous voulez comparer les performances de votre bouton libellé "Ajouter au panier" pour le remplacer par "Acheter", mais vous voulez aussi challenger la couleur de votre bouton. Vous hésitez entre rouge et bleu. Vous obtenez alors 6 variations. Vous avez plusieurs variations et plusieurs variables : la couleur et le texte.
- Dans les tests multi-pages, vous vous concentrez sur l'optimisation du parcours du client à travers une série de pages. Vous testez une séquence de pages pour déterminer s'il s'agit d'une séquence optimale pour le parcours de votre utilisateur. L'objectif d’un test multivarié est de déterminer la meilleure combinaison de variables, alors que l'objectif du multi-pages est de déterminer la meilleure combinaison de pages.
6 Comment lancer un test multivarié ?
L'exécution d'un test multivarié varie en fonction de votre plateforme d’expérimentation. Voici néanmoins la marche à suivre générale :
1. CRÉER VOS VARIATIONS
Comme pour un test A/B classique, la première étape est de créer les variantes que vous souhaitez tester. Reprenons notre exemple où vous souhaitez modifier à la fois la couleur et le texte d’un CTA. Dans un outil comme Kameleoon, vous créez les sections de votre test : “Couleur” et “Texte”, puis, pour chaque section, vous créez les variantes que vous souhaitez. Par exemple dans la section “Couleur” : une variante “jaune”, une variante “bleu” et une variante “rouge” et dans la section “Texte” : une variante “C’est parti” et une variante “J’achète”.
Kameleoon va alors générer automatiquement toutes les combinaisons possibles entre vos différentes variantes de section. Ici, on aura donc : « C’est parti » en bleu, « C’est parti » en jaune, « C’est parti » en rouge, « J’achète » en bleu, « J’achète » en jaune et « J’achète » en rouge.
2. RÉPARTIR LE TRAFIC
Vient alors le moment de décider comment vous souhaitez répartir le trafic de votre site pour la durée du test. Il existe 2 approches : par sections ou par combinaison.
PAR SECTION
Une section regroupe plusieurs variantes d'un élément. Dans notre exemple, on a les sections Couleur et Texte. Les variantes de Couleur sont « jaune », « bleu » et « rouge » et les variantes de Texte sont « J’achète » et « C’est parti ». Par défaut, le trafic sera réparti de façon équilibrée sur toutes les variantes.
La répartition par section est la plus simple, puisque vous avez moins de sections que de combinaisons. Ici, vous répartissez 100 % de votre trafic entre “Jaune”, “Bleu” et “Rouge” et 100 % de votre trafic entre “J’achète” et “C’est parti”. Votre plateforme de testing générera alors automatiquement la répartition sur chacune des combinaisons.
PAR COMBINAISON
Dans notre exemple, on a 6 combinaisons possibles :
Vous pouvez donc décider manuellement la façon de répartir votre trafic sur chacune des combinaisons, ou, là encore, décider de répartir de façon équilibrée sur toutes les combinaisons.
Si vous avez beaucoup de variantes différentes, ce mode d’allocation du trafic est plus complexe, car le nombre de combinaisons augmente exponentiellement. Elle est néanmoins utile dans certaines situations précises, notamment lorsque vous souhaitez exclure certaines combinaisons de votre test. Par exemple, si vous modifiez la couleur du fond et celle du texte dans un CTA, vous ne souhaitez pas que vos visiteurs puissent voir la combinaison fond noir/texte noir (car ils ne verraient… rien). La répartition du trafic par combinaison vous permet alors de régler manuellement le trafic à 0 sur la combinaison fond noir/texte noir.
3. PARAMÉTRER LES KPIS À SUIVRE
Une fois que vous avez défini la répartition du trafic, vous pouvez définir les objectifs à mesurer lors de votre test. Là encore, l’approche est la même que pour un test classique : vous paramétrez les KPIs à suivre.
Retrouvez toutes les informations sur le paramétrage de votre outil de reporting et de vos objectifs avec Kameleoon dans notre article consacré au sujet.
4. SIMULER LE TEST PUIS LE LANCER
Avant de lancer le test, assurez-vous que tout fonctionne correctement. Utilisez le mode simulation pour vérifier que les combinaisons que vous vous apprêtez à tester correspondent à vos attentes. Cela vous permet de recetter proprement avant de lancer votre test en ligne.
5. SUIVRE LES RÉSULTATS
Enfin, terminez le test en analysant le détail de vos résultats et, plus précisément, l’impact de chaque élément sur vos principaux KPIs. Vous pourrez ainsi prendre des décisions éclairées pour modifier votre page.
Le recours à un test multivarié est très intéressant, à condition de disposer d’un trafic suffisant. Gardez en tête que le temps requis pour obtenir des résultats fiables reste relativement long, même si vous gagnerez du temps par rapport au lancement successifs de test A/B classiques pour chacune des variations.
Vous cherchez une solution d’expérimentation capable de gérer des tests multivariés ? Consultez notre checklist pour vous assurer de choisir la solution qui répond à vos critères ou demandez-nous une démo.
