Checklist : comment choisir sa solution d'A/B testing
L’A/B testing est aujourd’hui une pratique connue, presque généralisée même : elle est adoptée par 75 % des sites ayant plus d’un million de visiteurs. C’est LA pratique de l’optimisation de la conversion qui vous permet de baser vos décisions UX sur des analyses de données. S’il s’agit d’une pratique largement répandue chez les grandes marques, la façon dont chaque entreprise gère ses tests et les fonctionnalités qu’elle utilise varie.
Chaque entreprise doit donc trouver la solution technologique d'A/B testing qui lui convient et qui lui permettra d’atteindre ses objectifs tout en respectant ses contraintes.
Chez Kameleoon, nous accompagnons plus de 450 clients dans leurs stratégies d’A/B testing et d’optimisation de la conversion depuis 2012 et nous avons pu établir une liste des principaux critères que les marques prennent en compte pour choisir leur solution de testing.
Cet article, rédigé en collaboration avec nos consultants experts, vous propose une checklist des critères à prendre en compte pour choisir votre solution d’A/B testing et trouver le bon partenaire technologique qui vous accompagnera dans vos projets d’optimisation de la conversion digitale, avec à la clé une augmentation des revenus online et de l’engagement client.
5 étapes clés pour A/B tester
Pour construire notre checklist, nous avons décomposé le process de mise en place d’un test A/B en 5 étapes, que vous retrouverez systématiquement dans votre stratégie d’optimisation UX.
- Étape 1 : La définition de votre objectif et de vos variantes
- Étape 2 : La préparation du test
- Étape 3 : L’analyse de vos résultats
- Étape 4 : Tout au long du process, l’accompagnement
- Étape 5 : Anticiper vos prochaines actions d’optimisation : personnalisation et IA.
Pour chacune de ces étapes, plusieurs features sont indispensables afin de réaliser vos tests A/B dans de bonnes conditions et d’obtenir des résultats fiables.
Téléchargez directement la checklist A/B testing.
1 Étape 1 : Définir vos objectifs et vos variantes pour vos tests A/B
Toute stratégie d’A/B testing commence par la définition de vos objectifs et de vos variantes. C’est une étape cruciale pour vous assurer que vos tests seront efficaces et réalisés auprès des bons visiteurs.
Définir et paramétrer vos objectifs
Lors du paramétrage de votre test, l’une des étapes clés est d’en définir l’objectif. Quel KPI allez-vous mesurer pour déterminer qu’une variante est meilleure que l’autre ?
Par exemple, vous testez deux formulations pour un Call-To-Action sur l’une de vos pages. Avant même de lancer votre test, vous devez définir sur quel objectif vous souhaitez comparer les deux variantes. Vous sélectionnez par exemple un objectif d’engagement (nombre de clics sur le CTA) et pourrez voir quelle variante a été la plus performante sur cet objectif.
Quelles fonctionnalités ?
- Large choix d’objectifs (clic sur un élément de la page, scroll par page, pages vues, taux de rétention par page, temps passé sur le site, nombre de pages consultées)
- Possibilité de créer des objectifs personnalisés (Transaction e-commerce) avec ajout d'attributs personnalisés (montant de la commande, Identifiant transaction, mode de paiement, etc.)
Analyser et segmenter votre audience
La pratique du testing sur votre site va de pair avec une bonne connaissance de votre audience. Tous vos tests ne seront pas réalisés auprès de l’ensemble de vos visiteurs, et vous devez avoir la possibilité de définir des segments pour certains tests A/B.
Il est important que la solution que vous choisissez intègre un moteur de ciblage permettant de segmenter vos visiteurs sur la base de critères comportementaux, techniques ou contextuels.
Quelles fonctionnalités ?
- Collecte et utilisation en temps réel des données visiteurs
- Création de segments en fonction de l’acquisition (landing page, site référent, type de trafic - direct, payant, organique, social, referral)
- Création de segments en fonction de l’empreinte digitale (langue du navigateur, type d’appareil, résolution de l’écran, navigateur utilisé, valeur du cookie)
- Création de segments en fonction de l'historique de navigation (New vs returning visitors, type de clients, etc.)
- Création de segments en fonction d’informations externes (date, heure)
- Création de segments en fonction de données provenant d’autres solutions (intégrations)
- Compliance RGPD : les données collectées sont exclusivement des données anonymisées liées à la navigation et ne peuvent servir à identifier le visiteur
declencher vos experiences en utilisant les bons triggers
Le déclenchement des tests A/B peut être conditionné par certains éléments précis qui évoluent en fonction du comportement du visiteur. On appelle ces conditions les triggers.
Votre solution d’A/B testing doit inclure les triggers adaptés à vos besoins.
Quelles fonctionnalités ?
- Triggers génériques (sortie de souris, événement spécifique)
- Triggers par page (nombre de pages vues, temps passé sur le site, présence d’un élément sur une page)
2 Étape 2 : Préparer vos tests A/B
Une fois que vous avez défini l’objectif de votre test A/B et identifié la cible et le moment auquel le déclencher, vient la mise en place concrète de votre expérience : créer les éléments graphiques, définir les bons paramètres, même complexes, et gérer le lancement de votre test.
Créer les éléments graphiques de votre test
Votre solution d’A/B testing doit vous permettre de créer facilement des variations graphiques des éléments de votre site, qui s’adaptent à votre charte et que vous pouvez modifier si besoin.
Quelles fonctionnalités ?
- Éditeur graphique facile à prendre en main pour créer des éléments sur mesure
- Capacité à naviguer sur le site comme un utilisateur et à activer l’éditeur en surcouche sur n’importe quelle page, en mode connecté ou déconnecté.
- Détection automatiques du types d’éléments (bloc, image, lien, bouton, formulaire) et menu contextualisé avec les options adaptées pour chaque type d’élément
- Accès à un éditeur adapté pour les développeurs souhaitant coder les variantes avec du CSS et/ou du JavaScript.
- Bibliothèque de widgets prêts à l’emploi pouvant être adaptés facilement à votre charte graphique.
- Outil de simulation permettant de valider l'ensemble du périmètre du test: affichage des variantes, ciblage, KPIs, conflit potentiel avec d'autres experiences, avant de le lancer pour tous vos visiteurs.
Définir vos tests avec des paramétrages avancés
Un test A/B peut être très simple (une expérience sur la couleur de vos CTAs des fiches Produit), mais peut aussi être bien plus complexe comme une expérience sur l’ensemble de votre tunnel de conversion, ou bien un test où la répartition du trafic est évolutive et gérée dynamiquement par la solution.
Votre solution doit vous permettre de gérer tous les paramétrages avancés dont vous aurez besoin pour vos tests.
Par ailleurs, certaines entreprises souhaitent s’engager sur des projets plus techniques, ou gérer en interne des projets grande échelle avec leurs équipes de développement. Il est dans ce cas important de s'appuyer sur une solution avec un fort ADN technologique. La gestion des tests en server-side, qui consiste à tester vos hypothèses d’optimisation du côté de votre architecture back-end plutôt que via le navigateur de vos visiteurs, est une fonctionnalité dont certains clients ne peuvent se passer, et que de nombreux outils ne proposent pas. Il peut donc s’agir d’un critère déterminant selon vos projets.
Quelles fonctionnalités ?
- Gestion de tests multivariés
- Solution multi-sites et multi-domaines
- Allocation dynamique de trafic (linéaire ou multi-armed bandit)
- Planification de tests
- Possibilité d’estimer la durée d’un test
- Possibilité de gérer vos tests en server-side avec ou sans logique de caching
- Outils pour développeurs (REST API et bibliothèque de SDKs par langage, Portail développeur)
- Gestion automatique des applications type "Single Page App" (React, Angular)
Gérer et anticiper les problèmes liés à l’A/B testing
Un test A/B peut impacter les performances de votre site s’il n’est pas réalisé correctement.
Vous devez choisir une solution qui prévient les risques inhérents à l’A/B testing, grâce à une architecture optimisée.
Quelles fonctionnalités ?
- Gestion de l’effet flicker
- Gestion de l’ITP pour pouvoir faire des tests A/B malgré les nouvelles mesures prises par Apple pour réduire la durée de vie des cookies.
- Gestion automatique du consentement utilisateur.
3 Étape 3 : Analyser vos résultats et piloter vos tests A/B
Une fois que le test est finalisé, il faut en tirer des apprentissages pour décider des changements à effectuer sur votre site et nourrir votre future roadmap d’optimisation de la conversion.
Pour cela, vous devez avoir accès à un reporting clair, facile à comprendre et personnalisable pour suivre les résultats qui vous importent.
Quelles fonctionnalités ?
- Reporting dédié à l’A/B testing avec des indicateurs clés (calcul de l’amélioration de la conversion, taux de fiabilité associés)
- Choix de la méthode statistique et de l’approche d’analyse de vos tests (fréquentiste ou bayésienne, par visiteur, par visite ou pour toutes les conversions mesurées.
- Outils visuels pour mieux comprendre vos résultats
- Graphiques interactifs
- Capacité à zoomer sur une période donnée
- Personnalisation de l'affichage de la page de Reporting
- Filtre et Ventilation par critères
- Vue comparative de plusieurs périodes de temps
- Outils pour faciliter le partage du reporting (export, partage via URL)
- Création d’alertes sur la base de critères business
- Outil d’aide à la décision
- Intégration de solutions d’analyse tierces (solutions d’analytics, heatmaps)
4 Etape 4 : Tout au long du test A/B, l’accompagnement
Quelle que soit l’étape, il est essentiel d’être bien accompagné sur vos projets d’A/B testing.
Selon la maturité de votre entreprise et votre organisation interne, votre besoin d’accompagnement sera différent.
L’important est donc de travailler avec un acteur qui s’adapte à à votre contexte.
Quels critères ?
- Possibilité d’être totalement indépendant pour les acteurs plus matures (formation par tutoriels présente dans la solution, accès permanent au helpdesk)
- Attribution d’un Customer Success Manager dédié à votre compte, pouvant vous apporter un accompagnement stratégique
- Possibilité d’avoir un Technical Account Manager dédié à votre compte pour les projets les plus techniques
- Travail en collaboration avec un grand réseau d’agences
5 Etape 5 : Anticiper vos prochaines actions d’optimisation : personnalisation
L’A/B testing est une pratique qui s’inscrit dans une stratégie d’optimisation plus globale. Lorsque vous choisissez une solution d’A/B testing, vous devez également penser aux prochaines étapes de votre stratégie d’optimisation.
Votre stratégie d’optimisation commence et repose sur l’A/B testing mais s’étend probablement au-delà, vers des pratiques qui créent plus de valeur, telles que la personnalisation, qu’elle soit basée sur une segmentation manuelle ou sur la prédiction temps réel des intentions de vos visiteurs (grâce à l’IA).
Choisir pour l’A/B testing une solution « all-in-one » qui vous permettra de gérer toute votre stratégie d’optimisation est donc un avantage certain : vous anticipez vos prochaines actions et priorisez votre roadmap de manière stratégique.
Quelles fonctionnalités ?
- Une plateforme all-in-one proposant une approche globale de l’optimisation
Gardez ces critères en tête si vous voulez pouvoir comparer les différentes solutions existantes sur le marché. Pour vous faciliter le travail, nous avons créer un format checklist qui vous permettra de vous rappeler des points importants à prendre en compte.
ACADEMY / Poursuivez votre formation à l'A/B testing en cliquant ici.
