Comment mettre en place une culture d’Expérimentation Produit au sein de votre organisation ?
Alexandre Suon-Perhirin, Head of Experimentation depuis 4 ans pour le groupe Accor, vous présente comment il a plongé l’entreprise dans la culture d’expérimentation Produit.
Faut-il faire une différence entre A/B testing et Expérimentation ?
L’A/B testing est la simple pratique de diviser son trafic pour comparer une page modifiée et sa version originale et analyser les résultats. L’expérimentation, en revanche, est la démarche globale. C'est-à-dire l'ensemble du processus, depuis la recherche de l'idée, la formulation d'une hypothèse et l'exécution du test AB, jusqu’à l’analyse des résultats et des enseignements qu’on en tire.
L’expérimentation est une approche particulièrement utile à diverses étapes du cycle de développement d’un produit :
- En phase de Discovery : L’expérimentation est un excellent outil de recherche. Elle permet de valider des hypothèses avant la phase de développement Produit et de prioriser les sujets à développer par leur valeur.
- En phase de Delivery : Elle permet de sécuriser le lancement de nouvelles fonctionnalités avec un déploiement progressif ou ciblé et de réaliser des itérations plus facilement sans altérer l’expérience des utilisateurs.
Pourquoi mettre en place une stratégie d’Expérimentation Produit ?
Adopter une démarche d’Expérimentation Produit présente quatre grands avantages :
- Améliorez en continu : Les résultats de vos tests vous permettent d’optimiser en permanence l’expérience utilisateur et les fonctionnalités que vous leur proposez
- Allouez mieux vos ressources : En testant vos hypothèses, vous pouvez identifier les meilleures opportunités (UX, Business...), prioriser votre roadmap Produit et faire l’économie de développements coûteux
- Sécurisez vos lancements : Grâce à la Feature Experimentation, vous réduisez de facto les risques en lançant uniquement des fonctionnalités abouties et plébiscitées par vos utilisateurs
- Soyez data-driven : L'expérimentation permet d’obtenir un grand nombre de données afin de prendre des décisions basées sur des chiffres et non sur l'intuition.
Quels sont les axes fondamentaux d’une stratégie d’Expérimentation Produit ?
Pour mettre en place une culture de l'expérimentation, il faut tenir compte de 3 éléments fondamentaux :
- La plateforme : Je vous conseille de choisir la plateforme la plus complète possible, celle qui vous limite le moins dans vos envies/besoins d’expérimentation. Elle doit suivre votre évolution. Même si, dans un premier temps, vous n’aurez probablement pas besoin de fonctionnalités très avancées comme le Feature Management, le testing server-side ou la personnalisation IA, vous en aurez probablement besoin plus tard
- Les process : Les process vont dépendre avant tout du niveau d’expérimentation et de l’environnement (le nombre de personnes impliquées, le type de produit, la structure des équipes). Plusieurs process peuvent coexister au sein d’une même société. Restez ouverts et souples pour adopter le fonctionnement qui correspond à votre organisation et le faire évoluer lorsque vous gagnez en maturité.
- Les personnes : Toute transformation d’ampleur est potentiellement source de frictions. Faites preuve de diplomatie. Appuyez-vous sur les personnes qui vous soutiennent et ne braquez pas vos détracteurs. Votre objectif est qu’ils se placent dans une position neutre voire qu’ils deviennent un jour des alliés.
Comment Accor a mis en place une culture de l’Experimentation Produit ?
Chez Accor, nous sommes passés par 4 stades clés. Ce n’est pas forcément le cas de toutes les entreprises. Certaines ont besoin de moins d’étapes. Cela dépend de sa taille et d’à quel point elle est déjà avancée dans sa maîtrise de l’expérimentation. Au début, il n’y avait pas de culture de l’expérimentation particulière chez Accor. Nos backlogs étaient plein de fonctionnalités, mais aucune ne répondait à une problématique client.
ÉTAPE 1 - Pitcher
Pour commencer, l’entreprise doit se familiariser avec la pratique de l’expérimentation, et progressivement acculturer l’organisation aux bénéfices du testing. Chez Accor, cette étape a duré environ 1 an, pendant lesquels nous avons mené tout au plus 25 tests, sans réelle roadmap ni priorisation.
- Plateforme : Commencez par prendre en main les basiques de l’expérimentation web. Lancez des AB tests simples puis validez des hypothèses plus poussées en élaborant des tests multivariés ou à plusieurs variations. À cette étape, un éditeur graphique et un éditeur de code simple sont suffisants.
- Process : Gardez en tête les objectifs business pour établir un cap vers lequel vous diriger, mais à ce stade, les ressources allouées à l’expérimentation sont encore réduites, et les process ne seront pas la clé pour passer au stage suivant.
- Personnes : Entourez-vous de personnes prêtes à vous accompagner et susceptibles d’en entraîner d’autres avec vous. Soyez inspirant ! Chez Accor, ma première équipe était composée d’un Consultant (moi), un Business Owner et un Product Owner. Nous n’étions même pas une vraie équipe, mais plutôt une filiale d’une autre équipe.
Exemple de test de niveau 1 :
La première expérience menée par Accor a été un simple test avec une modification d’un texte et d’un CTA sur la page d’accueil. Les données analytics montraient un faible taux de clics sur les offres situées à cet endroit.
En utilisant l’éditeur graphique WYSIWYG de Kameleoon, l’équipe a pu mettre en place un test AB nocode dont les résultats ont montré une augmentation de +70% des clics sur le CTA “Réserver”. La variation a donc été déployée pour être visible par tous les visiteurs du site.
ÉTAPE 2 - Communiquer et organiser
Les différentes parties prenantes de votre organisation ont saisi l’intérêt d’expérimenter et les sollicitations se multiplient. Les hypothèses sont maintenant proposées par différentes équipes : Produit, Design et Marketing. À ce stade, il s’agit donc de se structurer et de mettre l’emphase sur l’organisation et la bonne allocation des ressources. Chez Accor, cette étape a duré près de 2 ans. Les ressources dédiées à l’expérimentation se sont progressivement détachées de la direction Analytics sous laquelle elles travaillaient, pour former leur propre équipe d’expérimentation, au service de toutes les autres (Design, Dev, Produit, Business). À cette époque, les équipes ont pu lancer entre 25 et 50 tests par an.
- Plateforme : Les tests sont de plus en plus fréquents et vous devez étudier attentivement les données qui en découlent. Votre solution de testing doit donc s’intégrer parfaitement à votre tech stack (notamment à vos outils analytics) et permettre le testing en server-side avec une connexion fluide de votre backend et de la plateforme grâce à un SDK adapté.
- Process : À cette étape, les process s’étoffent. Le nombre de tests requiert de créer un backlog ainsi qu’un ordre de priorité pour les membres de l’équipe. Communiquez avec précision vos besoins et vos attentes en fonction des données analytics et des résultats de vos tests.
- Personnes : Chez Accor, les quelques personnes dédiées à l’expérimentation au sein de l’équipe Analytics constituent désormais une équipe à part entière, composée d’une dizaine de personnes, dont un Responsable de l’Expérimentation, un Product Owner et une équipe de développeurs dédiée.
Exemple de test de niveau 2 :
Pour ce test en server-side, Accor se base sur la constatation que la plupart de ses concurrents ajoutent, sur les pages produit des hôtels, le nombre de photos dans la galerie sur la première photo. L’équipe d’expérimentation souhaite évaluer l’impact de cette précision sur le taux de conversion de ses visiteurs.
Ce test montre qu’un très grand nombre de visiteurs cliquent sur la galerie, mais qu’ils sont moins nombreux à le faire lorsqu’ils s’apprêtent à convertir. Un indicateur important pour calculer les probabilités de conversion du client.
ÉTAPE 3 - Développer
Une fois la pratique du testing bien ancrée, vous pouvez passer à une phase de développement, alignée sur les objectifs clés de votre organisation (OKR). Misez avant tout sur la qualité et l’impact de vos tests et sensibilisez vos équipes au concept “Test & Learn”. L’expérimentation devient quasi systématique pour les décisions métiers ou business, mais il faut savoir faire le tri pour se concentrer sur les projets porteurs de valeurs. Autour de 100 tests par an sont lancés par Accor à cette étape.
- Plateforme : Maintenant que vous pratiquez des tests de plus en plus avancés, vous aurez probablement bientôt besoin de tester des parties du produit plus “sensibles” ou de lancer de nouvelles fonctionnalités avec plus de sécurité. Pour cela, le Feature Management va vous permettre de mesurer l’impact de votre nouvelle feature grâce à un déploiement progressif et/ou ciblé.
- Personnes : L’équipe grandit et il faut former de plus en plus de personnes à l’expérimentation. Il est nécessaire de mettre en place un Centre d’Excellence pour étendre les process à d’autres équipes, susceptibles, elles aussi, de mettre en place des tests.
- Process : Avec l’essor de l’expérimentation dans l’entreprise, la difficulté principale reste d’aligner toutes les parties prenantes et toutes les équipes sur les mêmes priorités business et produits. Les résultats des expériences passées, compilés dans les rapports Kameleoon, et les données analytics sont alors particulièrement utiles pour établir des objectifs communs à toutes les équipes, quelle que soit leur expertise.
Exemple de test de niveau 3 :
Pour ce test, Accor challenge le design d’une page stratégique de son parcours client, la fiche hôtel, en s’inspirant des présentations de ses concurrents. Ce test requiert des changements graphiques et structurels importants, impossibles à mettre en place avec un éditeur graphique ou un éditeur de code simple, car le template de la page est complètement modifié.
ÉTAPE 4 - Innover
Lors de la dernière étape, l’expérimentation sert l’innovation. Elle est pleinement intégrée à la culture de l’entreprise. L’expérimentation ne permet plus seulement de tester des améliorations, elle est un véritable levier de prise de décisions business stratégique pour l’entreprise. Comment valider la pertinence d’un partenariat ? Quel ROI attendre d’une nouvelle feature ? À ce stade, il est également utile d’étendre son champ d’action en renforçant votre stratégie d’expérimentation avec des prestations tech et conseils sur mesure. Accor entre tout juste dans cette phase, avec à la clé plus d’une centaine de tests par an.
- Plateforme
Votre solution d’expérimentation doit maintenant pouvoir vous accompagner dans des tests de plus en plus spécifiques. Afin de proposer une expérience encore plus pointue à vos visiteurs, vous pouvez appuyer vos tests sur la personnalisation IA. La plateforme doit donc être parfaitement compatible avec votre Data Warehouse pour que la qualité des données que vous récoltez soit irréprochable. Elle peut aussi créer pour vous des fonctionnalités “sur mesure” afin que l’outil s’adapte encore mieux à vos usages.
- Personnes : L’expérimentation est progressivement devenue un outil de validation business pour les dirigeants. Chez Accor, l’équipe est rattachée à la Vice-Présidente Senior et un autre membre du Codir Chief Data Officer qui participent activement à la définition de la roadmap et de la stratégie de l’équipe.
- Process : L’expérimentation représente désormais environ 70% du backlog de toutes les équipes, quel que soit leur domaine. Chez certains, elle atteint même 90% du backlog, ce qui veut dire que seuls les éléments légaux sont intégrés sans être testés au préalable. Allouez en priorité vos ressources aux tests qui auront l’impact le plus fort, en cohérence avec la stratégie globale de l’entreprise.
Exemples de test de niveau 4 :
Accor a récemment lancé deux types de tests caractéristiques de ce niveau d’innovation.
Premier test, Accor compare une solution de collecte d’avis utilisateurs construite grâce à Kameleoon à une solution proposée par un outil Saas.
Deuxième test, Accor teste l’intérêt de ses visiteurs pour une souscription à une assurance juste avant le passage au paiement. Ce test permet de juger de la pertinence d’un partenariat avec AXA.
Dans les deux cas, l’expérimentation permet de tester la nécessité d’un investissement. Suite à chacun de ces tests, il sera possible de prendre une décision business basée sur les données et non sur l’intuition. Ce type de test peut également être décisif pour les entreprises e-commerces, car il permet aussi de tester l’ajout d’une référence au catalogue avant d’établir un accord commercial. Grâce à un simple test, vous obtiendrez ainsi un taux de transformation fiable qui vous permettra de décider de l’intégration de la référence ou non.
Que dirais-tu à une équipe Produit qui souhaite étoffer sa stratégie d’expérimentation ?
L’expérimentation sert avant tout à vous simplifier la vie en vous donnant tous les éléments nécessaires pour prendre les bonnes décisions et résoudre les problèmes que vous rencontrez. Concentrez-vous toujours sur les 3 P : “Personnes”, “Process” et “Plateforme”. Ce qui compte n’est pas ce que vous faites ni la quantité, mais la manière dont vous le faites.
