16 résultats d’AB tests qui défient les règles de l’expérimentation

Vous pensiez pouvoir vous passer de certains tests ? Méfiez-vous ! Que ce principe ne soit pas adapté dans ce contexte ou que l'hypothèse soit formulée à partir d'une supposition incorrecte, le succès n'est jamais garanti.

Même en suivant les recommandations d’usage, en basant les modifications sur des données analytics et en répondant à des demandes directes d’utilisateurs, les modifications que vous apportez peuvent impacter négativement vos conversions. Seule l’expérimentation vous permettra de vous assurer du succès d’un changement ou du lancement d’une nouvelle fonctionnalité. En expérimentant, vous vous assurez de son succès de vos hypothèses avant de les généraliser plutôt que de les lancer “à l’aveugle”. Vous avez toujours une chance d’être surpris !

16 experts de l’expérimentation nous partagent un résultat de test qui les a étonnés et nous expliquent pourquoi les choses ne se sont pas déroulées comme prévu.

1. Ajouter des points de frictions

Vous essayez probablement de rendre l’expérience de vos utilisateurs la plus fluide possible. Pourtant, dans certains cas, les points de friction peuvent, au contraire, booster les conversions, comme le partage Shiva Manjunath, Senior Web Product Manager, CRO chez Motive :

On considère généralement que “moins de champs à remplir = plus de simplicité = plus de conversions.” Pourtant, et je l’ai vérifié plusieurs fois, il n’y a pas de règle. Un jour, j’ai voulu optimiser un formulaire de génération de leads en le faisant passer de 6 à 3 étapes. Résultat : une ÉNORME baisse du taux de conversion. En analysant les résultats, je me suis demandé si les étapes ne permettaient pas de construire, et donc de renforcer la confiance des visiteurs. J’ai donc décidé de tester l'inverse, à savoir ajouter une étape en début de formulaire. Cela va vous sembler incroyable, mais le taux de conversion a augmenté. Conclusion : testez toujours. Même quand ça vous semble évident.

Shiva Manjunath

Senior Web Product Manager, CRO chez Motive

L’ajout de champs dans un formulaire est-il une nouvelle “bonne pratique” à suivre ? Il apparaît clairement qu’un modèle général admet un grand nombre d’exceptions, dépendant notamment du contexte, comme le souligne Jakub Linowski, Fondateur et Lead Designer de Linowski Interaction.

Après avoir publié 130 modèles basés sur 460 expériences, je peux vous dire que le hasard est rare, mais que les taux de succès et d’échec pour un modèle donné sont rarement similaires d’une expérience à l’autre. Les probabilités peuvent toujours vous surprendre.

Par exemple, un site de recherche d’emploi très populaire en Grande-Bretagne a choisi de supprimer le champ “distance” de la barre de recherche dans le but d’augmenter le volume de recherches. Au contraire, les conversions liées aux recherches ont chuté de manière significative, probablement parce que ce critère permettait d’afficher des résultats plus pertinents. Quelques mois plus tard, Booking.com a augmenté le taux de conversion lié à sa search en ajoutant le filtre “Nombre d'enfants”.

Jakub Linowski

Fondateur et Lead Designer de Linowski Interaction

2. Retarder l’incitation à l'action (CTA)

Un bouton CTA bien visible semble être un excellent moyen de capter l’attention d’un utilisateur quelle que soit sa position dans le tunnel. Mais si le visiteur n’est pas prêt à acheter immédiatement, cet espace est-il utilisé à bon escient ? N'est-ce pas une perte d'espace qui pourrait être utilisé pour quelque chose de plus important ? Lydia Ogles, Manager, Experimentation and Optimization chez Vivin, explique :

La plupart des web designers vous incitent à placer un CTA assez haut sur votre site web, mais cette bonne pratique ne s’applique pas à toutes les entreprises.

En travaillant avec un cours préparatoire aux examens d'architecte, nous nous sommes aperçus que placer des propositions de valeur dans la section supérieure de la page avait un impact sur les ventes plus important que des boutons menant aux produits phare. Pour ce public spécifique, retarder le CTA pour commencer par présenter les avantages a permis d’augmenter les revenus de 70 %.

Lydia Ogles

Experimentation and Optimization chez Vivin

Ben Labay, CEO de Speero, a, lui aussi, mené des expériences similaires autour des placements de CTA :

Nous avons mené de nombreux tests à partir de CTA sticky sans parvenir à établir une règle absolue. Les variables sont trop nombreuses : à partir de quand la bannière devient sticky ? Continue-t-elle de l’être ? Doit-elle disparaître à certains endroits ? Doit-elle être fixe en plus d’être sticky ?

Récemment, j’ai mené un test pour un site e-commerce où le CTA était placé tout en bas du site mobile. Nous avons émis l’hypothèse que déclencher un CTA sticky en pied de page collant lorsque l'utilisateur fait défiler vers le haut encouragerait plus de personnes à interagir avec celui-ci. Mais les résultats n’étaient pas significatifs. Nous avons observé une légère augmentation du nombre total d'ajouts au panier, mais cela ne s'est pas traduit par plus de commandes ou de revenus par utilisateur. Il faudrait itérer pour trouver l’UX qui a un impact positif sur les transactions.

Ben Labay

CEO de Speero

3. Supprimer le cross-sell pour augmenter le panier moyen

Claire More, Head of Optimization chez SplitBase, illustre parfaitement le risque encouru lorsqu'on applique de grands principes sans se baser sur les données. Dans certains cas, il est indispensable de creuser et de procéder à des recherches et des tests plus approfondis pour comprendre la véritable cause de ces résultats.

Lors d’un test d’optimisation du panier sur mobile, nous avons challengé la présence de modules cross-sell à cet endroit. La version originale propose deux produits en cross-sell, la variation 1, un seul et aucun pour la variation 2. Sur tous les KPI observés, la variation 2 a donné les meilleurs résultats (Taux de Conversion, CA et panier moyen).

C’était très surprenant. Nous pensions que le cross-sell encourageait les visiteurs à atteindre le seuil “Livraison gratuite” mais les suggestions n’étaient visiblement pas assez pertinentes, car ils allaient chercher d’autres produits que ceux que nous leur proposions. La suppression du cross-sell a mieux fonctionné sur mobile que sur desktop. Ce bloc gênait probablement l’expérience de paiement des utilisateurs et devenait un point de friction.

Claire More

Head of Optimization chez SplitBase

Dans des cas comme celui-ci, il est indispensable de disposer d’un module de recommandation produit performant pour vous assurer que le problème ne vient pas de la pertinence des recommandations.

4. Oublier les vidéos produits

Cet exemple de Jonny Longden, Digital Experience Director chez Journey Further, témoigne de l'importance de tester, même lorsque l’hypothèse est issue d’une étude ou d’une analyse.

Sur un site e-commerce vendant des cadeaux fantaisie, l’ajout de vidéos Produits sur les pages produit a donné un résultat plat/non-concluant (-0,5 % d'effet observé). Une étude, menée par la marque, avait montré que les personnes qui regardaient des vidéos étaient plus susceptibles d'acheter. Ils en avaient donc incorrectement déduit que les vidéos provoquaient l'achat.

Malheureusement, c'est un exemple classique d’une mauvaise interprétation du déclencheur d’achat. Les personnes qui regardent ces vidéos font déjà partie des clients ayant la plus forte intention de conversion, même avant de les regarder. La vidéo n’augmente pas le nombre de passages à l’achat donc le ROI de ces contenus est nul.

Jonny Longden

Digital Experience Director chez Journey Further

5. Ajouter une bannière avec un message défilant pour améliorer les revenus

À moins que ce ne soit pour afficher les actualités du jour, il est conseillé d’éviter les messages défilants sur les sites. Pourtant, Linda Bustos, Fondatrice d'Edgacent, à un contre-exemple :

Dans ce cas précis, mon client voulait absolument tester une bannière promotionnelle classique versus une variante avec un message défilant contrôlée par l’utilisateur avec des flèches < > qui permettent de faire tourner 5 messages. La variante l'a rapidement emporté, avec +38 % de clics en plus par rapport au contrôle, une amélioration des revenus par visiteur (+3 %) et la baisse du taux de rebond (-1,2 %).

Nous avons ensuite tenté d’itérer en lançant un test où les performances de la version originale (sur fond gris) sont comparées à une variation 1 avec des émojis sur fond gris et une variation 2 sans émojis sur un fond jaune. Nous n'avons pas inclus de variante “émoji + jaune” en raison du manque de contraste. Avec la variation 2, les clics ont augmenté de 50 %, les conversions de 7 % et le chiffre d’affaires de 5,5 %. J’étais bluffée ! Cela a remis en question toutes mes certitudes sur l’utilisation des éléments défilants sur le site.

Linda Bustos

Fondatrice d'Edgacent

6. Challenger la lecture automatique du contenu suivant

Lorsque des géants de l’expérimentation, comme YouTube, Spotify ou Netflix, adoptent tous la même expérience utilisateur, on pourrait être tenté de penser que c’est un gage de succès. Pourtant, Léa Samrani, Consultante Product et Growth, recommande la prudence :

Sur YouTube, Spotify et Netflix, un autre contenu se lance automatiquement à la fin du contenu en cours. Cette pratique engendre généralement des taux d'engagement et de rétention plus élevés. Nous avons donc envisagé de le tester sur une app éducative, où le contenu proposé dure environ 5 minutes. C'était aussi l'une des fonctionnalités les plus demandées par les utilisateurs qui souhaitaient pouvoir écouter les contenus pendant les tâches ménagères, en faisant du sport ou en conduisant. À l'issue du test, les résultats montrent un taux d’engagement et de rétention en baisse.

Nous continuions de penser que la lecture automatique était une bonne idée, mais que la qualité du contenu qui suivait était en cause. Lors de ce premier test, le contenu suivant était choisi aléatoirement parmi les titres les plus populaires dans la catégorie sélectionnée. Cela n’était probablement pas assez précis pour les catégories de niche. Les données montrent que les utilisateurs commençaient à écouter le contenu, avant de l’arrêter. Nous avons donc investi dans un algorithme de recommandation plus puissant avant de rendre la fonctionnalité disponible.

Léa Samrani

Consultante Product et Growth

7. Supprimer le défilement automatique des offres dans le header

Après avoir connu son heure de gloire entre 2012 et 2015, la cote de popularité du slider en page d’accueil est en berne. Pourtant, selon Mélanie Kyrklund, Global Head of Experimentation chez Specsavers, ses performances n’étaient pas qu’un effet de mode :

Le hero de la homepage est un espace stratégique. Dans de nombreux cas, il est le premier point de contact avec le visiteur et est donc déterminant dans la fameuse “première impression”. Il y a quelques années, je travaillais chez Staples, nous avions un carrousel de trois offres qui défilaient.

Il y a eu un grand débat concernant l’impact du défilement automatique dans le hero sur l’UX. Nous avons donc testé la présentation du même carrousel, sans le défilement automatique (les visiteurs pouvaient toujours cliquer pour faire défiler les offres.) Les conversions ont baissé significativement. Les visiteurs n'interagissaient pas avec le hero. Nous avons donc itéré en ajoutant une vue grille avec les différentes offres visibles, ajouté un curseur de progression et des flèches bien visibles pour les encourager à cliquer, mais, au final, nous avons conservé le défilement automatique.

Melanie Kyrklund

Global Head of Experimentation chez Specsavers

8. Ne pas tout miser sur la preuve sociale

De nombreuses études montrent que les avis clients augmentent les conversions, même lorsque les commentaires sont négatifs. Shirley HC Lee, CRO Lead and Research Analyst chez Ask Phill a pourtant eu la preuve du contraire :

Lorsque nous avons lancé ce test, nous n’avions pas mené de recherche spécifique, mais nous étions absolument persuadés qu’il aurait un impact notable sur le comportement des utilisateurs. Nous avons ajouté sur nos pages liste des jauges d’évaluations par étoile et le nombre d’avis sous chaque produit pour augmenter le taux de conversion et les visites des pages produits, mais aucun résultat. Ni positif, ni négatif ! Peut-être est-ce dû à l'allongement de la page à cause des avis ? Cela rendrait la navigation un peu plus laborieuse… Nous sommes en train de réfléchir à des itérations avec différents designs et placements pour voir si cela nous permet d’obtenir des résultats.

Shirley HC Lee

CRO Lead and Research Analyst chez Ask Phill

Ton Wesseling, fondateur de Online Dialogue, a également identifié des limites à cette pratique :

La preuve sociale est l'une des techniques de persuasion les plus utilisées pour optimiser les conversions. Il y a quelque temps, alors que je travaillais pour une société de crédit (avec un contrôle de fonds solide, pour voir si vous pouviez en supporter les conséquences économiques), je m'attendais à ce que des éléments de preuve sociale sur le nombre de prêts qu'ils avaient déjà accordés affectent positivement le nombre de leads. Au contraire, cela a impacté négativement leur nombre et leur qualité.

Je me suis rendu compte que la preuve sociale est perçue différemment en fonction de la culture et de l’entourage. Par exemple, si TikTok est socialement accepté dans votre cercle de relations, vous serez heureux de partager que vous avez créé un compte. Au contraire, s’il ne l’est pas, vous aurez probablement envie de le cacher.

Ton Wesseling

Fondateur de Online Dialogue

9. Augmenter les seuils de livraison gratuite

Faire dépenser plus d’argent à ses clients en leur promettant quelque chose de gratuit ? C’est ce qu’a réussi à faire Deborah O'Malley, Fondatrice de GuessTheTest :

Quel est le seuil optimal pour la livraison gratuite ? Difficile de trouver le parfait équilibre avec un seuil assez bas pour être attractif, mais le plus élevé possible. Alors que je travaillais avec ce site e-commerce, j’ai mené ce test sur 40 000 visiteurs et deux semaines de temps. J’ai comparé une version avec seuil de livraison gratuite à 99$ avec une autre version à 199$. Il s'est avéré que les visiteurs étaient prêts à dépenser 100$ de plus pour obtenir la livraison gratuite.

Pour ce type de test, il ne faut pas seulement regarder les conversions. Il faut aussi regarder le panier moyen, qui avait augmenté de 5,6%, et le revenu par visiteur, à la hausse de 24% dans ce cas précis.

Deborah O'Malley

Fondatrice de GuessTheTest

10. Réduire l’urgentisation

Jouer sur la rareté d’un produit pour accélérer les conversions ne fonctionne pas toujours. Jason O'Dwyer, Digital Optimization Specialist chez Conversionry, en a fait les frais :

Nous avons optimisé un grand site e-commerce de jeux de sociétés et de cartes à collectionner. Des tests sur les pages produits ont montré un meilleur taux d’ajout au panier pour les produits indiqués comme “rares”. Malheureusement, l’analyse montrait un fort taux d’abandon au moment de la validation du panier. Nous avons décidé d’ajouter le texte “Produit populaire” à côté des produits très demandés ou proches de la rupture de stock, dans le panier des clients. Nous pensions que cela encouragerait les gens à valider leur transaction, sachant que le produit serait probablement bientôt épuisé.

Malheureusement, cela a eu l’effet inverse ! Le taux de conversion a chuté, ainsi que les transactions et le chiffre d’affaires. Nous nous sommes rendu compte que nos principaux persona étaient rebutés par ce message. Nous l’avons supprimé en gardant en tête qu’une stratégie qui fonctionne sur une partie du parcours n’aura pas forcément le même impact sur une autre partie du tunnel.

Jason O'Dwyer

Digital Optimization Specialist chez Conversionry

11. Préférer une image abstraite à un texte clair

Une image vaut mille mots. Gursimran Gujral, Co-Fondateur et Directeur Général chez OptiPhoenix, s’est vu confirmer ce dicton lors d’un test riche en enseignements :

Pour plus de clarté, nous pensions qu’inverser le premier et le deuxième bloc sur mobile augmenterait les conversions et le taux de clic sur le CTA du hero. Dans la variante, nous avons placé nos USP produits au-dessus du CTA, et déplacé l’image en dessous de celui-ci. Cette variante a fait baisser le taux de clic de 9,55% et le taux de conversion de 16%.

Même si le site vend des compléments alimentaires, l'image lifestyle a davantage aidé le visiteur à se projeter dans l’utilisation du produit que les USP. Au contraire, le texte a probablement fait douter les utilisateurs, d'où la baisse du taux de conversion.

Gursimran Gujral

Co-Fondateur et DG d'OptiPhoenix

Tania Bhattacharya, Experimentation Strategist chez Webistry, a également fait ce genre de constatation :

Une des pages produit d’un site e-commerce de pierres précieuses avait un taux de désengagement étonnant de 90 %. À l’aide de questionnaires et de données quantitatives, j'ai découvert des inquiétudes des visiteurs sur la crédibilité de la marque et l'authenticité du produit. Nous avons alors pensé que le prix du produit était trop élevé et qu’il soulevait des doutes sur la marque et le produit, entraînant un taux de désengagement élevé. Nous avons décidé de tester l'ajout d'un tampon “certifié” juste en dessous du bouton “Ajouter au Panier”, montrant que la pierre avait été authentifiée par trois autorités différentes. L’ajout de cet élément visuel a fait grimper les conversions à 1,60%, soit 177% d’amélioration.

Bien sûr, il paraît évident qu’ajouter des éléments de réassurance augmente les conversions, mais ce qui est frappant, ici, c'est que ces éléments étaient déjà écrits dans la description du produit. Nous pensions que les utilisateurs parcouraient avec attention la fiche produit au vu du prix du produit et qu’ajouter un badge de certification reprenant les mêmes informations aurait peu d'impact.

Tania Bhattacharya

Experimentation Strategist chez Webistry

12. Ne pas révéler ses engagements caritatifs

Vous pensiez qu’utiliser des éléments de votre politique RSE ne pourrait que booster vos ventes ? Yusuf Shurbaji, Co-Fondateur de Prismfly, vous prouve le contraire :

Suite aux résultats d’une enquête, nous avons décidé, avec l’un de nos clients, de supprimer la mention “10 % des bénéfices sont reversés à l'association XXX” de ses pages Produits. À notre grande surprise, les taux d’ajout au panier et de conversion ont nettement augmenté. Visiblement, ce message caritatif n’était pas un argument de vente, contrairement à ce qu’on pensait.
Évidemment, la marque n’a pas cessé de reverser une partie de ses bénéfices à cette association, mais, ce qu’il faut retenir, c’est qu’il faut absolument tester chaque message et l’endroit où il est diffusé. Cela peut être différent en fonction des marques et de la clientèle.