[Product Release] Nouvelle page résultat de test A/B

27 avril 2018

On ne devient pas la meilleure solution de testing et l’une des start-ups à la plus forte croissance en Europe sans se réinventer ! Après plus d’un an de travail avec nos clients et consultants, nous avons enrichi notre page de résultats de test A/B des fonctionnalités qui lui manquaient pour mieux répondre aux enjeux métier et business de nos utilisateurs. Elle est dès à présent accessible en version bêta depuis votre dashboard Kameleoon. Découvrez ces nouvelles fonctionnalités en moins de temps qu’il ne faut pour boire un café.

Indications d’actions à prendre sur vos tests

En un coup d'œil, vous identifierez les actions que nous vous recommandons de prendre. Celles-ci s'adaptent aux indicateurs pertinents pour vous. Par exemple, Kameleoon analyse en temps réel le temps nécessaire pour que vos résultats soient exploitables. [Product Release] Nouvelle page résultat de test A/B - 1 Si vos résultats ne sont pas encore exploitables, nous vous recommandons le nombre de jours encore nécessaires pour identifier une variante gagnante. Recommandation d’audiences automatique Pour les plus experts d’entre vous, vous savez qu’un test A/B peut avoir des performances variables suivant les segments visiteurs exposés. Dans certains cas, une variante peut très bien fonctionner sur le segment 1 mais moins bien sur le segment 2. Proposer la même variante à l’ensemble de son audience devient alors sub-optimale. Pour vous permettre de ne rater aucune opportunité, nos algorithmes propriétaires de machine learning analysent en continue les performances de vos tests, identifiant les variantes qui fonctionnent le mieux pour vos différents segments visiteurs. Ils gèrent toute la complexité de l’analyse des résultats pour que vous n’ayez pas à le faire, transformant automatiquement vos tests A/B en opportunités de personnalisation. En 1-click, vous pouvez adapter les expériences à vos différents segments visiteurs, ou en lancer une nouvelle sur un segment représentant une grosse opportunité de croissance. Cette fonctionnalité sera prochainement disponible. Pour plus d’informations, demandez une démo.

Nouvelle Dataviz et segmentation enrichie

Avoir accès aux bonnes données pour faciliter la prise de décision : c’est la promesse faite au marketeur moderne. Notre page de résultats est enrichie d'une DataViz puissante et de nombreuses possibilités de segmentation pour être au plus proche de vos besoins.

Nouveaux indicateurs pour une meilleure prise de décision

Nous avons intégré à notre page de résultats de nouveaux indicateurs de performances pour vos tests A/B :

l’intervalle de confiance : Nous ne nous contentons plus de vous indiquer le taux d'amélioration moyen évalué sur la base des conversions enregistrées. Désormais, nous affichons aussi l'intervalle de confiance dans le taux d’amélioration obtenu. Cela indique la probabilité que votre taux d’amélioration soit compris dans l’intervalle affiché.

[Product Release] Nouvelle page résultat de test A/B - 5

La fiabilité des résultats : Si vous êtes un adepte du testing, vous savez que votre test n’est pas considéré comme terminé avant que le taux de confiance ne se stabilise dans le temps.

Ce graphe est toujours disponible mais nous avons ajouté un indicateur visuel reflétant la stabilisation du taux de confiance. Si les 3 boxes s’illuminent, votre taux est stable et votre test fini !

Nouveaux Graphiques enrichis

Nombre de nos clients et utilisateurs ont plusieurs objectifs associés à un même test. Ce n’est pas étonnant dans la mesure où ils cherchent à comprendre l’impact de leurs hypothèses d’optimisation sur l’ensemble du parcours client et de leurs enjeux business. Nous avons retravaillé notre vue comparative (vue « toile d'araignée ») pour vous permettre d'identifier en un coup d'œil les performances de vos variantes sur vos différents objectifs. Nous avons également enrichi le nombre de graphes proposés : taux de conversion, nombre de visite, nombre de conversions, taux de confiance, etc. Mais nous allons encore plus loin : vous avez aussi la possibilité de ventiler les résultats sur votre objectif au sein même d’un graphe ! Nous allons encore enrichir le nombre de graphes proposés dans les mois qui viennent. Petit aperçu du programme qui vous attend :

l'allocation de trafic par variante
l'évolution de la répartition du trafic entre les variantes dans le temps
l'insertion des heatmaps au sein de la page de résultats et la possibilité de les comparer.

Vous pouvez aussi zoomer sur une partie de vos graphes pour analyser plus en détail une période précise des performances de votre test A/B.

[Product Release] Nouvelle page résultat de test A/B - 6

Segmentation et filtres avancés des résultats

La nouvelle page de résultats va plus loin qu’une simple ventilation des résultats par objectif ou anciens vs nouveaux visiteurs. Vous avez maintenant la possibilité de filtrer ou ventiler les résultats selon plus de 25 critères pour comprendre l’impact de différents éléments sur vos taux de conversion (météo, source de trafic, plage horaire de visite, page visitée, etc.).

[Product Release] Nouvelle page résultat de test A/B - 7

Faites la différence entre conversion unique vs multiple ou visite vs visiteur

Cette flexibilité offerte par notre page résultat vous permet d’être aligné avec vos objectifs business. Si vous êtes un e-commerçant, une augmentation de 10 % de la mise au panier prend une toute autre tournure que vous la regardiez sous l’angle du visiteur ou de la visite. De même, si votre business model est basé sur l’affiliation ou les revenus publicitaires (comparateurs, médias, etc.) et que vous cherchez à optimiser un taux de clic, il est intéressant de comparer les conversions multiples (par visiteur) et le nombre total de visites converties.

Pilotez vos tests A/B en temps réel

Le temps réel est au cœur de la technologie Kameleoon, qu’il s’agisse de notre capacité à analyser ou activer la donnée. Grâce aux améliorations continues apportées à notre moteur statistique, la latence inhérente au traitement de la donnée est réduite à son strict minimum. Dans le cas précis de la page résultats, le temps réel s’exprime à plusieurs niveaux :

Les données sont accessibles dès la mise en ligne de votre test A/B

Si vous êtes un adepte de solutions d’analytics, vous vous êtes probablement déjà retrouvé à devoir attendre la mise à jour automatique des données. Avec notre nouvelle page résultats, pas besoin d’attendre plusieurs heures avant de voir les dernières données remontent sur votre page résultats.

Vous êtes alertés en temps réel du comportement de vos tests

Conscients que vous n’êtes pas en permanence les yeux rivés sur votre dashboard, nous avons développé des alertes pour vous informer automatiquement des informations les plus importantes pour vous. Ces alertes sont customisées en fonction de vos besoins. Vous pouvez demander à être notifié·e dès qu’une variante gagnante est identifiée, dès que l’indice de fiabilité a atteint le seuil que vous souhaitez, lorsque nous détectons une anomalie de conversion sur votre test ou toute autre information pertinente à vos yeux.

[Product Release] Nouvelle page résultat de test A/B - 9

Consultez les performances de vos tests, même en déplacement

Nous savons que vous n’êtes pas toujours devant votre ordinateur et la page de résultats sera accessible prochainement depuis les terminaux mobiles. En bref, le suivi de vos performances sera désormais accessible à tout moment.

Des résultats adaptés à vos enjeux business

La différence notable vient de notre moteur statistique qui s’adapte à vos besoins pour apporter des réponses fiables à vos hypothèses d’optimisation en proposant deux méthodes de calcul statistique : le fréquentiste (efficace et fiable sur des tests à fort trafic) et le bayésien qui vous permet d’identifier les tendances plus rapidement que l’approche fréquentiste (sur des tests à plus faible trafic en montrant une probabilité de résultats pour accélérer votre cycle de décision). Attention : quelle que soit la méthode choisie, il faut attendre la stabilisation de l'indice de confiance dans les résultats du test pour prendre votre décision !

Une UX repensée pour simplifier l’usage au quotidien

Nous voulons faire de cette nouvelle page résultat un outil facile à utiliser au quotidien. Nous avons regroupé les informations et fonctionnalités par pertinence : retrouvez tous les paramètres influençant les données liées à votre test en haut de la page et la configuration de votre test sur le panneau de droite.

[Product Release] Nouvelle page résultat de test A/B - 11

Pilotez vos tests directement depuis la page résultat

Vous pouvez maintenant éditer la répartition du trafic, une variante, lancer une simulation (ciblage et recette) et une prévisualisation des variantes directement depuis la page de résultats. Plus besoin de repasser par l’éditeur graphique pour faire cela ! Nous avons également ajouté une timeline propre au test, permettant de retrouver l’historique de toutes les actions effectuées sur un test.

[Product Release] Nouvelle page résultat de test A/B - 10

Partagez vos résultats plus simplement

Le partage en interne des performances des tests lancés est indispensable pour développer une culture de l’optimisation et embarquer l’ensemble de vos équipes. Jusque-là, la consultation de la page résultat n’était possible que lorsque l’utilisateur se connectait à son compte Kameleoon. Nous avons ajouté la possibilité de partager un URL public avec mot de passe. Vous pouvez dès à présent accéder à la version Bêta de notre nouvelle page de résultats directement depuis votre dashboard Kameleoon. Gardez l’œil ouvert, toutes ces nouveautés seront progressivement accessibles sur les prochaines semaines.