Comment booster son programme d'expérimentation avec l’IA ?

Bradley Rodé, Lead Data Scientist chez ConversionAdvocates, se passionne pour la recherche de nouvelles façons d'utiliser la Data Science pour soutenir la croissance des entreprises. Nous lui avons posé quelques questions.

Bradley, comment l'IA peut-elle contribuer à optimiser une stratégie d’expérimentation ?

L'IA peut vous donner un coup de pouce pour analyser les résultats de vos tests ou formuler de nouvelles hypothèses. Un algorithme, nourri entre autres par vos données expérimentales (ou tout autre type de données tabulaires), peut notamment vous proposer une analyse précise de vos résultats, la création d’éléments de visualisation ou l’étude de vos différents segments. Les modèles de langages les plus développés peuvent même exécuter du code Python à l'intérieur de l'interface utilisateur du chat, accélérant ainsi toute technique d'analyse avancée en laissant l'IA rédiger et exécuter le code par elle-même.

L'IA peut également formuler des hypothèses pour vos prochains tests. En lui fournissant des datas comme vos données issues d'expériences passées, vous pouvez améliorer encore davantage la qualité des hypothèses générées. Cela dit, difficile de savoir si elle est plus efficace qu’un humain. Ses prédictions seront toujours dépendantes des données sur lesquelles elle a été entraînée.

En dépit de sa puissance, l’IA reste limitée. Elle est incapable de brainstormer avec les différentes prenantes internes et externes et de prendre en compte certains éléments comme le langage corporel ou la connaissance tacite.

L'IA peut-elle aider à créer une meilleure hypothèse ?

Un essai comparatif randomisé (ECR), de l'anglais Randomized Controlled Trial, permet d’établir une corrélation entre un élément et son effet par l’éventail de données qui en découle. Il existe néanmoins d’autres moyens d’évaluer l'impact des éléments sur votre site web grâce à vos données Analytics.

Très courante en biostatistique et en économétrie, rarement utilisée en Product Analysis, la méthode de "l'appariement" permet d’éliminer les facteurs de confusion. Chaque utilisateur qui déclenche un événement précis est appairé à un utilisateur identique, qui lui, n'a pas déclenché l'événement. Cela crée deux ensembles de données très équilibrés à analyser puisque la seule différence réside dans le déclenchement ou non de l’événement que nous étudions. En comparant les deux parcours, il peut alors être possible de déterminer les facteurs de confusion et de dessiner des liens de causalité.

Un processus qui peut être facilité par le Machine Learning. Les algorithmes IA excellent dans l'attribution d'une "probabilité de traitement" et permettent d’accélérer la formulation d’hypothèses à partir de liens de causalité. Cela ne remplace pas un ECR de bonne qualité, mais cela permet une meilleure connaissance des différents composants qui impactent la probabilité de conversion de nos utilisateurs avant de formuler des hypothèses à tester.

Quels domaines de la recherche utilisateur et de l'analyse de données peuvent être améliorés avec l'IA ?

L'IA est extrêmement efficace pour synthétiser de grandes quantités de données, y compris du texte écrit.

Vous pouvez, par exemple, utiliser l’IA pour analyser et classer des avis des clients par thèmes et émotions. J’ai récemment tiré des enseignements surprenants grâce à cette méthode en travaillant avec une entreprise de vêtements se positionnant comme “haut de gamme” et engagée pour la durabilité. En utilisant l'IA pour analyser des milliers d'avis de clients, nous avons constaté que les avis positifs ne mentionnaient presque jamais la durabilité, et les avis négatifs ne mentionnaient presque jamais le prix. C'était la coupe et la taille des vêtements et la qualité des matériaux qui importaient le plus aux clients, qu’ils aient laissé une étoile ou cinq.

Grâce à ces insights, la marque a pu concevoir des hypothèses de tests construites à partir des vraies attentes de leurs clients et non des suppositions.

Comment booster sa stratégie de personnalisation grâce à l'IA ?

Optimiser son produit digital grâce à l’IA est une pratique en plein essor. La personnalisation, par exemple, est essentielle pour les sites proposant une gamme de produits très large. Plus celle-ci grandit, plus la diversité de la base d'utilisateurs et le nombre de permutations potentielles pour la personnalisation augmentent. L'IA permet de générer des recommandations pertinentes et de répondre aux besoins de chaque client en lui offrant une expérience utilisateur unique.

L'IA peut aussi être utilisée pour :

• La recommandation produit en suggérant au visiteur des produits à acheter ou des films à regarder.
• Une segmentation efficace en regroupant automatiquement les utilisateurs pour leur proposer une expérience particulière.
• Le score de chaleur pour cibler les utilisateurs sur le point de quitter le site ou de finaliser un achat.
• La détection d’opportunités en identifiant des sous-segments ayant répondu positivement à un test non-concluant pour vous permettre de relancer le test sur cette cible.

Quel domaine de l'expérimentation sera le plus impacté par l'IA à l'avenir ?

Pour moi, l'impact le plus significatif sera sur la création de variations pour les tests.

On imagine aisément un futur où l'intelligence artificielle collecte des données sur les variantes des tests que ce soit pour des changements simples, de wording ou de CTA, ou plus complexes, de design ou de fonctionnalités, ainsi que toutes les données de résultats. L'IA pourrait alors être capable de prédire (très précisément) sur quoi doit porter votre prochain test et de générer les variantes à comparer. Elle pourrait, même, dans un avenir proche, devenir tellement performante qu’elle pourra coder et lancer l’expérimentation toute seule.

Kameleoon propose aussi plusieurs fonctionnalités IA comme la personnalisation IA ou le détecteur d’opportunité pour identifier les sous-segments performants dans les tests négatifs ou non-concluants. Demandez une démo pour en savoir plus.