Experimentation-Experten im KI-Zeitalter: Unverzichtbar oder ersetzbar?
Stehst du der Nutzung von KI in deinem Job eher skeptisch gegenüber oder siehst du sie als spannende Chance? Ist KI nur ein kurzfristiger Hype, oder kann sie wirklich einen echten Mehrwert bieten? Wie bei jeder neuen Technologie gibt es oft zwei extreme Lager: Die einen fürchten, dass KI unsere Jobs ersetzt, während andere sie als unwichtig abtun und glauben, alles könne bleiben, wie es ist. Wie so oft liegt die Lösung irgendwo dazwischen.
Die Wahrheit ist weniger dramatisch, als es oft dargestellt wird. Experten schätzen, dass durch KI zwar rund 85 Millionen Jobs wegfallen, gleichzeitig aber etwa 97 Millionen neue entstehen werden. Für Teams bedeutet das: Wer seinen Wert unter Beweis stellen will, sollte lernen, KI sinnvoll einzusetzen und die gewonnene Zeit in strategische oder kreative Aufgaben stecken – in Bereiche, in denen Maschinen nicht so leicht mithalten können.
Um herauszufinden, welche Rolle Experimentation Experten in dieser neuen KI-Welt spielen, haben wir mit acht Fachleuten gesprochen, die KI bereits in ihren Testprogrammen erproben.
Dein neuer Co-Pilot
Nach zahlreichen Gesprächen mit Fachleuten aus der Branche zeigt sich: Eine einheitliche Meinung darüber, wofür KI-Tools am besten eingesetzt werden sollten, gibt es nicht. Besonders bei der Frage, ob KI bei der Datenaufbereitung und -analyse unterstützen kann, gehen die Meinungen auseinander. Johann Van Tonder berichtet, wie ihm KI bereits jetzt bei der Datenanalyse hilft:
Die Datenanalyse dauert jetzt nur noch einen Bruchteil der Zeit. Ich habe genug Stichproben und Validierungen durchgeführt, um sicherzugehen, dass die Ergebnisse der KI mindestens so präzise sind wie die eines Menschen – wenn nicht sogar genauer. Aber was ist mit den sogenannten „Halluzinationen“? Interessanterweise zeigt der direkte Vergleich, dass Menschen viel häufiger Fehler machen, als wir bisher dachten.
Andere warnen jedoch davor, sich vollständig auf KI zu verlassen, da die zugrunde liegenden Datensätze oft entscheidende kontextuelle Informationen nicht erfassen. Ellie Hughes erklärt:
Um genauer zu erklären, welche Art von Kontext und menschlichem Urteilsvermögen weiterhin notwendig sind, gibt Florent Buisson ein Beispiel:
Eines ist klar: Die Analyse durch KI sollte als erster Durchgang betrachtet werden. KI ist ein Co-Pilot, der bei der Vorbereitung und Auswertung von Daten unterstützt. Eine menschliche Überprüfung ist jedoch unerlässlich, um die Ergebnisse auf Plausibilität zu prüfen.
Upgrade dein Know-how, um effektiv mit KI zu arbeiten
Ein zentrales Thema in unserer Branche ist, dass KI als Assistent für Experimentation Teams betrachtet werden sollte – nicht als Ersatz. Um diese Technologie jedoch effektiv zu nutzen, müssen wir möglicherweise unsere Prozesse anpassen und neue Skills erlernen. Dafür haben wir bereits einen Leitfaden zu KI-Prompts erstellt, der dir weiterhelfen kann.
Eric Itzkowitz erläutert, welche neuen Skills Experimentation Teams benötigen:
Da diese neuen Fähigkeiten immer wichtiger werden, ist es sinnvoll, Stellenanzeigen entsprechend anzupassen und darauf zu achten, ob Bewerber bereits Erfahrung mit KI-Tools haben. Man sollte keine jahrelange Praxis erwarten – die Technologie ist noch neu. Aber ein grundlegendes Verständnis und erste Berührungspunkte sind ein guter Start.
Da KI in bestimmten Aufgaben immer besser wird, könnten einige bestehende CRO-Skills an Bedeutung verlieren. Jonathan Shuster beschreibt, welche Skills seiner Meinung nach weniger gefragt sein werden – und welche KI-Features dein Testing-Tool idealerweise haben sollte:
KI wird in diesem Bereich immer besser – das ist unausweichlich, und wir müssen uns damit arrangieren. Aber bisher habe ich noch keine KI-Technologie gesehen, die echte menschliche Kreativität, Intuition, Teamgeist und das nötige Fingerspitzengefühl ersetzt, um wirklich innovative und erfolgreiche Experimente durchzuführen.
Klar, meine Kollegen und ich haben natürlich ein eigenes Interesse daran, nicht überflüssig zu werden – du kannst meine Einschätzung also gerne als Selbstschutz abtun. Aber ich verlasse mich auf mein Bauchgefühl. Schließlich bin ich Mensch.
Um in dieser neuen Ära der KI-gestützten Experimente wirklich erfolgreich zu sein, sollten wir uns darauf konzentrieren, wo KI uns am meisten Arbeit abnehmen kann. So gewinnen wir Zeit für die Dinge, bei denen wir als Menschen den größten Mehrwert schaffen. Matt Beischel spricht darüber ausführlicher:
Ein vielleicht etwas abgenutzter Vergleich: Photoshop hat Designer nicht überflüssig gemacht. Es hat ihnen einfach lästige, zeitaufwendige Arbeit abgenommen – das physische Schneiden, Kleben, Retuschieren und Zusammenstellen –, sodass sie sich auf das Kreative konzentrieren konnten.
Genauso kann KI auch im CRO-Bereich für mehr Effizienz sorgen. Große Sprachmodelle können bei vielen Routineaufgaben unterstützen: Sie helfen dabei, Forschungsfragen zu formulieren, Markt- und Wettbewerbsanalysen durchzuführen, Themen zusammenzufassen, Hypothesen zu entwickeln und zu validieren, Ideen zu generieren oder Inhalte zu schreiben. Das spart Zeit und erleichtert den Einstieg – solange man die Ergebnisse mit gesundem Menschenverstand überprüft und anpasst.
Experten als Wegweiser durch die Informationsflut
Eine spannende neue KI-Anwendung gewinnt an Bedeutung: sogenannte synthetische Zielgruppen. Dabei erstellt eine generative KI eine künstliche Gruppe von Nutzern, die auf echten Daten basiert – mit dem Ziel, sich so zu verhalten und zu reagieren, wie es echte Kunden tun würden. Erste Zahlen deuten darauf hin, dass diese synthetischen Daten bis zu 88 % mit den Insights aus echten Zielgruppen übereinstimmen.
Das eröffnet interessante Möglichkeiten, etwa in der quantitativen und qualitativen Marktforschung. Vielleicht könnte man sie sogar für A/B-Tests nutzen? Genau dieser Frage geht Benjamin Skrainka nach:
Genau hier wird kausales Machine Learning (ML) spannend. Diese neuen Methoden kombinieren KI mit Techniken der Kausalanalyse, wie zum Beispiel „Double-Debiased ML“, um besser einzuschätzen, welche Maßnahme welchen Effekt hatte – besonders in Bereichen wie Marketing, wo Experimente nicht immer sauber durchführbar sind. Trotzdem bleibt das A/B-Testing, also echte randomisierte Experimente, der beste Weg, um Kausalzusammenhänge nachzuweisen.
KI kann A/B-Tests zwar deutlich verbessern – zum Beispiel, indem sie hilft, Störgeräusche zu reduzieren oder die optimalen Testgruppen zu finden. Aber ohne echte Zufallszuteilung bleibt sie nur ein unterstützendes Tool, kein Ersatz. Am Ende macht KI A/B-Tests also nicht überflüssig – sie macht sie einfach besser.
Eine der entscheidenden neuen Fähigkeiten für Teams ist es, genau zu wissen, wann und wo der Einsatz von KI wirklich Sinn ergibt – und die Ergebnisse mit einem kritischen Blick zu hinterfragen. Unabhängig davon, wie KI eingesetzt wird, wird eines immer klarer: Experimentation-Teams müssen zunehmend die Rolle von Kuratoren übernehmen. Dazu gehört auch, die zugrunde liegenden Modelle genau unter die Lupe zu nehmen und sicherzustellen, dass sie wirklich verlässliche Ergebnisse liefern. Warum das so entscheidend ist, erklärt Amrdeep Athwal:
Zum einen basieren sie meist auf großen Mengen historischer Daten, um aktuelle und zukünftige Entwicklungen vorherzusagen. Doch die Welt verändert sich ständig, und selbst kleine Veränderungen können das Verhalten von Nutzern beeinflussen.
Dann gibt es die Frage des Vertrauens. Wenn wir nicht wissen, wie genau die Vorhersagen wirklich sind, können wir auch nicht beurteilen, wie sehr wir uns darauf verlassen können – oder wo sie überhaupt sinnvoll eingesetzt werden sollten.
Und schließlich geht es um Transparenz. Wenn ein Nutzer sich fragt, warum er eine bestimmte Empfehlung oder ein bestimmtes Erlebnis hatte, wäre es hilfreich, erklären zu können, welche Faktoren dazu geführt haben. Durch regelmäßige Tests lassen sich die entscheidenden Einflussgrößen besser verstehen.
Letztlich darf man KI-gestützte Vorhersagemodelle nicht als eine Art allwissendes Orakel behandeln, dem man blind vertraut. Vertrauen muss immer wieder überprüft und verdient werden.
Es gibt schon Fälle, in denen Vorhersagemodelle für personalisierte Preise genutzt wurden – mit problematischen Folgen. Weil niemand die Modelle richtig im Blick hatte, kam es dazu, dass die Preise je nach Alter der Kunden unterschiedlich ausfielen. Wer solche Modelle einsetzt, muss verstehen, wie sie arbeiten und sie aktiv steuern. Sonst kann es schnell passieren, dass sich ungewollte oder sogar diskriminierende Muster einschleichen – und das sorgt nicht nur für rechtliche Probleme, sondern kann auch das Vertrauen der Kunden schwer beschädigen.
Daten werden dadurch noch wichtiger
Je mehr Experimentier-Teams KI-Tools in ihre Arbeit einbinden, desto wichtiger wird der Fokus auf präzise und verlässliche Daten – denn genau darauf basiert die Ausgabe dieser Tools. Warum das so entscheidend ist, erklärt Ellie Hughes:
Aber so funktioniert das nicht. „Garbage in, garbage out“ – wenn die Daten, mit denen die KI arbeitet, unvollständig oder fehlerhaft sind, kommt am Ende auch nichts Vernünftiges heraus. Und das kann nicht nur zu schlechten Ergebnissen führen, sondern auf lange Sicht richtig ins Geld gehen.
Genaue Daten zu bekommen war schon immer eine Herausforderung – aber wenn KI damit arbeiten soll, wird saubere Datenqualität noch wichtiger. Wie Ellie sagt: „Garbage in, garbage out.“
Um sicherzustellen, dass deine Daten wirklich brauchbar sind, solltest du dich auf fünf zentrale Aspekte konzentrieren:
- Vollständigkeit des Datensatzes.
- Relevanz der Daten für die Fragen, die du beantworten möchtest.
- Gültigkeit der Daten. Werden die Daten einheitlich erfasst oder in unterschiedlichen Formaten?
- Aktualität der Daten. Alte Daten bedeuten, dass sich Bedingungen oder das Nutzerverhalten seit der Erfassung verändert haben könnten.
- Konsistenz innerhalb des Datensatzes. Zeigen verschiedene Systeme oder Analysetools dieselben Kennzahlen?
KI gezielt für sich einsetzen
KI-Tools entwickeln sich jeden Tag weiter. Was heute noch nach Zukunftsmusik klingt, kann morgen schon Realität sein. Aber egal, wie fortschrittlich sie werden – KI sollte immer als Unterstützung dienen, nicht als Ersatz.
KI kann Aufgaben wie Datenanalyse übernehmen und sogar Zielgruppen synthetisch nachbilden – doch ohne menschliche Kontrolle und präzise, verlässliche Daten bleibt das Risiko fehlerhafter Ergebnisse hoch.
Statt Angst davor zu haben, dass KI unsere Jobs ersetzt, sollten wir lernen, sie gezielt einzusetzen. Wer versteht, wie man die richtigen Prompts stellt und Prozesse anpasst, kann KI effektiv als Zeitersparnis nutzen.
Am Ende bleibt menschliches Urteilsvermögen, Intuition, Kontextverständnis und Zusammenarbeit unverzichtbar. KI ist ein wertvolles Werkzeug – aber sie ergänzt unser Wissen, sie ersetzt es nicht.
Ein großes Dankeschön an die Experten, die ihre wertvollen Insights zu diesem Artikel beigesteuert haben:
- Ellie Hughes, Head of Consulting bei Eclipse Group
- Johann Van Tonder, CEO bei AWA Digital
- Florent Buisson, Applied Behavioral Economist
- Eric Itzkowitz, Director of Conversion Rate Optimization
- Jonathan Shuster, Digital Marketing Optimization Consultant
- Matt Beischel, CRO Consultant - Designer, Developer, und Optimizer bei Corvus CRO
- Benjamin Skrainka, Lead Economist
- Amrdeep Athwal, Owner von Conversions Matter
Wenn du KI als Unterstützung direkt einsetzen möchtest, lese dir unseren Blogartikel durch – dort findest du Tipps, wie du mit den richtigen Prompts das Beste aus KI für deine Experimente herausholen kannst.
Fragst du dich, wie KI Test- und Experimentierprozesse deiner Teams verbessern kann?
