KI & Strategie · ca. 6 Min.

Wann ich ein KI-Experiment für gelungen halte

In meiner Lehrveranstaltung an der FH Vorarlberg beschäftige ich mich mit KI im Kundensupport. Eine mögliche Fallaufgabe sieht so aus. Eine Kundin meldet sich zum dritten Mal, weil ihr Problem noch immer besteht. Die KI formuliert in wenigen Sekunden eine freundliche Antwort. Würde ich diese Antwort abschicken?

Ich würde zuerst wissen wollen, was bei den beiden früheren Kontakten passiert ist. Wurde der Kundin etwas zugesagt? Hat jemand die Ursache geprüft? Gibt es einen Schritt, den die Person im Support selbst auslösen kann? Eine gut geschriebene Antwort kann in diesem Fall hilfreich sein. Wenn sie denselben Rat wiederholt, den die Kundin schon zweimal bekommen hat, wird die schnellere Bearbeitung für sie vor allem eines bedeuten: Sie muss sich ein viertes Mal melden.

An solchen Fällen lässt sich für mich gut erklären, warum ich bei KI-Projekten gerne mit einer eng umrissenen Aufgabe beginne. „Wir verbessern den Kundensupport mit KI“ lässt fast jede Demo gut aussehen. „Wir wollen wiederkehrende Anfragen so bearbeiten, dass Kundinnen und Kunden ihr Anliegen möglichst selten erneut schildern müssen“ gibt dem Team etwas, das es überprüfen kann.

Von wem lernt hier eigentlich wer?

Eine Feldstudie von Erik Brynjolfsson, Danielle Li und Lindsey Raymond (2025) hat die Einführung eines KI-Assistenten bei 5.172 Mitarbeitenden im Kundensupport untersucht. Mit dem Assistenten wurden im Durchschnitt 15 Prozent mehr Anliegen pro Stunde gelöst. Besonders profitierten weniger erfahrene Mitarbeitende. Bei den erfahrensten und leistungsstärksten Mitarbeitenden waren die Geschwindigkeitsgewinne klein, und die Qualität ging leicht zurück.

Mich interessiert an diesem Ergebnis vor allem der Unterschied zwischen den Gruppen. Wer neu im Team ist, kann von einem passenden Vorschlag profitieren, weil er schneller auf eine hilfreiche Vorgehensweise stößt. Wer den Falltyp aus jahrelanger Arbeit kennt, kann mit einem unpassenden Vorschlag zusätzliche Arbeit haben. Dieselbe Funktion kann also für die Einarbeitung wertvoll sein und im Arbeitsablauf einer erfahrenen Kollegin gelegentlich stören.

Die Studie untersucht einen konkreten Supportbetrieb. Ihre 15 Prozent wären für mich deshalb keine Zahl, mit der ich einen Business Case für ein anderes Unternehmen rechne. Sie geben mir eine bessere Frage für den Pilotbetrieb: Bei wem und bei welchen Fällen zeigt sich ein Vorteil?

Was ich im Pilotbetrieb wissen möchte

Für einen ersten Versuch würde ich zwei Arten von Anfragen auswählen, die im Alltag vorkommen und sich deutlich unterscheiden. Zum Beispiel eine häufige Frage mit verlässlicher Antwort und eine wiederkehrende Beschwerde, bei der jemand den bisherigen Verlauf lesen und entscheiden muss, wie es weitergeht.

Bei der ersten Anfrage würde ich beobachten, ob die KI eine richtige, brauchbare Antwort liefert und wie viel Zeit das spart. Bei der zweiten würde ich zusätzlich prüfen, ob das Anliegen gelöst wird, ob es zu einem erneuten Kontakt kommt und an welcher Stelle jemand den KI-Vorschlag ändern musste. Dafür braucht es keine lange Liste an Kennzahlen. Schon eine kleine, regelmäßig besprochene Auswahl von Fällen kann zeigen, wo sich ein genauerer Blick lohnt.

Ich würde erfahrene und neue Mitarbeitende gemeinsam auf diese Fälle schauen lassen. Mich interessiert, warum jemand einen Vorschlag abgeändert hat. Vielleicht fehlte eine Information aus dem Kundenkonto. Vielleicht war ein Text sprachlich korrekt, enthielt aber eine Zusage, die das Unternehmen nicht einhalten konnte. Oder eine erfahrene Kollegin erkennt, dass der Fall an eine andere Stelle gehört, obwohl die KI eine plausible Standardantwort schreibt.

Gerade solche Korrekturen gehen in einer reinen Zeitmessung unter. Für das Team können sie der wertvollste Teil des Versuchs sein. Wenn mehrere Personen am selben Punkt eingreifen, liegt die nächste Aufgabe vielleicht bei der internen Wissensbasis, bei einer unklaren Zuständigkeit oder beim Ablauf der Übergabe.

Was nach dem Experiment im Team bleiben soll

Nach einem Pilotprojekt würde ich gerne sehen, dass Mitarbeitende einander erklären können, wann der Assistent hilfreich ist und wann sie einen anderen Weg wählen. Dazu gehört, dass jemand die regelmäßig korrigierten Antworten auswertet, Änderungen an der Wissensbasis veranlasst und nach einiger Zeit wieder prüft, ob sich die Antworten verbessert haben. Diese Aufgabe braucht einen Platz im laufenden Betrieb, sonst sammelt das Team dieselben Erfahrungen immer wieder von vorn.

Auch die wirtschaftliche Entscheidung wird dadurch konkreter. Der Preis einer Lizenz lässt sich leicht feststellen. Schwieriger ist die Frage, wie viel Zeit für Prüfung, Nacharbeit und Pflege der Wissensbasis anfällt. Vielleicht lohnt sich der Assistent besonders für die Einarbeitung und für einige häufige Fälle. Das kann eine tragfähige Entscheidung sein, selbst wenn das Unternehmen den Einsatz vorerst kleiner hält als ursprünglich gedacht.

Und die Kundin vom Anfang? Ich würde mir am Ende des Piloten genau solche Fälle noch einmal ansehen. Wenn das Team zeigen kann, dass sie seltener erneut anrufen muss, und erklären kann, was es dafür an seinen Abläufen geändert hat, hat das Unternehmen etwas gelernt, das über den Versuch hinaus nützlich ist. An diesem Punkt würde ich das KI-Experiment für gelungen halten.

← Zurück zu den Impulsen