Warum KI-Pilotprojekte nicht skalieren: ein Prozessproblem, kein Technologieproblem

KI-Pilotprojekte scheitern an der Skalierung, weil Organisationen versuchen, das Tool zu skalieren, bevor sie die Arbeit definiert haben. Ein Pilotprojekt gelingt innerhalb eines Teams, wobei das Urteilsvermögen einer Person die Lücken füllt. Im großen Maßstab benötigt ein Agent eine gemeinsame, verbindlich geregelte und aktuelle Arbeitsweise, an der er sich messen kann – und die meisten Organisationen haben diese nie schriftlich festgehalten.

Die Forschung weist in dieselbe Richtung. Die NANDA-Initiative des MIT stellte fest, dass rund 95 % der generativen KI-Pilotprojekte in Unternehmen ins Stocken geraten und kaum messbare Auswirkungen auf das Betriebsergebnis zeigen. Die Ursache, so die Studie, liege nicht an der Qualität der Modelle, sondern an einer „Lernlücke“: generische Tools lernen nicht von den Arbeitsabläufen der Organisation und passen sich nicht an sie an (MIT NANDA, The GenAI Divide, 2025, via Fortune).

Dieser Artikel stützt sich auf die erste Folge von Ground Truth, Gluus Videoreihe über den Aufbau der Prozessgrundlage für KI im großen Maßstab, in der Søren Pommer mit Michael Hansen, Gluus Head of AI, spricht.

Wichtige Erkenntnisse

• Einzelne KI-Erfolge sind real, summieren sich jedoch nicht zu organisatorischer Fähigkeit. Die Einheit des Wandels ist die Arbeitsweise, nicht der Einzelne.
• Agenten brauchen drei Dinge: einen Prompt (wie man fragt), Kontext (was man wissen muss) und Intent (wofür optimiert werden soll und wann aufzuhören ist). Den meisten Organisationen fehlt der Intent.
• Bessere Modelle schließen die Lücke nicht. Ihre Kompromisse, Ausnahmen und Ihre Definition eines guten Ergebnisses stehen in keinen Trainingsdaten.
• Bevor ein Agent innerhalb eines Prozesses handelt, braucht es einen verbindlich geregelten und aktuellen Prozess, klare Grenzen und einen Prüfpfad.
• Beginnen Sie mit ein oder zwei Schlüsselprozessen, nicht mit einem Dokumentationsprogramm.

Sehen Sie sich das vollständige Gespräch mit Michael Hansen aus Gluus Ground-Truth-Reihe an. Die schriftliche Fassung unten fasst die wichtigsten Punkte zusammen.

Warum scheitern KI-Pilotprojekte an der Skalierung?

Weil ein Pilotprojekt und ein skalierter Einsatz unterschiedliche Fragen beantworten. Ein Pilotprojekt fragt: Kann dieser Agent diese Aufgabe gut erledigen? Die Skalierung fragt: Lässt dieser Agent die gesamte Organisation besser funktionieren?

„Die Organisationen, die KI skalieren, sind nicht diejenigen mit dem besten Modell oder dem besten einzelnen Agenten. Es sind diejenigen, die wissen, wie die Organisation funktioniert und wie der Agent zum Erfolg beiträgt.“

Michael Hansen, Head of AI, Data & Analytics at Gluu

Deshalb erleben so viele Unternehmen viel KI-Aktivität und wenig Veränderung. Jeder hat ein Konto, und manche gehen früher nach Hause, aber, wie Søren es ausdrückt, rennt am Ende doch jeder in seine eigene Richtung. „Sie rennen nur schneller.“ Die Skalierung bringt zudem die altbekannten Probleme der Integration, einheitlicher Definitionen und gemeinsamer Daten zurück. Die alte Regel gilt weiterhin: Automatisiert man ein Chaos, erhält man ein automatisiertes Chaos.

Was fehlt: eine definierte Arbeitsweise

In der KI ist Ground Truth die verifizierte Datenbasis, an der ein Modell geprüft wird. Das organisatorische Pendant dazu ist, in Michaels Worten, „eine verbindlich geregelte, aktuelle Arbeitsweise“, an der Menschen und Agenten ihre Arbeit messen können. Es geht nicht nur darum, was die Organisation tut, sondern „wie wir das tun und wer festlegt, dass wir es auf genau diese Weise tun sollen“.

Nur sehr wenige Organisationen haben dieses vollständige Bild. Das Wissen ist über Dokumente und Systeme verstreut und, wie Michael es formuliert, „im Grunde einfach in den Köpfen der Mitarbeitenden“ – und wurde nie kodifiziert. Im Pilotmaßstab füllt eine Person die Lücken stillschweigend. Im organisatorischen Maßstab kann ein Agent das nicht. Was er in unstrukturierten Daten findet, ist oft nur anekdotischer Beleg dafür, wie bestimmte Personen zufällig Dinge handhaben – nicht dafür, wie die Organisation arbeiten möchte.

„Our processes have been anchored from top to bottom in the group“. Read case

Camilla Larsen, Sr. Process Manager, Norlys

„Es ist wirklich schwer, eine Arbeit zu optimieren, die sich grundlegend ändert, wenn man nie definiert hat, wie sie ursprünglich funktioniert hat.“

Michael Hansen, Head of AI, Data & Analytics at Gluu

Eine Prozesskarte allein löst das Problem nicht. Wie Søren es ausdrückt: Menschen führen keine Diagramme aus, sie führen Arbeitsweisen aus – die Karte plus das Gespräch darüber, die Arbeitsmittel und die work instructions, die zusammen die Best Practice beschreiben.

Kontext sagt dem Agenten, was er wissen muss. Intent sagt ihm, was er will

Die Art, wie wir KI anleiten, hat sich über drei Stufen entwickelt. Intent Engineering ist ein Begriff des KI-Kommentators Nate B. Jones, den Michael zuerst in Jones‘ Podcast hörte. Er definiert ihn als „explizit festzulegen, worauf ein Agent optimieren soll und wann er aufhören soll“ (siehe was Intent Engineering für KI-Verantwortliche bedeutet).

Kontext beschreibt die Umgebung, in der ein Agent arbeitet. Intent trägt die Entscheidungen der Organisation darüber, was sie erreichen will, sodass der Agent nicht gegen die übergeordnete Ausrichtung des Unternehmens arbeitet. Dieser Intent ist nicht die Strategiepräsentation. Nach Gluus Auffassung gehört er in ein lebendiges Prozesssystem, angereichert mit Systemen, work instructions und dem alltäglichen Dialog, das widerspiegelt, wie die Organisation arbeiten möchte.

„Eine Diskrepanz zwischen dem, was die Organisation will, und dem, was der Agent tut, ist aus übergeordneter Sicht durchaus gefährlich.“

Michael Hansen, Head of AI, Data & Analytics at Gluu

Warum schließen bessere Modelle die Lücke nicht?

Modelle werden jeden Monat besser – warum also nicht abwarten? Weil das fehlende Element nicht die Intelligenz ist. Michael stimmt zu, dass die Modelle immer klüger werden, sagt aber, „der Intent wird immer relevanter“. Ein Agent „wüsste nichts von den Kompromissen“, die eine Organisation intern eingeht, so Michael, ebenso wenig von ihren Ausnahmen zu Regeln und Prozessen oder davon, was im Hinblick auf ihre Strategie ein gutes Ergebnis ist. Nichts davon ist „in das Lernen, die Trainingsdaten eingebrannt“, auf denen diese Modelle basieren.

Michael fasst es mit dem klassischen Fähigkeitsmodell: Menschen, Prozess und Technologie, ein dreibeiniger Hocker. Technologie ist ein Bein. Sie wird immer stärker, aber was ein Unternehmen tut, hängt weiterhin von seinen Prozessen und seinen Mitarbeitenden ab – sofern auch die Datenaspekte stimmen.

Das Risiko betrifft nicht nur ins Stocken geratene Pilotprojekte. Ein fehlerhafter Agent fällt auf und wird behoben. Ein Agent, der „scheinbar perfekt funktioniert, aber nicht mit dem übereinstimmt, was tatsächlicher Erfolg bedeutet“, ist, in Michaels Worten, „extrem gefährlich“. Søren fügt die Unterscheidung zwischen umkehrbaren und nicht umkehrbaren Ergebnissen hinzu: Ein internes Versagen lässt sich beheben, aber ein Agent, der jedem Kunden falsche Rechnungen schickt, kommt einer Unumkehrbarkeit sehr nahe.

Wie sieht es aus, wenn man das Ergebnis definiert?

Wo Michael KI scheitern sieht, liegt es meist daran, dass Ziele eindimensional, anhand einer einzigen Kennzahl, festgelegt werden. Man bekommt, was man misst, und KI wird auf genau diese eine Zahl optimieren – auf Kosten von allem anderen. Dabei braucht KI keinen einzigen Fokus: Wenn man sich der relevanten Ergebnisse bewusst ist und sie definiert, kann sie auf mehrere zugleich optimieren – „man kann die Kuchen essen und ihn behalten“, wie Michael es ausdrückt. Sein Beispiel ist der eigene Support von Gluu: Kundenanliegen schneller lösen und gleichzeitig die Kundenzufriedenheit wahren.

Der Support ist auch der Bereich, in dem Gluu selbst am weitesten gegangen ist – von einem recht manuellen Prozess hin zu einem, der deutlich stärker von KI gesteuert wird. Laut Michael hat sich dadurch sowohl die Geschwindigkeit der Fallbearbeitung als auch die Qualität der Ergebnisse verbessert.

Was muss erfüllt sein, bevor ein Agent innerhalb eines Prozesses handelt?

Es gibt eine Grenze zwischen KI, die einen Menschen unterstützt, und KI, die eigenständig agiert. Michael nennt drei Bedingungen, bevor man diese Grenze überschreitet:

Verantwortlichkeit gehört dazu: Jemand muss das Ergebnis verantworten und sicherstellen, dass der Agent in den richtigen Prozess passt und wie beabsichtigt funktioniert. Und alles Unumkehrbare – ob gegenüber einem Kunden, einem Kollegen oder einem System – würde Michael keinem Agenten allein überlassen: „Das würde ich nicht einfach laufen lassen.“

Wo sollte man anfangen?

Nicht mit einem Dokumentationsprogramm. „Das Ziel ist niemals Dokumentation um der Dokumentation willen“, sagt Michael. Wählen Sie ein oder zwei Schlüsselprozesse aus, machen Sie sie explizit und arbeiten Sie von dort aus weiter – mit dem Ziel, mit der Zeit zu „einer einzigen Quelle der Wahrheit zu gelangen, die Menschen und auch Agenten lesen und verstehen können“. Verbindlich geregelte, versionierte Prozesse helfen dabei, diese Quelle aktuell zu halten, sobald Agenten sich darauf verlassen. Oder, wie Søren es zusammenfasst: erst der Prozess, dann die Stabilität, dann die KI.

Für den größeren Zusammenhang siehe wie Prozesse KI in der gesamten Organisation zum Funktionieren bringen und warum Prozessinitiativen im ersten Jahr ins Stocken geraten.

Wenn Sie das an einem Prozess ausprobieren möchten, können Sie unten eine kostenlose Testversion von Gluu starten.

Mehr aus Ground Truth, Staffel 1: warum KI-Nutzung nicht mit Veränderung gleichzusetzen ist (mit Irina Holt Christensen), wo der Intent einer Organisation tatsächlich liegt (mit Etienne Venter) und warum KI in ERP-Projekten Unklarheit schneller sichtbar macht (mit Henrik Hasselbalch).

FAQ – warum KI-Pilotprojekte nicht skalieren