KI-generiertes BildEin KI-Prototyp wird produktionsreif, wenn Qualität messbar ist, Zugriffe begrenzt sind und Kosten, Rückfallwege sowie Verantwortung feststehen. Hier erfahren Sie, wie Sie diese fünf Hürden prüfen und Ihren KI-Agenten schrittweise in den Alltag überführen.
Vielleicht kennen Sie diesen Moment. Jemand teilt den Bildschirm, ein Agent liest eine Kundenmail, sucht den passenden Auftrag im CRM und schreibt eine Antwort, die man fast so abschicken könnte. Im Raum wird es kurz still, dann sagt jemand: „Das ist ja Wahnsinn.“
Drei Monate später fragt die Geschäftsführung, wann das Ding endlich live geht. Und niemand hat eine richtig gute Antwort.
Wenn Ihnen das bekannt vorkommt: Sie sind in guter Gesellschaft. Eine Studie der RAND Corporation aus dem Jahr 2024 hält fest, dass einigen Schätzungen zufolge mehr als 80 % aller KI-Projekte scheitern – etwa doppelt so viele wie IT-Projekte ohne KI. Gartner sagte im selben Jahr voraus, dass bis Ende 2025 mindestens 30 % der Projekte mit generativer KI nach dem Proof of Concept aufgegeben werden. Als Gründe nannte Gartner schlechte Datenqualität, unzureichende Risikokontrollen, steigende Kosten und unklaren Geschäftsnutzen.
Diese Angaben beschreiben unterschiedliche Gruppen von KI-Projekten; die Gartner-Zahl war eine Prognose aus dem Jahr 2024, keine nachträglich gemessene Quote für 2025. Sie belegen keine konkrete Ausfallquote heutiger KI-Agenten.
Die gute Nachricht steckt in denselben Untersuchungen: Ganz oben auf den Listen steht nicht ein zu schwaches Modell, sondern ein unklar formuliertes Problem, fehlende Daten oder fehlende Infrastruktur für den Betrieb. Das sind Dinge, die man vorher klären kann. Um genau diese Dinge geht es in diesem Artikel. Am Ende finden Sie einen Selbsttest mit acht Fragen, der Ihnen zeigt, wo Ihr Projekt steht.
Kurz gesagt: Prototypen scheitern selten am Modell. Sie scheitern an fehlenden Testfällen, ungeklärten Rechten, unbekannten Kosten, fehlendem Betrieb und daran, dass niemand verantwortlich ist. Alle fünf Punkte lassen sich vor dem ersten Release klären.
Warum sich die Demo so gut anfühlt – und genau das das Problem ist
Eine Demo ist ein Best-of. Man nimmt die Beispiele, die funktionieren, und zeigt sie Menschen, die sehen wollen, dass es funktioniert. Das ist nicht unehrlich, so funktionieren Demos nun mal. Aber es beantwortet nur eine Frage: Geht das überhaupt?
Produktion stellt eine andere Frage: Geht das auch am Dienstagmorgen um 7:40 Uhr, mit der 400. Mail des Tages, die in schlechtem Deutsch geschrieben ist, zwei Bestellnummern enthält und einen Anhang hat, den niemand öffnen kann?
| Demo | Produktion | |
|---|---|---|
| Daten | Ausgewählte Beispiele | Alles, was tatsächlich ankommt |
| Erfolg | „Sieht gut aus“ | Messbare Quote auf echten Fällen |
| Fehler | Werden übersprungen | Haben einen definierten Ausweg |
| Rechte | Voller Zugriff, damit es läuft | Nur das, was die Aufgabe braucht |
| Kosten | Spielen keine Rolle | Pro Vorgang bekannt und begrenzt |
| Verantwortung | Das Projektteam | Eine benannte Person im Fachbereich |
Die 90-Prozent-Falle
Ein Gedanke, der in fast jedem Projekt irgendwann kommt: „Der Agent liegt in 90 % der Fälle richtig. Das ist doch super.“
Rechnen wir kurz nach. Bei 4.000 Vorgängen im Monat sind 10 % Fehler genau 400 falsche Antworten, Buchungen oder Weiterleitungen. Jeden Monat. Ob das in Ordnung ist, hängt ganz davon ab, was falsch läuft und wer es bemerkt. Ein falsch einsortiertes Ticket, das ein Mensch ohnehin nochmal ansieht, ist harmlos. Eine falsche Zusage an einen Kunden ist es nicht.
Die eigentliche Frage ist also nicht „Wie gut ist der Agent?“, sondern: Welche Fehler darf er machen, und wie fangen wir die anderen ab? Wer diese Frage nicht stellt, landet entweder bei einem Agenten, dem niemand traut, oder bei einem, dem alle zu sehr trauen.
Fünf Gründe, warum es hängen bleibt – und was Sie dagegen tun
1. Fehlende Evals: Qualität des KI-Agenten bleibt unklar
Das ist einer der häufigsten Stolpersteine. Ohne eine Sammlung echter Testfälle ist jede Änderung ein Blindflug. Jemand passt den Prompt an, damit Fall A klappt, und merkt nicht, dass dafür Fall B kaputtgeht. Nach ein paar Wochen traut sich keiner mehr, etwas zu ändern. Das Projekt friert ein.
Was hilft: eine Eval-Suite aus Ihrem Alltag. Das klingt technischer, als es ist. Sie brauchen anfangs 30 bis 50 echte Vorgänge, etwa aus dem Postfach, dem Ticketsystem oder dem CRM, und für jeden die Antwort auf die Frage: Was wäre hier richtig gewesen?
Achten Sie auf eine gute Mischung:
- Der Normalfall (etwa die Hälfte): die Vorgänge, die jeden Tag kommen.
- Die Grenzfälle: unvollständige Angaben, zwei Anliegen in einer Mail, eine fremde Sprache.
- Die Fälle, in denen der Agent aufhören soll: Beschwerden mit rechtlichem Unterton, Kündigungen, alles mit hohem Betrag. Hier ist das richtige Ergebnis „an einen Menschen geben“.
- Die Fallen: Mails, die gezielt versuchen, den Agenten zu etwas zu bringen, was er nicht darf.
Ein einzelner Testfall kann ganz schlicht aussehen:
- Eingang: Reklamation, im Text stehen zwei Bestellnummern
- Richtig: Agent erkennt beide und fragt nach, welche gemeint ist
- Nicht akzeptabel: Agent wählt stillschweigend eine aus
Bei manchen Fällen lässt sich automatisch prüfen, ob das Ergebnis stimmt, etwa bei einer Kategorie oder einer extrahierten Rechnungsnummer. Bei Texten braucht es Bewertungskriterien, und am Anfang ehrlicherweise auch einen Menschen, der stichprobenartig mitliest. Man kann ein zweites Modell als Prüfer einsetzen, sollte dessen Urteil aber selbst erst gegen menschliche Bewertungen abgleichen.
Eine Anleitung zum Aufbau finden Sie in Evals für KI-Agenten: Testfälle aus echten Vorgängen bauen.
Das Wichtigste: Die Suite läuft vor jedem Release, und jeder Fehler aus dem Betrieb wird zu einem neuen Testfall. Dann wird derselbe Fehler kein zweites Mal ausgeliefert. Erst damit wird aus einem Gefühl („wirkt besser“) eine Zahl („47 von 50, vorher 43“).
2. Ungeklärte Rechte: Der KI-Agent darf zu viel
In Prototypen bekommt der Agent oft einen Zugang mit vollen Rechten, damit erst mal alles läuft. Das ist verständlich. Spätestens wenn die IT-Sicherheit oder der Datenschutz draufschaut, wird daraus aber ein Stoppschild. Und das zu Recht.
Diese Fragen lassen sich nicht nachträglich anbauen. Sie gehören in die Architektur.
Was hilft: Aktionen in drei Stufen einteilen.
- Lesen: darf der Agent selbstständig, aber nur die Daten, die er für seine Aufgabe braucht.
- Vorbereiten: Der Agent entwirft die Antwort, die Buchung oder das Ticket. Ein Mensch prüft und schickt ab.
- Ausführen: nur für klar umrissene, risikoarme Vorgänge, und erst wenn die Evals das hergeben.
Ein paar Dinge, die sich in der Praxis bewährt haben:
- Der Agent bekommt einen eigenen technischen Zugang mit genau den nötigen Rechten. Er nutzt nicht den Account einer Kollegin.
- Schreibende Aktionen sind gegen doppelte Ausführung abgesichert. Wenn ein Schritt wiederholt wird, darf nicht zweimal gebucht werden.
- Die Person, die freigibt, sieht, warum der Agent etwas vorschlägt: welche Quelle, welche Daten, welcher Kontext. Eine Freigabe ohne Kontext wird nach drei Tagen blind durchgeklickt, und dann ist sie wertlos.
Welche Aktionen eine Freigabe brauchen und wie Freigaben aussehen, die wirklich geprüft werden, zeigen wir in unserem Leitfaden zu Human-in-the-Loop bei KI-Agenten.
3. Unbekannte Kosten pro Vorgang
Im Prototyp spielen Kosten keine Rolle, es sind ja nur ein paar Dutzend Aufrufe. In Produktion multipliziert sich alles: Vorgänge mal Schritte mal Modellpreis. Ein Agent, der für jede Mail fünfmal das teuerste Modell befragt, kann fachlich glänzen und wirtschaftlich trotzdem tot sein.
Was hilft: ein einfaches Kostenmodell pro Vorgang. Eine grobe Rechnung genügt für den Anfang. Ein Beispiel mit runden, angenommenen Zahlen:
| Variante A | Variante B | |
|---|---|---|
| Aufrufe pro Vorgang | 5 × großes Modell | 4 × kleines Modell, 1 × großes |
| Kosten pro Vorgang | 0,25 € | 0,07 € |
| Vorgänge pro Monat | 4.000 | 4.000 |
| Kosten pro Monat | 1.000 € | 280 € |
Variante B ist nicht zwangsläufig schlechter. Viele Teilschritte wie Einsortieren, Daten herausziehen oder Zusammenfassen erledigt ein kleines Modell zuverlässig. Das große Modell kommt nur dort zum Einsatz, wo wirklich abgewogen werden muss. Ob das für Ihren Fall stimmt, zeigt wieder die Eval-Suite.
Drei weitere Stellschrauben, die oft übersehen werden:
- Ein Limit für Schritte pro Vorgang. Agenten können sich in Schleifen verrennen. Ein hartes Limit verhindert, dass ein einzelner Vorgang das Budget eines Tages verbraucht.
- Wiederverwendung statt Neuberechnung. Gleichbleibende Teile wie Anweisungen oder Produktkataloge lassen sich bei den großen Anbietern zwischenspeichern („Prompt Caching“). Wiederverwendete Teile werden dann deutlich günstiger abgerechnet – wie viel, hängt vom Anbieter ab.
- Der Vergleich mit heute. Stellen Sie die Kosten neben das, was ein Vorgang heute an Arbeitszeit kostet. Erst dann sehen Sie, ob sich der Agent rechnet.
4. Fehlendes Monitoring und Rückfallwege im Betrieb
Ein Prototyp läuft, solange jemand danebensitzt. Ein produktives System muss auch dann funktionieren, wenn niemand hinschaut: nachts, in den Sommerferien, an dem Tag, an dem der Modellanbieter eine Störung hat.
Was hilft: Betrieb von Anfang an mitdenken. Konkret heißt das:
- Jeder Schritt ist nachvollziehbar. Was kam rein, welche Werkzeuge hat der Agent aufgerufen, was kam raus? Wenn eine Kundin fragt, warum sie diese Antwort bekommen hat, sollte das in zwei Minuten beantwortbar sein, nicht in zwei Tagen.
- Es gibt einen Rückfallweg. Ist sich der Agent unsicher oder fällt ein System aus, landet der Vorgang bei einem Menschen statt im Nichts.
- Die Modellversion ist festgelegt. Anbieter aktualisieren ihre Modelle. Ein Update kann Ihren Agenten besser machen oder unbemerkt verändern. Ein Wechsel sollte eine bewusste Entscheidung sein, abgesichert durch die Evals.
- Qualität und Kosten werden laufend beobachtet, mit einer Warnung, wenn die Fehlerquote steigt oder die Kosten pro Vorgang davonlaufen.
5. Keine klare Verantwortung für den KI-Agenten
Das klingt banal, ist aber oft der eigentliche Grund. Die IT hat den Agenten gebaut, der Fachbereich soll ihn nutzen, und dazwischen steht die Frage: Wer entscheidet, wann er live geht? Wer schaut jede Woche auf die Ergebnisse? Wer ist der Ansprechpartner, wenn sich ein Kunde beschwert?
Solange diese Fragen offen sind, bleibt der Agent ein Prototyp, den alle spannend finden und niemand verantwortet.
Was hilft: eine benannte Person im Fachbereich. Nicht in der IT, sondern dort, wo der Ablauf zu Hause ist. Diese Person kennt die Vorgänge, entscheidet über den Go-live und schaut regelmäßig auf die Ergebnisse. Die Technik kann ein Dienstleister liefern. Die Verantwortung für den Prozess nicht.
Ein guter Test: Wenn Sie heute fragen „Wer entscheidet, ob der Agent nächste Woche live geht?“ und drei verschiedene Namen hören, wissen Sie, wo das Projekt hängt.
Der Weg in die Produktion: in Stufen statt mit einem Schalter
Der Sprung von „Demo“ zu „läuft vollautomatisch“ ist zu groß, technisch wie menschlich. Das Team muss dem Agenten erst vertrauen lernen. Bewährt hat sich ein gestufter Übergang:
- Schattenbetrieb: Der Agent bearbeitet echte Vorgänge parallel. Seine Ergebnisse werden nur verglichen, nicht verwendet. Niemand ist betroffen, aber Sie lernen enorm viel über echte Fälle.
- Assistenz: Der Agent schlägt vor, Menschen entscheiden. Jede Korrektur wird zum neuen Testfall. Diese Phase ist oft schon ein großer Gewinn, weil das Team spürbar entlastet wird.
- Teilautomatisierung: Klar abgegrenzte, risikoarme Vorgänge laufen ohne Freigabe. Alles andere bleibt in Stufe 2.
Für jede Stufe legen Sie vorher fest, was erfüllt sein muss, um zur nächsten zu wechseln. Zum Beispiel: „Mindestens 45 von 50 Testfällen richtig, und das Team übernimmt 80 % der Vorschläge ohne große Änderung.“ Dann entscheidet nicht die Begeisterung über den Go-live, sondern die Zahlen. Und eine gute Zahl überzeugt auch die Skeptiker im Haus.
Selbsttest: Wie produktionsreif ist Ihr Prototyp?
Nehmen Sie sich fünf Minuten. Vergeben Sie für jede Frage 2 Punkte für „Ja“, 1 Punkt für „Teilweise“ und 0 Punkte für „Nein“.
- Gibt es mindestens 30 echte Testfälle mit festgelegtem richtigem Ergebnis?
- Laufen diese Tests vor jeder Änderung, und sehen Sie das Ergebnis als Zahl?
- Hat der Agent einen eigenen Zugang mit nur den Rechten, die er braucht?
- Ist festgelegt, welche Entscheidungen ein Mensch freigeben muss?
- Kennen Sie die Kosten pro Vorgang, und gibt es ein Limit?
- Lässt sich jeder Schritt des Agenten im Nachhinein nachvollziehen?
- Gibt es einen Rückfallweg, wenn der Agent unsicher ist oder ein System ausfällt?
- Gibt es eine Person im Fachbereich, die über den Go-live entscheidet?
13 bis 16 Punkte: Sie sind nah dran. Was noch fehlt, ist meist Feinschliff, und der gestufte Go-live kann beginnen.
7 bis 12 Punkte: Das Fundament steht, aber es gibt Lücken, die Sie im Betrieb einholen werden. Am besten schließen Sie sie jetzt, solange es noch günstig ist.
0 bis 6 Punkte: Ihr Projekt ist ein Prototyp, und das ist völlig in Ordnung. Nur sollte niemand erwarten, dass es nächsten Monat live geht. Fangen Sie mit den Fragen 1, 4 und 8 an. Die machen den größten Unterschied.
Sie möchten eine zweite Meinung? Schicken Sie uns Ihre Punktzahl und die Fragen, bei denen Sie „Nein“ angekreuzt haben, über unser Anfrageformular. Sie bekommen eine ehrliche Ersteinschätzung von den Menschen, die das System bauen würden, und erfahren, welche Lücke wir an Ihrer Stelle zuerst schließen würden.
Wann es sich nicht lohnt – auch das gehört dazu
Manchmal ist die ehrliche Antwort: gar nicht. Ein Agent ist meist die falsche Lösung, wenn
- der Ablauf nur ein paar Mal im Monat vorkommt,
- ein Fehler teuer oder rechtlich heikel ist und sich nicht zuverlässig abfangen lässt,
- die nötigen Daten fehlen, verstreut oder unzuverlässig sind,
- sich der Ablauf mit festen Regeln vollständig beschreiben lässt.
Dann sind ein gutes Formular, eine klare Regel oder ein besserer Prozess oft günstiger und verlässlicher. Das ist keine Niederlage. Es ist Geld, das Sie nicht ausgeben müssen, und Zeit für den Ablauf, bei dem ein Agent wirklich etwas bringt.
Wie Sie einen geeigneten Ablauf erkennen, zeigt unser Leitfaden KI-Agenten im Unternehmen: passende Anwendungsfälle finden.
Genau das früh zu sagen, gehört für uns zu einem guten Projekt dazu.
Häufige Fragen
Wie lange dauert der Weg vom Prototyp in die Produktion?
Das hängt weniger vom Modell ab als von den offenen Fragen. Sind Testfälle, Rechte und Verantwortung geklärt, ist ein eng umrissener Ablauf oft in wenigen Wochen im Assistenzbetrieb. Fehlt das, kann derselbe Agent monatelang im Prototyp festhängen.
Müssen wir unseren Prototyp wegwerfen?
Meistens nicht. Die Logik und die Erfahrungen aus dem Prototyp sind wertvoll. Was fast immer neu dazukommt, ist das Drumherum: Tests, Rechte, Protokollierung, Rückfallwege. Manchmal ist ein sauberer Neuaufbau trotzdem schneller, das zeigt sich bei einem Blick auf den Code.
Brauchen wir dafür das neueste und größte Modell?
Selten für alles. Viele Teilschritte erledigt ein kleines Modell zuverlässig und deutlich günstiger. Das große Modell lohnt sich dort, wo wirklich abgewogen werden muss. Die Eval-Suite zeigt, wo die Grenze liegt.
Wer sollte den Agenten verantworten – IT oder Fachbereich?
Der Fachbereich. Die IT sorgt für Betrieb, Sicherheit und Anbindung. Ob die Ergebnisse fachlich stimmen, kann nur beurteilen, wer den Ablauf täglich kennt.
Können wir das alles selbst aufbauen?
Ja, mit dem richtigen Team. Dieser Artikel ist bewusst so geschrieben, dass Sie damit anfangen können. Wenn Ihnen dafür die Zeit oder die Erfahrung fehlt, unterstützen wir bei einzelnen Bausteinen, etwa bei Evals, Leitplanken und Kostenkontrolle, oder mit einem Architektur-Review Ihres bestehenden Prototyps.
Ihr Prototyp hängt fest? Erzählen Sie uns in ein paar Sätzen, was er tut und woran es gerade hakt. Wir melden uns mit einer ehrlichen Einschätzung, was ihm bis zur Produktion fehlt. Und wir sagen es auch, wenn es sich nicht lohnt. Jetzt unverbindlich anfragen
- Agents
- Evals
- LLMOps
- KI-Strategie
Passende Artikel zu KI-Agenten
- Evals für KI-Agenten: Testfälle aus echten Vorgängen bauen
Evals für KI-Agenten aufbauen: echte Testfälle sammeln, Qualität messen und Regressionen erkennen. Mit Beispielen, Checkliste und Freigabekriterien.
- KI-Agenten im Unternehmen: passende Anwendungsfälle finden
Welche Anwendungsfälle eignen sich für KI-Agenten? Sechs Kriterien, konkrete Beispiele und eine Bewertungsmatrix helfen bei der Auswahl im Unternehmen.