- Ein beeindruckender Pilot ist kein Produktionsversprechen.
- Evals, Decision-Observability und Abbruchkriterien machen Agenten beherrschbar.
- Der Engpass produktiver KI-Agenten ist die Kontrolle, nicht das Modell.
Ein KI-Agent löst in der Demo eine Aufgabe in Minuten, die ein Team sonst Stunden kostet. Das beeindruckt, und es verführt zu dem Schluss, das System sei bereit für den Echtbetrieb. Genau hier beginnt das eigentliche Problem: Eine gelungene Vorführung ist kein Produktionsversprechen. Der Wert eines Agenten entscheidet sich nicht daran, ob er eine ausgewählte Aufgabe einmal überzeugend erledigt, sondern daran, ob er sie wiederholbar, nachvollziehbar und überprüfbar erledigt, auch bei unsauberen Daten und an einem schlechten Tag.
Wer einen Agenten oder eine KI-Funktion produktiv setzt, trifft deshalb weniger eine Modell- als eine Kontrollentscheidung. Dieser Artikel ordnet ein, woran Piloten im Betrieb scheitern und welche Disziplinen aus einem Prototyp wartbare Software machen.
Warum der Pilot beeindruckt und der Betrieb scheitert
Ein Pilot wird unter günstigen Bedingungen gezeigt: ausgewählte Eingaben, sauberer Kontext, ein wohlwollender Blick. Der Betrieb kennt diese Schonung nicht. Dort trifft der Agent auf lückenhafte Daten, lange Kontexte, fehlerhafte Antworten aus angebundenen Werkzeugen und auf Fälle, die im Pilot nie vorkamen. KI-Agenten sind zudem nicht-deterministisch: dieselbe Eingabe kann zu unterschiedlichen Ergebnissen führen. Was als beeindruckende Einzelleistung begann, wird so zu einer schwer einschätzbaren Streuung.
Das ist kein Werkzeugfehler, sondern eine Eigenschaft der Sache. Verlässlichkeit ist nichts, was ein besseres Modell mitliefert. Sie muss hergestellt und nachgewiesen werden, mit denselben Mitteln, die guten Software-Betrieb seit jeher tragen: Tests, Beobachtbarkeit, klare Verantwortung.
Die Lücke zwischen Benchmark und Realbetrieb
Viele Teams stützen ihre Entscheidung auf Benchmark-Werte. Die sind nützlich, messen aber Fähigkeit unter Laborbedingungen, nicht Verhalten im eigenen Kontext. Forschung zur sogenannten CLEAR-Bewertung beziffert den Abstand zwischen Laborwert und Realbetrieb auf rund 37 Prozent. Die Folgen zeigen sich in den Adoptionszahlen: Laut dem Stanford AI Index 2026 erreichen rund 89 Prozent der Agenten nie die Produktion, unter 15 Prozent der Piloten gehen produktiv. Eine Camunda-Studie kommt zu einem ähnlichen Bild, 71 Prozent der Unternehmen nutzen Agenten, aber nur 11 Prozent der Anwendungsfälle erreichen Produktionsreife. Und im LangChain-Report 2026 nennen 32 Prozent der Befragten Qualität als wichtigste Hürde auf dem Weg in die Produktion. Diese Zahlen stammen aus Branchen- und Forschungsberichten (Quellen am Ende), nicht aus eigener Messung, aber sie decken sich mit dem, was in Projekten sichtbar wird: Der Sprung vom Pilot zur Produktion ist der teure Teil, und er wird regelmäßig unterschätzt.
Evals: Verhalten reproduzierbar messen
Der erste Hebel sind Evals, also reproduzierbare Test-Suiten, die das Verhalten eines Agenten über viele Fälle messen, statt es einmalig vorzuführen. Eine Eval-Suite sammelt repräsentative und schwierige Fälle, definiert je Fall, was ein akzeptables Ergebnis ist, und läuft bei jeder Änderung erneut. So wird aus dem Bauchgefühl „wirkt zuverlässig„ eine Zahl, die man verteidigen kann, und aus einer stillen Verschlechterung ein sichtbarer Regressionsfehler. Evals sind für Agenten, was die Testsuite für klassischen Code ist: nicht die Kür, sondern die Voraussetzung dafür, überhaupt sagen zu können, ob eine Änderung das System besser oder schlechter macht.
Decision-Observability: nachvollziehen statt raten
Der zweite Hebel ist Beobachtbarkeit, und zwar nicht nur, dass ein Agent falsch lag, sondern warum. Decision-Observability heißt, im Betrieb nachvollziehen zu können, welche Werkzeuge ein Agent aufgerufen, welche Zwischenschritte er gewählt und auf welcher Grundlage er entschieden hat. Ohne diese Spur bleibt jede Fehlersuche ein Ratespiel, und jede Verbesserung ein Zufall. Mit ihr lässt sich ein Fehlverhalten auf seine Ursache zurückführen, und das ist die Bedingung dafür, dass ein System über die Zeit besser statt nur anders wird. Für regulierte Kontexte kommt hinzu, dass nachvollziehbare Entscheidungen die Rechenschaftspflicht stützen, die der EU AI Act verlangt.
Abbruchkriterien und Verantwortung
Der dritte Hebel ist unspektakulär und wird am häufigsten vergessen: klare Abbruch- und Eskalationskriterien plus eine benannte Verantwortung. Ein Agent, der im Zweifel weiterläuft, richtet mehr Schaden an als einer, der bei Unsicherheit anhält und einen Menschen einbezieht. Es muss definiert sein, ab welcher Unsicherheit, welchem Risiko oder welchem Kostenrahmen ein Lauf stoppt, und wer geradesteht, wenn der Agent falsch entscheidet. Verantwortung lässt sich nicht an ein Modell delegieren.
Ein Reifegrad-Check vor dem Produktiv-Go
Die folgende Checkliste fasst zusammen, was vor dem Produktivgang geklärt sein sollte. Sie ersetzt kein Projekt, aber sie macht sichtbar, wo ein Pilot noch nicht betriebsreif ist.
| Prüfpunkt | Frage | Bereit, wenn |
|---|---|---|
| Evals | Gibt es eine reproduzierbare Test-Suite über repräsentative und schwierige Fälle? | Jede Änderung wird automatisch gegen die Suite geprüft. |
| Observability | Ist nachvollziehbar, warum der Agent eine Entscheidung getroffen hat? | Werkzeugaufrufe und Zwischenschritte sind protokolliert und auswertbar. |
| Abbruchkriterien | Wann stoppt ein Lauf und übergibt an einen Menschen? | Schwellen für Unsicherheit, Risiko und Kosten sind definiert. |
| Datenqualität | Hält das Verhalten auch bei unsauberen Realdaten? | Getestet mit echten, nicht kuratierten Eingaben. |
| Verantwortung | Wer steht gerade, wenn der Agent falsch entscheidet? | Eine Rolle ist benannt, nicht das Werkzeug. |
Fazit: Verlässlichkeit entsteht durch Kontrolle
Der Engpass produktiver KI-Agenten ist nicht das Modell, sondern die Kontrolle. Evals machen Verhalten messbar, Decision-Observability macht es nachvollziehbar, Abbruchkriterien und klare Verantwortung machen es beherrschbar. Wer diese drei Disziplinen vor dem Produktivgang einzieht, verliert kein Tempo, sondern gewinnt die Sicherheit, das gewonnene Tempo auch behalten zu können. Ein Agent gehört in Produktion, wenn man weiß, woran man merkt, dass er es nicht mehr verdient.
Wer ein konkretes Agenten- oder KI-Vorhaben vor dem Produktivgang einordnen will, kann es unverbindlich einordnen lassen. Vertiefung zur kontrollierten Umsetzung: KI-gestützte Softwareentwicklung unter Kontrolle.
Quellen
- Camunda, 2026 State of Agentic Orchestration (71 Prozent Nutzung, 11 Prozent Produktionsreife), berichtet von private-banking-magazin.de
- Stanford AI Index 2026: rund 89 Prozent der Agenten erreichen nie Produktion, unter 15 Prozent gehen produktiv
- LangChain, State of AI Agents 2026: 32 Prozent nennen Qualität als wichtigste Hürde
- CLEAR-Framework / AI Agent Scaling Gap: rund 37 Prozent Benchmark-Realbetrieb-Lücke
