KI-Agenten im Betrieb halten: Was nach dem Go-Live wirklich zählt

Ein KI-Agent ist in vier Wochen gebaut. Manchmal schneller. Die Automatisierung läuft, das Demo-Video überzeugt, der Dienstleister übergibt die Dokumentation. Dann passiert drei Monate lang nichts Sichtbares. Und genau da fängt das eigentliche Problem an: OpenAI ändert ein Modell, eine Schnittstelle liefert plötzlich andere Daten, die Ergebnisse werden schlechter. Niemand im Betrieb merkt es, bis ein Kunde sich beschwert.

Ich sehe das bei arian IT Service regelmäßig, wenn Unternehmen mit einer fertigen KI-Automatisierung zu uns kommen, die irgendwann aufgehört hat zu funktionieren. Der Bau war der leichte Teil. Die KI-Agenten im Betrieb halten ist der schwere. Dieser Artikel zeigt, was nach dem Go-Live konkret schiefgeht und was dagegen hilft.

Die meisten Anbieter bauen eine KI-Automatisierung, übergeben sie und verschwinden. Das Projekt ist abgeschlossen, die Rechnung bezahlt. Was fehlt: jemand, der die Automatisierung danach am Laufen hält. KI im laufenden Betrieb verhält sich anders als KI im Testlauf. Und zwar grundlegend.

Was konkret schiefgeht:

• Modelle und Schnittstellen der Anbieter ändern sich ohne Ankündigung. Die Automatisierung bricht still.
• Prompts driften. Die Antworten werden mit der Zeit ungenauer, aber nicht offensichtlich falsch. Das ist gefährlicher als ein kompletter Ausfall.
• Die Kosten pro Vorgang laufen unbemerkt aus dem Ruder, weil niemand die API-Nutzung überwacht.
• Es fehlt ein Eskalationsweg, wenn die KI unsicher ist. Kein Mensch übernimmt.
• Es fehlt ein Protokoll, wer wann was entschieden hat. Für DSGVO-Nachweise und interne Audits ist das ein Problem.
• Niemand bemerkt den Stillstand, bevor der Kunde ihn bemerkt.

Der typische Verlauf: Die KI läuft drei Monate sauber. Dann schleichen sich Fehler ein. Nach sechs Monaten traut ihr niemand mehr. Nach neun Monaten wird sie abgeschaltet.

AgentOps ist kein Produkt und kein Framework. Es beschreibt alles, was nötig ist, um KI-Agenten zu überwachen und im Betrieb stabil zu halten. Vergleichbar mit DevOps für Software oder dem Managed-IT-Prinzip für Infrastruktur: Jemand kümmert sich laufend, nicht einmalig.

Konkret umfasst AgentOps bei arian IT Service fünf Aufgaben:

• Monitoring: Läuft der Agent? Liefert er Ergebnisse? Wie lange braucht er? Weichen die Antworten vom erwarteten Muster ab?
• Prompt-Pflege: Wenn sich der Kontext ändert, zum Beispiel neue Produkte, neue Preise, neue Abläufe, müssen die Prompts angepasst werden. Sonst liefert der Agent veraltete Informationen.
• Schnittstellen-Wartung: API-Versionen ändern sich. Ein Agent, der heute GPT-4o nutzt, braucht morgen vielleicht eine andere Anbindung. Das muss jemand prüfen, bevor es bricht.
• Kosten-Kontrolle: Jeder API-Aufruf kostet Geld. Ohne Tracking merken Sie erst auf der Monatsrechnung, dass etwas aus dem Ruder gelaufen ist.
• Eskalation: Wann gibt der Agent ab an einen Menschen? Dieser Schwellenwert muss definiert und regelmäßig nachjustiert werden.

Wer eine KI-Automatisierung betreiben will, braucht diese fünf Punkte ab Tag eins nach dem Go-Live. Nicht irgendwann.

Prompt-Drift ist das am meisten unterschätzte Problem beim Betrieb von KI-Agenten. Es passiert schleichend. Ein Beispiel aus unserer eigenen Praxis: arian AI, der KI-Assistent auf unserer Website, beantwortet seit Juli 2026 Kundenfragen aus echten Firmendaten. Ändert sich bei uns ein Preis oder ein Ablauf, muss die Datengrundlage des Assistenten mitgepflegt werden. Sonst nennt er anschließend noch den alten Stand: kein Absturz, kein Fehler in den Logs, einfach eine veraltete Angabe. Weil wir ihn selbst überwachen, fällt so etwas sofort auf. Bei einem Agenten, den niemand überwacht, bekämen Kunden tagelang falsche Auskünfte.

Prompt-Drift ist kein Softwarefehler. Es ist die natürliche Folge davon, dass sich Ihr Geschäft verändert, aber die KI nicht mitverändert wird.

Die Ursachen sind banal: neue Produkte, geänderte Öffnungszeiten, ein neuer Ansprechpartner, eine geänderte Rückgaberegelung. All das steht irgendwo in den Daten, die der Agent nutzt. Wenn niemand diese Daten pflegt und die Prompts nachschärft, antwortet der Agent auf Basis eines veralteten Weltbilds. Das Ergebnis: falsche Aussagen, die professionell klingen. Genau das macht sie gefährlich.

API-Kosten sind pro Aufruf gering. Ein paar Cent hier, ein paar Cent da. Aber KI-Agenten arbeiten im Hintergrund, oft hunderte Male am Tag. Und wenn ein Prompt ineffizient formuliert ist oder der Agent in eine Schleife gerät, vervielfachen sich die Kosten ohne sichtbaren Gegenwert.

Ein schlecht konfigurierter Agent kann in wenigen Wochen mehr kosten, als die Automatisierung einspart. Ein typischer Fall: ein Retry-Mechanismus, der bei jedem Timeout denselben Aufruf wieder abfeuert. Ohne Kosten-Monitoring steht das in keinem Dashboard und faellt erst auf der Monatsrechnung auf.

KI-Agenten zu überwachen heißt auch: die Betriebskosten im Blick behalten. Bei arian IT Service gehört das zum Monitoring dazu. Wir setzen Schwellenwerte für Kosten pro Vorgang, pro Tag und pro Monat. Wenn ein Wert überschritten wird, gibt es eine Meldung. Das klingt simpel. Aber ohne diesen Mechanismus ist eine KI-Automatisierung ein offener Geldhahn.

Eine Rechnung, die man versteht, funktioniert auch bei KI-Betriebskosten. Wer nicht weiß, was ein einzelner Vorgang kostet, kann nicht beurteilen, ob sich die Automatisierung lohnt.

Seit dem 2. August 2026 gilt die EU-AI-Act-Transparenzpflicht nach Artikel 50. KI muss sich als KI zu erkennen geben. Das betrifft jeden KI-Agenten, der mit Kunden, Lieferanten oder Bewerbern kommuniziert. Wer das ignoriert, hat ein Compliance-Problem.

Aber die Transparenzpflicht ist nur die Oberfläche. Darunter liegt die Frage: Wer hat wann was entschieden? Wenn ein KI-Agent einem Kunden eine Zusage macht, eine Reklamation ablehnt oder eine Empfehlung ausspricht, brauchen Sie ein Protokoll. Nicht weil es nett wäre, sondern weil Sie es im Streitfall vorlegen müssen.

Für DSGVO-konforme KI im laufenden Betrieb braucht es drei Dinge:

• Verarbeitung auf deutschen Servern oder innerhalb der EU, nachweisbar dokumentiert.
• Lückenlose Protokollierung aller Agent-Entscheidungen mit Zeitstempel.
• Einen definierten Eskalationsweg, bei dem ein Mensch übernimmt, wenn der Agent unsicher ist.

Ein KI-Agent ohne Entscheidungsprotokoll ist wie ein Mitarbeiter ohne Arbeitsvertrag: funktioniert, bis jemand fragt.

Bei arian IT Service läuft der Betrieb der KI-Agenten auf deutschen Servern. Die Protokollierung ist Teil des Monitoring-Setups, nicht ein optionales Add-on.

arian IT Service betreut seit 2005 die IT von Mittelständlern. Das Prinzip ist dasselbe, egal ob es um Endpoints, Cloud-Backup oder KI-Agenten geht: Wir bauen und betreiben. Beides. Dauerhaft.

Der Grund ist praktisch, nicht philosophisch. Ein KI-Agent läuft nicht isoliert. Er greift auf Ihre Microsoft-365-Daten zu, auf Ihr CRM, auf Ihre Produktdatenbank. Wenn sich in der IT-Infrastruktur etwas ändert, ein Server-Update, eine neue Firewall-Regel, eine geänderte API-Berechtigung, betrifft das den Agenten direkt. Wer die IT betreut und den KI-Agenten betreibt, sieht diese Zusammenhänge. Zwei getrennte Dienstleister sehen sie nicht.

Ein konkretes Beispiel: Für die Tele Pizza AG haben wir eine Verwaltungsplattform gebaut, die bis heute im Einsatz ist. Für die Novus Bau und Projektentwicklung GmbH läuft eine KI-Bausoftware im Tagesgeschäft. In beiden Fällen übernehmen wir nicht nur die Entwicklung, sondern den laufenden Betrieb danach. Wenn sich etwas ändert, im Geschäft oder in der Technik, passen wir an.

Wer seine KI-Beratung und den anschließenden Betrieb trennt, baut eine Lücke ein, die genau dann auffällt, wenn es drauf ankommt.

Monitoring klingt abstrakt. In der Praxis ist es eine Checkliste, die täglich automatisiert abgearbeitet wird. Bei arian IT Service prüfen wir für jeden betriebenen KI-Agenten folgende Punkte:

• Erreichbarkeit: Antwortet der Agent? Wie schnell?
• Qualität: Weichen die Antworten vom definierten Standard ab? Gibt es auffällige Muster, etwa ungewöhnlich lange oder ungewöhnlich kurze Antworten?
• Kosten: Liegt der Tagesverbrauch im erwarteten Rahmen?
• Schnittstellen: Sind alle angebundenen Systeme erreichbar? Hat sich eine API-Version geändert?
• Compliance: Werden alle Interaktionen protokolliert? Funktioniert die Kennzeichnung als KI?

Wenn ein Wert auffällt, gibt es eine Meldung an unser Team. Die Reaktionszeit ist fest vereinbart, genau wie bei unserem Endpoint Security Managed Service. Das Prinzip ist identisch: Probleme erkennen, bevor der Kunde sie bemerkt.

Dieser Ansatz unterscheidet sich von dem, was die meisten KI-Projekte liefern. Dort gibt es ein Übergabeprotokoll, eine Schulung und danach Funkstille. KI-Automatisierung betreiben heißt, diese Funkstille zu füllen. Jeden Tag. Ohne Pause.

Einen KI-Agenten bauen lassen kann fast jeder. Ihn danach im Betrieb halten, mit Monitoring, Prompt-Pflege, Kostenkontrolle und DSGVO-konformer Protokollierung, das bieten wenige an. Bei arian IT Service ist der Betrieb kein Zusatzverkauf, sondern der Kern. Seit 2005 halten wir IT am Laufen. Seit 2026 auch KI.

Wenn Sie eine KI-Automatisierung im Einsatz haben, die niemand überwacht, oder eine planen und von Anfang an den Betrieb mitdenken wollen: Schreiben Sie uns an info@arian-it.de. Wir schauen uns an, was läuft, was nicht läuft und was es braucht, damit es stabil bleibt.