KI-Automation im Dauerbetrieb:
Überwachung, Fehlerliste und Zuständigkeit

Mit dem Start beginnt der Dauerbetrieb der Automatisierung

Der Dauerbetrieb einer Automatisierung ist der Zeitraum nach der Freigabe, in dem der Ablauf ohne Projektteam läuft und sein Ergebnis im Alltag des Betriebs verwendet wird: Rechnungen werden gebucht, Aufträge angelegt, Anfragen verteilt. In dieser Phase zeigt sich, ob die Automatisierung Arbeit spart oder neue Arbeit erzeugt, denn jede unbemerkte Fehlbuchung und jeder liegen gebliebene Auftrag kostet die Zeit, die der Ablauf eingespart haben sollte.

Beim Start stimmen alle Bedingungen. Die angebundenen Programme haben den Stand, auf dem die Automatisierung gebaut wurde, die Testdaten sind bekannt, und das Team sieht sich jeden Durchlauf an. In den folgenden Wochen fallen diese Bedingungen nacheinander weg: Das Warenwirtschaftssystem bekommt eine Aktualisierung, die ein Feld umbenennt. Ein Lieferant stellt sein Rechnungsformat um. Ein Kunde schickt seine Bestellung zum ersten Mal als Fließtext ohne Artikelnummern. Das Projektteam arbeitet inzwischen am nächsten Vorhaben.

Der Dauerbetrieb braucht deshalb eigene Regelungen, die vor dem Start festgelegt werden. Jede davon passt auf wenige Zeilen, und jede braucht eine Person, die sie ausführt. Wie eine Automatisierung so gebaut wird, dass ihre Kette aus mehreren Schritten im Betrieb hält, behandelt KI-Automatisierung und die Architektur langer Ketten. Dieser Beitrag setzt nach dem Bau an: bei dem, was von der ersten Woche an zu beobachten ist.

Ein ausbleibender Auslöser fällt ohne Überwachung niemandem auf

Der Auslöser ist das Ereignis, auf das eine Automatisierung wartet, um loszulaufen: eine E-Mail im Rechnungspostfach, eine Datei im Eingangsordner, ein neuer Datensatz im Warenwirtschaftssystem oder eine Uhrzeit. Bleibt dieses Ereignis aus, läuft der Ablauf nicht, und er meldet auch nichts, denn aus seiner Sicht ist nichts geschehen. Die Rechnungen sammeln sich in einem Postfach, in das seit der Einführung niemand mehr schaut, weil die Automatisierung diesen Blick ersetzt hat.

Die Ursachen liegen fast immer außerhalb der Automatisierung: Das Passwort des Postfachs ist abgelaufen, der Zugriffsschlüssel auf die Schnittstelle wurde bei einer Aktualisierung zurückgesetzt, ein Ordner wurde umbenannt, oder der Zeitplan lief in ein Wartungsfenster des Quellsystems. Keine dieser Ursachen erzeugt im Ablauf selbst eine Fehlermeldung. Der Ablauf wartet, und er kann wochenlang warten.

Die Überwachung prüft deshalb, ob das erwartete Ereignis eingetreten ist. Dafür wird für jeden Auslöser festgehalten, wie oft er im Normalfall anspringt: Rechnungen kommen an jedem Werktag, der nächtliche Preisabgleich läuft einmal, Formulare treffen über den Tag verteilt ein. Bleibt der Eingang über das festgelegte Zeitfenster hinaus aus, geht eine Meldung an die zuständige Person. Der Wiki-Eintrag zum Auslöser beschreibt die drei Arten von Auslösern, für die diese Zeitfenster unterschiedlich gesetzt werden: das gemeldete Ereignis, die regelmäßige Abfrage und den Zeitplan.

Ein stiller Fehler liefert ein Ergebnis ohne Fehlermeldung

Ein stiller Fehler ist ein Durchlauf, der technisch sauber endet und trotzdem ein falsches Ergebnis hinterlässt: Die Rechnung wird gebucht, aber auf das falsche Konto; der Auftrag wird angelegt, aber mit der Nummer des Vorgängerartikels; die Anfrage wird zugestellt, aber an die falsche Abteilung. Kein Protokolleintrag zeigt eine Störung, kein Durchlauf bricht ab, und das Zielsystem nimmt das Ergebnis als Tatsache entgegen.

Stille Fehler entstehen bei KI-gestützten Abläufen leichter als bei regelbasierten, weil ein Sprachmodell auf jede Eingabe eine Antwort gibt. Ein regelbasierter Abgleich findet die Artikelnummer, oder er findet sie nicht und hält an. Ein Sprachmodell liefert bei einer unleserlichen Nummer die wahrscheinlichste und begründet sie überzeugend. Die Messgröße, die diesen Unterschied sichtbar macht, heißt Konfidenzwert: Das System hängt an jedes einzelne Ergebnis eine Zahl, die seine eigene Sicherheit ausdrückt. Unterschreitet die Zahl eine vorher festgelegte Schwelle, wird der Vorgang zum Klärfall und geht an einen Menschen; liegt sie darüber, läuft er durch. Der Wiki-Eintrag zum Konfidenzwert erklärt, wie diese Schwelle gesetzt wird.

Der Konfidenzwert fängt die Fälle ab, in denen das System selbst zweifelt. Die Fälle, in denen es sicher und trotzdem falsch ist, findet nur eine Stichprobe. Im Dauerbetrieb prüft deshalb eine Person in festem Rhythmus eine kleine Zahl durchgelaufener Vorgänge gegen das Original: die gebuchte Rechnung gegen die PDF-Datei, den angelegten Auftrag gegen die E-Mail des Kunden. Steigt die Zahl der Abweichungen in der Stichprobe, ist das das früheste Signal dafür, dass sich an den Eingangsdaten oder am Modell etwas verschoben hat. Wie der Anteil der Vorgänge ohne Eingriff als Kennzahl geführt wird, beschreibt Eingangsrechnungen automatisch prüfen und buchen am Beispiel der Dunkelverarbeitungsquote.

Jeder Eintrag in der Fehlerliste hat eine zuständige Person

Die Fehlerliste ist die eine Stelle, an der alle Vorgänge zusammenlaufen, die eine Automatisierung nicht abschließen konnte: der Klärfall mit zu niedrigem Konfidenzwert, der abgebrochene Durchlauf nach einem Schnittstellenfehler, die Rechnung ohne passende Bestellung, der Eingang im falschen Format. Ohne diese Liste verteilen sich dieselben Fälle auf Postfächer, Benachrichtigungen und Protokolldateien, und für keinen davon ist eine Person benannt.

Jeder Eintrag trägt vier Angaben: den Grund, warum der Vorgang hängen blieb, in Worten, die die Fachabteilung versteht; den Vorschlag des Systems, falls es einen hat; die zuständige Person; und die Frist, bis zu der der Fall erledigt sein soll. Der Grund entscheidet, ob der Fall in die Buchhaltung, in den Innendienst oder zur IT geht. Ein Eintrag wie „Artikelnummer 4711-B nicht im Stamm, Vorschlag 4711-C“ lässt sich im Innendienst in einer Minute entscheiden. Die Meldung „Verarbeitung fehlgeschlagen" liefert dagegen keine Entscheidungsgrundlage und bleibt liegen.

Zuständig für einen Klärfall ist die Fachabteilung, die mit dem Ergebnis arbeitet: die Buchhaltung für die Rechnung, der Innendienst für den Auftrag. Die IT oder der Dienstleister übernimmt die Einträge, deren Grund technisch ist, etwa eine abgelehnte Anmeldung an der Schnittstelle. Diese Aufteilung steht vor dem Start fest, mit Namen und Vertretung, weil ein Klärfall ohne Person liegen bleibt, bis ein Kunde nachfragt. Wie der Mensch an diesen Stellen in den Ablauf eingebunden wird, beschreibt der Wiki-Eintrag zu Human-in-the-Loop.

Die Fehlerliste liefert zugleich die wichtigste Betriebskennzahl: die Zahl der offenen Einträge und ihr Alter. Wächst die Liste über Tage, obwohl die Eingangsmenge gleich bleibt, hat sich entweder die Datenqualität am Eingang verschlechtert oder die zuständige Person kommt nicht nach. Beides muss die Leitung entscheiden, und beides sieht sie nur, wenn die Liste an einer Stelle geführt wird.

Nach einem Modellwechsel werden die Schwellen neu gemessen

Ein Modellwechsel ist der Austausch des Sprach- oder Erkennungsmodells, das in der Automatisierung liest, einordnet oder vorschlägt, gegen eine neuere Version oder ein anderes Modell. Anbieter stellen ältere Modellversionen nach einer Übergangsfrist ein, deshalb steht ein solcher Wechsel bei jeder KI-Automation im Laufe ihrer Betriebszeit mehrfach an. Mit dem Wechsel verändert sich die Verteilung der Konfidenzwerte, und zwar unabhängig davon, ob die Ergebnisse genauer werden.

Die Schwelle, ab der ein Vorgang ohne Prüfung durchläuft, wurde beim Start am alten Modell gemessen. Dafür wurden einige hundert Vorgänge verarbeitet, die Fehler bei verschiedenen Schwellen gezählt und der Wert gewählt, bei dem der Anteil falscher Durchläufe tragbar war. Ein neues Modell vergibt seine Sicherheitswerte anders. Es kann bei denselben Vorgängen durchgehend höhere Werte ausgeben, obwohl es nicht genauer liest; dann laufen Fälle durch, die vorher Klärfälle waren. Es kann auch vorsichtiger sein; dann steigt die Zahl der Klärfälle, und die Fachabteilung meldet, dass die Automatisierung nicht mehr funktioniert.

Ein Modellwechsel läuft deshalb wie eine verkürzte Wiedereinführung: Das neue Modell verarbeitet zunächst dieselben Vorgänge wie das alte, parallel und ohne Wirkung auf das Zielsystem. Die Ergebnisse werden verglichen, die Schwelle wird am neuen Modell neu gemessen, und erst dann übernimmt es den Echtbetrieb. Dasselbe gilt für geänderte Anweisungen an das Modell und für neue Dokumentarten am Eingang. Jede dieser Änderungen bekommt ein Datum im Protokoll, damit ein späterer Anstieg der Fehlerquote einer Ursache zugeordnet werden kann.

Das Protokoll macht jeden Durchlauf nachvollziehbar

Das Protokoll, in der Automatisierung Audit-Log genannt, hält zu jedem Durchlauf fest, welches Ereignis ihn gestartet hat, welche Eingabe vorlag, was das System daraus gelesen hat und mit welcher Sicherheit, welche Entscheidung gefallen ist und was im Zielsystem angelegt oder geändert wurde. Es wird fortlaufend geschrieben und nachträglich nicht verändert, damit der Stand eines Vorgangs zu jedem Zeitpunkt belegbar bleibt.

Im Dauerbetrieb hat das Protokoll drei Aufgaben: die Auskunft zum einzelnen Vorgang, die Ursachensuche bei einem Anstieg der Klärfälle und den Nachweis gegenüber Prüfern. Fragt ein Lieferant, warum seine Rechnung mit einem Abzug gebucht wurde, beantwortet der Eintrag zu genau dieser Rechnung die Frage. Steigt die Zahl der Klärfälle, zeigt das Protokoll, ab welchem Tag und mit welcher Art von Eingang die Verschiebung begann. Und bei einer Prüfung belegt es, dass jede automatische Buchung oder Auftragsanlage auf eine nachvollziehbare Entscheidung zurückgeht.

Das Protokoll enthält personenbezogene Daten, sobald Rechnungen, Bestellungen oder Anfragen von Menschen durchlaufen. Es braucht deshalb eine Aufbewahrungsfrist, einen begrenzten Leserkreis und einen Speicherort, der zum Vertrag über die Auftragsverarbeitung passt. Ein Protokoll, das jeder im Haus lesen kann, ist ein eigenes Risiko. Die Anforderungen an ein solches Ablaufprotokoll fasst der Wiki-Eintrag zum Audit-Log zusammen; wie eine Vorsortierung von Nachrichten ihre Einordnungen festhält, zeigt Der digitale Posteingang.

Der Ersatzablauf hält den Vorgang bei einem Ausfall am Laufen

Der Ersatzablauf ist die vorher festgelegte Art, wie der Betrieb den Vorgang weiterführt, wenn die Automatisierung ausfällt: wer die eingehenden Rechnungen von Hand erfasst, wie der Innendienst an die Bestellungen kommt, die im Postfach der Automatisierung liegen, und wer entscheidet, dass der Ersatzablauf beginnt. Ohne ihn bleibt der Betrieb bei einem Ausfall stehen, denn die Handgriffe, die der Ablauf ersetzt hat, kennt nach einigen Monaten niemand mehr.

Ein Ausfall hat drei Formen: Der Ablauf läuft nicht, weil ein Dienst, eine Schnittstelle oder der Modellanbieter nicht erreichbar ist; er läuft und liefert erkennbar falsche Ergebnisse, etwa nach einer Aktualisierung des Zielsystems; oder er läuft, und sein Ergebnis darf nicht verwendet werden, weil eine Prüfung ansteht. In allen drei Fällen braucht es eine Person, die den Ablauf anhält, und einen Weg, der die Vorgänge von Hand weiterführt. Beides steht im Betriebsplan, bevor der erste Ausfall eintritt.

Zum Ersatzablauf gehört der Wiederanlauf. Nach einem Ausfall liegen Vorgänge vor, die der Ablauf nicht gesehen hat, und Vorgänge, die inzwischen von Hand bearbeitet wurden. Startet die Automatisierung ohne Abgleich neu, legt sie Aufträge doppelt an oder bucht Rechnungen zweimal. Der Wiederanlauf prüft deshalb vor jedem Vorgang, ob er im Zielsystem schon vorhanden ist, und übergeht ihn in diesem Fall. Diese Eigenschaft heißt Idempotenz; sie wird beim Bau festgelegt und zahlt sich beim ersten Ausfall aus.

Der Betriebsplan regelt sechs Punkte vor dem Start

Die sechs Regelungen dieses Beitrags passen auf eine Seite. Dieser Betriebsplan entsteht vor dem Start, wird mit der Fachabteilung abgestimmt und liegt dort, wo auch die Fehlerliste geführt wird.

1. Auslöser und Zeitfenster: für jeden Auslöser den erwarteten Eingang und das Zeitfenster festhalten, nach dem ein ausbleibender Eingang gemeldet wird, samt Empfänger der Meldung.
2. Stichprobe und Schwelle: den Rhythmus der Stichprobe, die Zahl der geprüften Vorgänge und die beim Start gemessene Konfidenzschwelle mit Datum notieren.
3. Fehlerliste und Zuständigkeit: je Fehlergrund die zuständige Person, ihre Vertretung und die Frist bis zur Erledigung benennen.
4. Modellwechsel: die Prüfmenge mit bekannten Ergebnissen hinterlegen und festlegen, dass jeder Wechsel zuerst gegen diese Menge läuft.
5. Protokoll: Speicherort, Aufbewahrungsfrist und Leseberechtigte des Protokolls festlegen, abgestimmt mit dem Datenschutz.
6. Ersatzablauf: die Handgriffe für den manuellen Weg beschreiben, die Person benennen, die den Ablauf anhält, und den Wiederanlauf festlegen.

Der Betriebsplan ist zugleich die Grundlage für die Übergabe: Wechselt die zuständige Person oder der Dienstleister, steht dort, was zu beobachten ist und wer eingreift. Ohne dieses Blatt hängt der Dauerbetrieb am Gedächtnis der Person, die die Automatisierung eingeführt hat. Welche dieser Regelungen schon bei der Wahl des Umsetzungswegs mitentschieden werden, beschreibt Den Weg zur Automatisierung wählen.

Fünf Fehler kosten im Dauerbetrieb am meisten

Im Dauerbetrieb wiederholen sich fünf Fehler, unabhängig davon, welcher Vorgang automatisiert wurde und auf welchem Weg.

Die ersten drei Fehler entscheiden darüber, ob ein Ausfall nach Stunden oder nach Wochen bemerkt wird.