Wirtschaftlichkeit einer KI-Automation messen:
Kennzahlen vor und nach der Einführung
Ob sich eine KI-Automation rechnet, zeigt der Vergleich weniger Kennzahlen aus der Zeit vor dem Start mit denselben Kennzahlen danach. Der Ausgangswert wird vor dem ersten automatischen Durchlauf erhoben, denn ohne ihn fehlt dem Vergleich die Bezugsgröße.
Die Wirtschaftlichkeit einer KI-Automation misst der Betrieb, indem er den Aufwand eines Vorgangs vor der Einführung gegen den Aufwand nach der Einführung hält. Drei Kennzahlen tragen diesen Vergleich: die Bearbeitungszeit je Vorgang, die Fehlerquote und der Aufwand für die Nacharbeit. Der entscheidende Schritt liegt vor dem Start, denn nur ein vor dem Start gemessener Ausgangswert gibt den späteren Werten einen Maßstab.
Viele Automationen laufen stabil und sparen trotzdem keine nachweisbare Arbeit, weil niemand den Zustand vor dem Start festgehalten hat. Die Zeitersparnis bleibt dann eine Behauptung, die sich im Nachhinein weder belegen noch widerlegen lässt. Dieser Beitrag beschreibt, welche Kennzahlen den Vergleich tragen, wie der Ausgangswert erhoben wird, wer im Betrieb misst und wann über den Weiterbetrieb entschieden wird. Wie eine Automation nach dem Start auf ausbleibende Auslöser und stille Fehler überwacht wird, behandelt KI-Automation im Dauerbetrieb; dieser Beitrag setzt daneben an: bei der Frage, ob sich der Betrieb rechnet.
Der Weg zur Wirtschaftlichkeitsmessung
Vier Schritte vom Ausgangswert bis zur Entscheidung
Ohne den Wert vor dem Start fehlt dem Vergleich die Bezugsgröße
Wirtschaftlichkeit vergleicht den Aufwand je Vorgang vor und nach dem Start
Wirtschaftlichkeit bezeichnet im Zusammenhang einer Automation das Verhältnis zwischen dem Aufwand, den ein Vorgang vor der Einführung gekostet hat, und dem Aufwand, den derselbe Vorgang nach der Einführung kostet. Gemessen wird dieser Aufwand an drei Größen, die der Betrieb selbst beobachten kann, ohne einen Geldbetrag zu berechnen: an der Zeit, die ein Vorgang einen Menschen bindet, am Anteil der falschen Ergebnisse und an der Arbeit, die eine Korrektur verursacht. Aus diesen drei Größen ergibt sich, ob eine Automation Arbeit abnimmt oder an anderer Stelle neue Arbeit erzeugt.
Eine Automation verschiebt die Arbeit, bevor sie sie abnimmt. Vor der Einführung erfasst ein Mensch jeden Vorgang vollständig. Nach der Einführung erledigt der Ablauf die Masse der Vorgänge, und der Mensch bearbeitet die Fälle, die der Ablauf nicht sicher lösen kann, gibt Ergebnisse frei und prüft Stichproben. Ob am Ende weniger Arbeit übrig bleibt, hängt davon ab, wie groß die Masse der sauber durchlaufenden Vorgänge gegenüber den verbliebenen Klärfällen ist. Genau dieses Verhältnis machen die Kennzahlen sichtbar.
Die Messung dient einer Entscheidung. Nach einigen Wochen Echtbetrieb steht die Frage im Raum, ob der Betrieb die Automation weiterführt, nachbessert oder zurückbaut. Eine Antwort, die auf einem gemessenen Vorher-Nachher-Vergleich beruht, trägt diese Entscheidung; ein Eindruck aus dem Alltag trägt sie nicht. Wie der Einstieg mit einem ersten Vorgang gelingt und wie dieser Pilot messbar angelegt wird, beschreibt Die erste KI-Automation im Betrieb.
Der Ausgangswert entsteht vor dem ersten automatischen Durchlauf
Der Ausgangswert, auch Baseline genannt, ist der gemessene Stand der drei Kennzahlen aus der Zeit, in der der Vorgang noch vollständig von Hand bearbeitet wird. Er ist der feste Bezugspunkt, gegen den jeder spätere Wert gehalten wird. Ist die Automation bereits in Betrieb, lässt sich der frühere Aufwand nur noch aus der Erinnerung schätzen, und eine Schätzung schwankt mit der Stimmung des Tages. Deshalb wird der Ausgangswert erhoben, bevor der erste automatische Durchlauf läuft.
Die Erhebung braucht keinen eigenen Apparat. Über einen festgelegten Zeitraum, etwa zwei Wochen, hält die Fachabteilung für eine feste Menge gleichartiger Vorgänge fest, wie lange die Bearbeitung dauert, wie oft ein Ergebnis korrigiert werden muss und welche Arbeit die Korrektur verursacht. Wichtiger als die Nachkommastelle ist, dass der Zeitraum und die Menge notiert sind, damit die Messung nach dem Start am selben Maßstab wiederholt werden kann. Ein Ausgangswert über fünf Vorgänge an einem ruhigen Tag trägt den Vergleich nicht.
Der Ausgangswert zeigt oft schon vor der Automation, wo der Aufwand wirklich liegt. Mancher Vorgang gilt als zeitraubend, bindet aber in der Messung weniger Zeit als angenommen, während ein unscheinbarer Schritt die meisten Korrekturen verursacht. Dieser Befund beeinflusst, welcher Vorgang sich für die Automation lohnt, und er gehört in die Entscheidung vor dem Bau.
Sobald die Automation läuft, verändert sich der Arbeitsalltag, und der Zustand von vorher ist nicht mehr beobachtbar. Wer den Ausgangswert versäumt, kann die Ersparnis später nur behaupten. Die zwei Wochen Messung vor dem Start sind deshalb die Voraussetzung dafür, dass die Automation ihren Nutzen überhaupt belegen kann.
Die Bearbeitungszeit zählt die Minuten, die ein Vorgang einen Menschen bindet
Die Bearbeitungszeit ist die Zeit, die ein einzelner Vorgang einen Menschen von der Aufnahme bis zum Abschluss bindet: das Lesen der eingegangenen Unterlage, das Erfassen der Daten, der Abgleich gegen ein anderes System, die Freigabe. Gemessen wird die reine Arbeitszeit am Vorgang, nicht die Durchlaufzeit, in der ein Vorgang auch unbearbeitet liegt. Beide Größen sind nützlich, aber sie beantworten verschiedene Fragen: Die Bearbeitungszeit sagt, wie viel Arbeit ein Vorgang kostet, die Durchlaufzeit, wie lange ein Kunde auf das Ergebnis wartet.
Nach dem Start fällt die Bearbeitungszeit nicht gleichmäßig für alle Vorgänge. Die Vorgänge, die der Ablauf sicher löst, binden kaum noch Zeit, weil ein Mensch nur das Ergebnis freigibt oder eine Stichprobe zieht. Die Klärfälle binden dagegen weiterhin volle Bearbeitungszeit, manchmal mehr als vorher, weil ein Mensch zuerst versteht, warum der Ablauf nicht weiterkam. Der aussagekräftige Wert ist deshalb die durchschnittliche Bearbeitungszeit über alle Vorgänge zusammen, nicht die Zeit für den gelungenen Einzelfall.
Diese durchschnittliche Zeit je Vorgang wird nach dem Start am selben Vorgang und über einen vergleichbaren Zeitraum erhoben wie der Ausgangswert. Die Differenz zwischen beiden Werten ist die eingesparte Arbeitszeit je Vorgang. Multipliziert mit der Menge der Vorgänge im Zeitraum ergibt sie die Entlastung, die der Betrieb an anderer Stelle einsetzen kann. Wohin diese freigewordene Zeit geht und wer darüber entscheidet, ist eine eigene Frage, die der Betrieb vor dem Start klären sollte.
Die Fehlerquote zählt die Durchläufe mit falschem Ergebnis
Die Fehlerquote ist der Anteil der Vorgänge, deren Ergebnis von Hand korrigiert werden musste, an allen Vorgängen im Zeitraum. Vor dem Start erfasst sie die Fehler der manuellen Bearbeitung, denn auch der Mensch verschreibt sich, übersieht eine Position oder bucht auf das falsche Konto. Dieser Wert ist wichtig, weil die Automation nicht gegen null Fehler antritt, sondern gegen die bestehende Fehlerquote der Handarbeit. Eine Automation, die ähnlich oft irrt wie der Mensch zuvor, spart Zeit, ohne die Qualität zu verschlechtern.
Nach dem Start verändert sich die Art der Fehler. Ein automatischer Ablauf macht seltener Flüchtigkeitsfehler, dafür entstehen Fehler, die der Mensch so nicht gemacht hätte: Ein Sprachmodell liefert zu jeder Eingabe einen Vorschlag und begründet auch eine falsche Zuordnung überzeugend. Für die Messung zählt deshalb jeder Durchlauf, der ein falsches Ergebnis ins Zielsystem geschrieben hat, unabhängig davon, ob er sicher oder unsicher wirkte. Wie diese Fälle im laufenden Betrieb über Konfidenzwert und Stichprobe gefunden werden, beschreibt der Wiki-Eintrag zum Konfidenzwert.
Für die Wirtschaftlichkeit ist die Fehlerquote eine Kontrollgröße neben der Zeit. Eine Automation, die die Bearbeitungszeit halbiert, aber die Fehlerquote verdoppelt, spart auf dem Papier Zeit und schafft in Wahrheit neue Arbeit, weil jeder zusätzliche Fehler Nacharbeit nach sich zieht. Erst Zeit und Fehlerquote zusammen zeigen, ob der Vorgang günstiger geworden ist. Wie sich die Zuverlässigkeit über eine Kette aus mehreren automatischen Schritten verhält, behandelt KI-Automatisierung und die Architektur langer Ketten.
Die Zeitersparnis wird gefeiert, die gestiegene Fehlerquote übersehen. Der Vorgang läuft schneller, aber jeder dritte Fehler fällt erst beim Kunden auf und kostet einen Anruf, eine Gutschrift und Vertrauen. Gerechnet wird am Ende mehr Arbeit als vorher, nur ist sie auf später und auf andere Personen verteilt.
Die Nacharbeit erfasst den Aufwand, den jede Korrektur nach sich zieht
Die Nacharbeit ist der Aufwand, der nach einem fehlerhaften Durchlauf anfällt, bis der Vorgang richtig abgeschlossen ist: die Suche nach der Ursache, die Korrektur im Zielsystem, die Rückmeldung an den Kunden oder Lieferanten und manchmal die Berichtigung einer bereits verschickten Unterlage. Diese Arbeit erscheint in keiner Bearbeitungszeit des ursprünglichen Vorgangs, weil sie zu einem späteren Zeitpunkt und oft in einer anderen Abteilung entsteht. Genau deshalb wird sie leicht übersehen.
Nacharbeit ist die teuerste der drei Kennzahlen, weil ein Fehler mit jeder Stufe, die er weiterläuft, mehr Arbeit verursacht. Ein Fehler, der vor der Freigabe auffällt, kostet eine Korrektur. Derselbe Fehler, der erst nach dem Versand auffällt, kostet Korrektur, Rückmeldung und die Klärung mit der Gegenseite. Ein falscher Wert, der in die Buchhaltung oder in einen Lieferschein gelangt, zieht Kreise bis in Mahnläufe und Reklamationen. Die Messung hält deshalb zweierlei fest: wie oft nachgearbeitet wurde und an welcher Stelle der Fehler aufgefallen ist.
Vor dem Start wird die Nacharbeit der Handarbeit erhoben, nach dem Start die Nacharbeit des automatischen Ablaufs. Sinkt die Nacharbeit, zahlt die Automation doppelt ein: über die eingesparte Bearbeitungszeit und über die vermiedene Folgearbeit. Steigt sie, frisst sie die Zeitersparnis auf, und die Messung legt den Finger genau auf die Fehlerart, die den Anstieg trägt. Die Vorprüfung von Ergebnissen durch einen Menschen, die viele dieser Fehler vor dem Versand abfängt, beschreibt der Wiki-Eintrag zu Human-in-the-Loop.
Die Leitung entscheidet an einem festen Termin über den Weiterbetrieb
Gemessen wird dort, wo der Vorgang bearbeitet wird. Die Fachabteilung kennt den Aufwand je Vorgang, sie sieht die Klärfälle und die Nacharbeit, und sie trägt die Zählung in dieselbe Liste ein, in der auch die Klärfälle geführt werden. Die Erhebung kostet wenige Minuten am Tag, solange sie an den laufenden Vorgängen mitläuft und nicht als Sonderauswertung nachträglich zusammengesucht wird. Ohne eine benannte Person bleibt die Messung liegen, sobald der Alltag drückt.
Die Entscheidung über den Weiterbetrieb liegt bei der Leitung, und sie fällt an einem Termin, der vor dem Start feststeht: etwa sechs bis acht Wochen nach dem ersten Echtbetrieb, wenn genug Vorgänge durchgelaufen sind und die Anlaufprobleme der ersten Tage vorbei sind. Zu diesem Termin liegen Ausgangswert und aktueller Wert nebeneinander, und die Leitung entscheidet eine von drei Möglichkeiten: weiterführen, nachbessern oder zurückbauen. Ein fester Termin verhindert zwei Fehler zugleich, die fehlende Entscheidung bei einer Automation, die niemandem auffällt, und das vorschnelle Urteil nach den ersten holprigen Tagen.
Der Entscheidungstermin ist auch der Moment, in dem die Automation gegen ihre eigene Zusage gehalten wird. Vor dem Bau stand eine Erwartung im Raum, welchen Vorgang sie entlasten soll. Am Termin zeigt die Messung, ob diese Erwartung eingetreten ist, und die Leitung entscheidet mit Zahlen vor sich, nicht mit einem Bauchgefühl.
Der Vergleich trägt nur, wenn vorher und nachher dasselbe gemessen wird
Ein Vorher-Nachher-Vergleich misst nur dann die Wirkung der Automation, wenn sich zwischen beiden Messungen sonst nichts Wesentliches verändert hat. In der Praxis verändert sich aber oft etwas: Die Menge der Vorgänge steigt zum Jahresende, ein Lieferant stellt sein Format um, eine erfahrene Kraft geht und eine neue kommt. Jede dieser Veränderungen verschiebt die Kennzahlen, ohne dass die Automation etwas damit zu tun hat. Wird sie nicht bemerkt, schreibt der Betrieb der Automation eine Wirkung zu, die woanders herkommt.
Drei Vorkehrungen halten den Vergleich sauber. Erstens wird vorher und nachher derselbe Vorgang gemessen, nicht ein ähnlicher. Zweitens gilt für beide Messungen dieselbe Definition jeder Kennzahl: Was als Fehler zählt und was als abgeschlossen gilt, wird einmal festgelegt und nicht zwischendurch geändert. Drittens wird jede andere Änderung im Messzeitraum notiert, damit ein auffälliger Wert einer Ursache zugeordnet werden kann. Ein Protokoll mit Datum für jede Umstellung macht diese Zuordnung möglich.
Die ehrlichste Messung benennt auch, was sie nicht erfasst. Die drei Kennzahlen zeigen Zeit, Fehler und Nacharbeit; sie zeigen nicht, dass eine monotone Tätigkeit wegfällt, dass ein Vorgang gleichmäßiger abläuft oder dass ein Kunde sein Ergebnis früher bekommt. Diese Wirkungen gehören in die Entscheidung, aber als benannte Beobachtung, nicht als Zahl, die sie nicht sind. Eine Messung, die ihre Grenzen offenlegt, ist belastbarer als eine, die alles in eine einzige Kennziffer presst.
Legen Sie die drei Kennzahlen und ihre Definition in einem Satz je Kennzahl fest, bevor der Ausgangswert erhoben wird: was gemessen wird, über welchen Zeitraum und was als Fehler zählt. Dieses Blatt gilt für beide Messungen unverändert. So misst die Erhebung nach dem Start zwangsläufig dasselbe wie die vor dem Start, und der Vergleich bleibt am Termin unangreifbar.
Der Messplan hält sechs Punkte vor dem Start fest
Die Wirtschaftlichkeitsmessung kommt ohne eigenes Werkzeug aus; sie braucht eine Abmachung, die vor dem Start auf einer Seite steht. Dieser Messplan entsteht gemeinsam mit der Fachabteilung und liegt dort, wo auch die Kennzahlen eingetragen werden.
- Vorgang und Menge: den genauen Vorgang benennen, der gemessen wird, und die Menge der Vorgänge je Zeitraum festhalten, damit vorher und nachher dasselbe gezählt wird.
- Kennzahlen und Definition: Bearbeitungszeit, Fehlerquote und Nacharbeit je mit einem Satz definieren, der sagt, was gemessen wird und was als Fehler zählt.
- Ausgangswert: den Zeitraum der Erhebung vor dem Start festlegen und die drei Werte mit Datum notieren.
- Zuständigkeit: die Person benennen, die im Betrieb misst, samt Vertretung, und die Stelle, an der die Werte eingetragen werden.
- Entscheidungstermin: den Termin festlegen, an dem die Leitung Ausgangswert und aktuellen Wert vergleicht und über Weiterbetrieb, Nachbesserung oder Rückbau entscheidet.
- Änderungsprotokoll: jede andere Änderung im Messzeitraum mit Datum festhalten, damit ein auffälliger Wert einer Ursache zugeordnet werden kann.
Der Messplan ist zugleich die Grundlage für die nächste Automation. Hat der Betrieb einmal einen Vorgang sauber gemessen, kennt er den Aufwand der Erhebung und die Form des Vergleichs, und die zweite Messung kostet einen Bruchteil der ersten. Welche Regelungen schon bei der Wahl des Umsetzungswegs mitentschieden werden, zeigt der Beitrag zur Zeitersparnis im Angebotsprozess.
Die drei Kennzahlen liegen mit Zeitraum und Menge gemessen vor dem ersten Durchlauf vor
Was gemessen wird und was als Fehler zählt, steht einmal fest und ändert sich nicht
Eine Person misst im Betrieb, die Leitung entscheidet an einem festen Termin
Jede andere Umstellung ist mit Datum notiert und lässt sich vom Effekt der Automation trennen
Fünf Fehler verfälschen die Wirtschaftlichkeitsmessung
Bei der Messung der Wirtschaftlichkeit wiederholen sich fünf Fehler, unabhängig davon, welcher Vorgang automatisiert wurde.
Die Ersparnis lässt sich nach dem Start nur noch behaupten, nicht belegen
Gestiegene Fehler und Nacharbeit bleiben außen vor und kehren die Rechnung um
Die teuerste Folgearbeit entsteht später und in einer anderen Abteilung
Eine andere Menge oder ein neues Format verschiebt die Werte an der Automation vorbei
Die Automation läuft weiter, ohne dass jemand ihren Nutzen je geprüft hat
Die ersten drei Fehler entscheiden darüber, ob die Rechnung am Ende überhaupt stimmt.
Häufig gestellte Fragen
Drei Kennzahlen tragen den Vergleich: die Bearbeitungszeit je Vorgang, also die Zeit, die ein Vorgang einen Menschen bindet; die Fehlerquote, also der Anteil der Durchläufe mit falschem Ergebnis; und die Nacharbeit, also der Aufwand für die Korrektur eines fehlerhaften Durchlaufs. Entscheidend ist, dass jede dieser Kennzahlen vor dem Start gemessen vorliegt, damit die Werte nach dem Start eine Bezugsgröße haben.
Weil der Vergleich sonst keine Bezugsgröße hat. Ist die Automation erst in Betrieb, lässt sich der frühere Aufwand nur noch schätzen, und eine Schätzung trägt keine Entscheidung über den Weiterbetrieb. Der Ausgangswert ist der gemessene Stand der Kennzahlen aus der Zeit vor dem ersten automatischen Durchlauf. Er wird über einen festen Zeitraum an einer festen Menge an Vorgängen erhoben, damit der Wert nach dem Start am selben Maßstab gemessen wird.
Die Fachabteilung, die den Vorgang bearbeitet, erhebt die Kennzahlen, weil sie den Aufwand je Vorgang kennt. Die Leitung entscheidet an einem vorab gesetzten Termin über den Weiterbetrieb, die Nachbesserung oder den Rückbau. Beide Rollen und der Entscheidungstermin stehen vor dem Start fest, damit die Messung nicht im Alltag untergeht.
Eine Veränderung der Bedingungen zwischen den beiden Messungen. Steigt im selben Zeitraum die Menge der Vorgänge, ändert ein Lieferant sein Format oder zieht ein erfahrener Bearbeiter die Zahlen vor dem Start künstlich nach unten, misst der Vergleich nicht mehr die Wirkung der Automation. Deshalb werden vorher und nachher derselbe Vorgang, dieselbe Definition der Kennzahl und ein vergleichbarer Zeitraum gemessen, und jede andere Änderung im Zeitraum wird notiert.
Die Messung zeigt dann, wo der Aufwand hängt: an der Zahl der Klärfälle, an wiederkehrender Nacharbeit oder an einem Vorgang, der sich nur zum Teil automatisieren lässt. Aus diesem Befund folgt eine von drei Entscheidungen: die Automation nachbessern, etwa die Schwelle oder die Eingangsdaten anpassen; sie auf den Teil der Vorgänge begrenzen, der sauber durchläuft; oder den Vorgang wieder von Hand bearbeiten. Weil der Befund an Kennzahlen hängt, ist jede dieser Entscheidungen begründet.
Erst die Messung macht aus einer Automation eine belegbare Entlastung
Ob sich eine KI-Automation rechnet, lässt sich belegen, sobald der Betrieb den Aufwand eines Vorgangs vor dem Start gegen den Aufwand danach hält, gemessen an Bearbeitungszeit, Fehlerquote und Nacharbeit. Der Ausgangswert vor dem ersten Durchlauf ist die Voraussetzung dafür, dass dieser Vergleich überhaupt möglich ist, und ein fester Termin sorgt dafür, dass die Leitung die Entscheidung mit Zahlen vor sich trifft.
Wer so misst, kennt nach wenigen Wochen den wahren Nutzen seiner Automation, kann eine Zeitersparnis belegen und erkennt früh, wenn der Aufwand sich an anderer Stelle staut. Wie der laufende Betrieb überwacht wird, damit die gemessenen Werte auch über Monate halten, behandelt KI-Automation im Dauerbetrieb.
Wir prüfen in 1 Werktag, welche drei Kennzahlen Ihren Vorgang vor der Automation abbilden, und wie Sie den Ausgangswert erheben, bevor der erste Durchlauf startet.
KI im Arbeitsalltag – konkret statt abstrakt.
Wöchentlich ein Fachbeitrag, der zeigt, wo Künstliche Intelligenz heute echten Nutzen bringt. Jederzeit abbestellbar.
Zu den KI-News