Der Mensch als Eskalationsinstanz:
Human-in-the-Loop-Design für hochautomatisierte KI-Ketten

Was Human-in-the-Loop bedeutet

Human-in-the-Loop bezeichnet ein Automatisierungsdesign, in dem ein Mensch an festgelegten Punkten einer maschinellen Kette entscheidet, freigibt, prüft oder eingreift. Der Begriff wird oft so verwendet, als wäre damit schon eine Sicherung beschrieben. Tatsächlich benennt er nur, dass ein Mensch beteiligt ist. Ob diese Beteiligung wirkt, entscheiden ihre Form und ihre Frequenz.

Drei Rollen lassen sich unterscheiden. Der Freigeber bestätigt eine Aktion, bevor die Kette sie ausführt. Der Prüfer sieht sich Ergebnisse im Nachhinein an, in der Regel als Stichprobe. Die Eskalationsinstanz wird nur eingeschaltet, wenn ein definierter Auslöser anschlägt, und entscheidet dann einen Einzelfall, den die Kette nicht entscheiden soll. Ein tragfähiges Design weist jeder Aktion der Kette eine dieser Rollen zu, statt alle Aktionen über denselben Freigabeknopf zu schicken.

Diese Zuordnung setzt voraus, dass die Kette selbst belastbar gebaut ist. Wie kurz eine Kette sein muss und wo Prüfpunkte hingehören, damit die Fehlerrate nicht multiplikativ wächst, behandelt der Beitrag zur Architektur belastbarer KI-Prozessketten. Der vorliegende Text setzt eine solche Kette voraus und ordnet die menschliche Aufsicht darüber.

Warum Dauer-Freigaben nicht kontrollieren

Die Freigabe jedes einzelnen Vorgangs scheitert an drei Befunden, die in der Forschung zur Mensch-Maschine-Zusammenarbeit seit Jahrzehnten repliziert werden.

Die Aufmerksamkeit sinkt innerhalb einer halben Stunde

Norman Mackworth zeigte 1948 in Versuchen mit Radarbeobachtern, dass die Trefferquote bei einer gleichförmigen Überwachungsaufgabe schon in den ersten dreißig Minuten deutlich abfällt. Dieser Vigilanzabfall liegt in der Art der Aufgabe begründet: Seltene Ereignisse in einem gleichförmigen Strom zu erkennen, gelingt Menschen über längere Zeit schlecht, unabhängig von ihrer Motivation. Eine Freigabeschlange aus lauter richtigen Vorschlägen ist genau ein solcher Strom.

Hohe Trefferquote erzeugt blindes Vertrauen

Je zuverlässiger ein System arbeitet, desto eher übernehmen Menschen seine Ausgabe, ohne sie zu bewerten. Skitka, Mosier und Burdick wiesen 1999 nach, dass Personen mit automatischer Entscheidungshilfe Fehler machten, die Personen ohne Hilfe nicht machten: Sie übersahen Ereignisse, die das System nicht meldete, und folgten falschen Empfehlungen. Parasuraman und Manzey fassten 2010 den Stand zu diesem Automation Bias und zur Nachlässigkeit unter Automatisierung zusammen. Mica Endsley formulierte 2017 das Dilemma zugespitzt: Je mehr und je zuverlässiger automatisiert wird, desto unwahrscheinlicher wird, dass der Mensch einen Ausfall bemerkt und wirksam eingreift.

Wiederholung senkt die Annahmebereitschaft messbar

Wie stark Wiederholung wirkt, lässt sich beziffern. Eine Auswertung klinischer Entscheidungsunterstützung ergab, dass die Wahrscheinlichkeit, einen Hinweis anzunehmen, mit jedem zusätzlichen Hinweis im selben Vorgang um 30 Prozent sank. Wurde ein wiederholter Hinweis beim ersten Mal übergangen, wurden 87,9 Prozent der Wiederholungen ebenfalls übergangen. Der Befund stammt aus der Medizin, der Mechanismus ist derselbe wie in einer Freigabeschlange für Buchungen oder Angebote: Der Mensch lernt, dass Bestätigen die richtige Antwort ist, und hört auf zu prüfen.

Lisanne Bainbridge hat die Konsequenz bereits 1983 als Ironie der Automatisierung beschrieben. Der Konstrukteur überlässt dem Menschen die Aufgaben, die er nicht automatisieren kann, und dazu die Überwachung. Übernehmen muss der Mensch dann ausgerechnet in dem Moment, in dem die Automatisierung versagt, also unter den schwierigsten Bedingungen, mit Fähigkeiten, die er mangels Übung verloren hat. Eine Aufsicht, die aus Dauer-Freigaben besteht, baut diese Ironie in den Betrieb ein.

Fünf Autonomiestufen für Aktionen einer KI-Kette

Eine Autonomiestufe beschreibt, wie weit eine einzelne Aktion der Kette ohne menschliche Beteiligung ausgeführt wird. Parasuraman, Sheridan und Wickens haben im Jahr 2000 ein Modell mit zehn Stufen vorgelegt, das von der reinen Vorschlagsfunktion bis zur vollständigen Autonomie reicht. Für den betrieblichen Einsatz reichen fünf Stufen, die sich eindeutig einer Aktion zuordnen lassen. Die Zuordnung erfolgt je Aktion, nicht je Kette: Dieselbe Kette kann Daten auf Stufe 4 sortieren und eine Bestellung auf Stufe 2 vorbereiten.

1. Stufe 0, vorschlagen: Die Kette erzeugt einen Vorschlag und tut sonst nichts. Der Mensch entscheidet und führt aus. Geeignet für neue Fälle, deren Fehlerrate noch unbekannt ist.
2. Stufe 1, vorbereiten: Die Kette bereitet die Aktion vollständig vor, etwa einen ausgefüllten Auftrag oder eine adressierte Nachricht, und wartet auf die Freigabe. Der Mensch prüft und löst aus.
3. Stufe 2, ausführen nach Freigabe: Die Kette führt aus, sobald ein Mensch bestätigt hat. Der Unterschied zu Stufe 1 liegt darin, dass die Ausführung selbst automatisiert ist und protokolliert wird.
4. Stufe 3, ausführen mit Einspruchsfrist: Die Kette kündigt an und führt nach Ablauf einer Frist aus, wenn niemand widerspricht. Der Mensch greift nur ein, wenn er will. Geeignet für Aktionen, die sich bis zur Frist folgenlos stoppen lassen.
5. Stufe 4, ausführen mit Protokoll: Die Kette führt aus und dokumentiert. Der Mensch sieht Ergebnisse nur in der Stichprobe oder bei einem Auslöser. Geeignet für umkehrbare, häufige, maschinell prüfbare Aktionen.

Der Wert dieses Rasters liegt in der Sichtbarkeit. Wer für jede Aktion seiner Kette eine Stufe eintragen muss, entdeckt die Stellen, an denen bisher stillschweigend Stufe 4 galt, obwohl die Aktion Außenwirkung hat, und die Stellen, an denen Stufe 1 die Mitarbeiter mit Freigaben beschäftigt, die keinen Erkenntniswert haben.

Vier Kriterien für die Zuordnung

Welche Stufe eine Aktion bekommt, entscheiden vier Kriterien. Sie werden je Aktion beantwortet und ergeben zusammen die höchste Stufe, die vertretbar ist.

Umkehrbarkeit

Lässt sich die Aktion rückgängig machen, und zu welchem Aufwand? Ein intern angelegter Vorgang wird gelöscht; eine versendete Nachricht, eine ausgelöste Zahlung oder ein bestätigter Liefertermin sind in der Welt. Je schwerer die Umkehr, desto niedriger die Stufe.

Schadenshöhe im Fehlerfall

Was passiert, wenn die Aktion falsch war? Zu bewerten ist der Einzelfall und die Menge: Ein kleiner Fehler, den die Kette tausendmal macht, bevor jemand hinsieht, ist ein großer Schaden. Aktionen mit Geldfluss, Vertragsbindung, Personenbezug oder Wirkung auf Kunden bleiben unter Stufe 3.

Maschinelle Prüfbarkeit

Lässt sich das Ergebnis der Aktion gegen eine feste Regel prüfen, bevor es wirkt? Ein Betrag, der zur Bestellung passt, eine Adresse, die im Stammsatz existiert, ein Format, das validiert: Solche Prüfungen sind deterministisch und ermüden nicht. Je mehr sich maschinell absichern lässt, desto höher darf die Stufe liegen. Wo nur ein Mensch das Ergebnis beurteilen kann, weil es um Angemessenheit, Ton oder Kontext geht, bleibt die Stufe niedrig.

Häufigkeit

Wie oft kommt die Aktion vor? Häufige Aktionen liefern schnell eine belastbare Fehlerrate und rechtfertigen den Aufwand für maschinelle Prüfungen und Stichproben. Seltene Aktionen bleiben auf einer niedrigen Stufe, weil sich weder Fehlerrate noch Prüfroutine bilden. Für die Frage, mit welchem Prozess ein Betrieb überhaupt anfängt, hilft der Beitrag zum richtigen Einstiegsprozess für die erste KI-Automation.

Aus den vier Antworten ergibt sich ein einfaches Bild: umkehrbar, geringer Schaden, maschinell prüfbar, häufig ergibt Stufe 4. Sobald eines der Kriterien kippt, sinkt die Stufe. Nicht umkehrbar und hoher Schaden ergibt Stufe 1 oder 2, unabhängig davon, wie gut die Kette in der Vorführung aussah.

Stichprobe statt Vollprüfung

Eine Stichprobenprüfung bezeichnet die gezielte Kontrolle eines Teils der Ergebnisse, aus der auf die Qualität aller geschlossen wird. In der Fertigung ist das seit Jahrzehnten Standard; die Annahmestichprobe nach ISO 2859-1 legt fest, wie viele Stücke eines Loses geprüft werden und ab wie vielen Fehlern das Los zurückgeht. Für KI-Ketten gilt dasselbe Prinzip: Wer alles prüft, prüft am Ende nichts mehr; wer gezielt prüft, hält die Aufmerksamkeit dort, wo sie wirkt. Drei Bausteine machen die Stichprobe belastbar.

Risikogewichtete Ziehung

Die Prüfquote ist nicht für alle Vorgänge gleich. Vorgänge mit hohem Betrag, neuem Geschäftspartner, ungewöhnlicher Kombination oder niedriger Konfidenz der Kette werden mit deutlich höherer Quote gezogen als Routinefälle. So sieht der Prüfer überwiegend Fälle, bei denen ein Fehler wahrscheinlich und folgenreich wäre, und seine Aufmerksamkeit bleibt beansprucht statt eingeschläfert.

Kontrollfälle mit bekanntem Ergebnis

In den Strom der echten Vorgänge werden regelmäßig Fälle eingeschleust, deren richtiges Ergebnis bekannt ist, darunter absichtlich fehlerhafte. Sie messen zwei Dinge zugleich: ob die Kette den Fehler noch erkennt und ob der Prüfer ihn noch findet. Übersieht der Prüfer eingeschleuste Fehler, ist die Vigilanz weg, und die Prüfroutine muss geändert werden, bevor ein echter Fehler durchläuft. Ohne solche Kontrollfälle lässt sich die Wirksamkeit einer Prüfung nicht belegen, nur behaupten.

Adaptive Prüfquote

Die Quote reagiert auf die gemessene Fehlerrate. Steigt sie über eine Schwelle, zieht die Stichprobe an, im Grenzfall bis zur Vollprüfung oder zum Anhalten der Kette. Sinkt die Fehlerrate über einen längeren Zeitraum, darf die Quote fallen. Der Mechanismus wirkt in beide Richtungen und ersetzt die Bauchentscheidung, ob man „der Kette inzwischen trauen kann", durch eine Regel mit Zahlen.

Die Stichprobe ersetzt die Vollprüfung nur für Aktionen auf Stufe 3 und 4. Aktionen mit Außenwirkung behalten ihre Freigabe. Beides zusammen ergibt eine Aufsicht, die den Menschen an wenigen Stellen wirklich fordert, statt ihn an vielen Stellen zu beschäftigen.

Die Eskalation an den Menschen bauen

Eine Eskalation bezeichnet die Übergabe eines Einzelfalls von der Kette an einen Menschen, ausgelöst durch eine definierte Bedingung. Sie ist der Punkt, an dem das Design über die Qualität der Aufsicht entscheidet. Vier Elemente gehören dazu.

Definierte Auslöser

Die Kette hält an, wenn eine messbare Bedingung erfüllt ist: die Konfidenz eines Schritts liegt unter der Schwelle, ein Betrag überschreitet die Grenze, ein Fall passt zu keinem bekannten Muster, zwei Quellen widersprechen sich, oder ein Kunde verlangt ausdrücklich einen Menschen. Jeder Auslöser wird protokolliert, damit sich später auswerten lässt, welcher zu oft und welcher zu selten anschlägt.

Übergabe mit vollständigem Kontext

Der Mensch bekommt den Fall so aufbereitet, dass er entscheiden kann, ohne die Kette nachzuvollziehen: worum es geht, was die Kette vorschlägt, warum sie unsicher ist, welche Optionen bestehen und was die Folgen jeder Option sind. Eine Eskalation, die nur „bitte prüfen" sagt, verlagert die Arbeit der Kette auf den Menschen und erzeugt genau die gleichförmige Prüfaufgabe, die vermieden werden sollte.

Zeitfenster und sicherer Zustand

Für jede Eskalation ist festgelegt, wie lange sie wartet und was passiert, wenn niemand reagiert. Der sichere Zustand ist das Anhalten des Vorgangs. Eine Kette, die bei ausbleibender Antwort den Vorschlag trotzdem ausführt, hat lediglich eine Verzögerung eingebaut und überlässt die Entscheidung dem Zufall der Erreichbarkeit.

Rückfluss in die Kette

Die menschliche Entscheidung wird als Beispiel oder Regel gespeichert. Derselbe Fall eskaliert beim nächsten Mal seltener, die Schwellen werden anhand der Entscheidungen nachjustiert, und die Zahl der Eskalationen sinkt mit der Zeit, ohne dass die Kontrolle nachlässt. Wer diese Entscheidungen zusätzlich als Vorgaben für die Steuerung der Modelle nutzt, verbessert die Trefferquote an der Quelle; wie solche Vorgaben formuliert werden, beschreibt der Beitrag zur Kommunikation mit KI-Systemen.

Was Artikel 14 der KI-Verordnung verlangt

Artikel 14 der EU-KI-Verordnung regelt die menschliche Aufsicht über Hochrisiko-KI-Systeme. Er verlangt, dass solche Systeme so gestaltet sind, dass Menschen sie während der Nutzung wirksam beaufsichtigen können, und benennt, was die Aufsichtsperson dafür können muss: die Fähigkeiten und Grenzen des Systems verstehen, sich der Neigung zum blinden Vertrauen auf die Ausgabe bewusst bleiben, die die Verordnung ausdrücklich als Automation Bias bezeichnet, die Ausgabe richtig deuten, sie verwerfen oder überstimmen und das System anhalten können.

Die meisten betrieblichen Automatisierungen im Mittelstand fallen nicht unter die Hochrisiko-Kategorien; welche Systeme betroffen sind und was seit dem Stichtag im August 2026 gilt, ordnet der Beitrag zum Stichtag der KI-Verordnung im August 2026 ein. Der Gesetzgeber hat in Artikel 14 dieselben Befunde aufgegriffen, die oben beschrieben sind: Verlangt wird die Fähigkeit des Menschen, das System zu verstehen, ihm zu widersprechen und es zu stoppen. Das ist die Beschreibung einer Eskalationsinstanz. Wer seine Aufsicht nach den Kriterien dieses Beitrags baut, erfüllt die Merkmale des Artikels auch dort, wo er nicht gilt, und hat für den Fall, dass ein System später als Hochrisiko eingestuft wird, die Struktur bereits.

In sechs Schritten einführen

Die Umstellung von der pauschalen Freigabe auf ein gestuftes Design gelingt in einer festen Reihenfolge.

1. Aktionen der Kette auflisten: jede Stelle, an der die Kette etwas erzeugt, verändert, versendet oder auslöst, einzeln benennen.
2. Vier Kriterien je Aktion beantworten: Umkehrbarkeit, Schadenshöhe, maschinelle Prüfbarkeit, Häufigkeit. Ergebnis ist die vertretbare Autonomiestufe.
3. Maschinelle Prüfungen vor die Aktion setzen: alles, was sich gegen eine feste Regel prüfen lässt, wird deterministisch geprüft, bevor ein Mensch etwas sieht.
4. Auslöser definieren und messen: Schwellen für Konfidenz, Beträge, Neuheit und Widerspruch festlegen und die Zahl der Eskalationen protokollieren.
5. Stichprobe aufsetzen: risikogewichtete Ziehung, Kontrollfälle mit bekanntem Ergebnis, adaptive Quote mit Schwelle für das Anhalten der Kette.
6. Aufstiegsregel festlegen: Bedingungen, unter denen eine Aktion die nächste Stufe bekommt, und Bedingungen, unter denen sie zurückgestuft wird. Beides mit Datum dokumentieren.

Wer diese Schritte in eine unternehmensweite Regelung einbetten will, findet die Bausteine für Richtlinie, Rollen und Review im Beitrag zur Organisation der KI-Nutzung im Unternehmen.

Die häufigsten Fehler

Bei der Gestaltung der Aufsicht wiederholen sich einige Muster, die die Kontrolle schwächen, während sie sie zu stärken scheinen.

Die ersten drei Fehler heben die Kontrolle auf, die letzten beiden höhlen sie schleichend aus.

Quellen

Die Befunde zur Zusammenarbeit von Mensch und Automatisierung stammen aus den folgenden Arbeiten; die Autonomiestufen, Zuordnungskriterien und Prüfbausteine dieses Beitrags sind eigene Ableitungen daraus.

• Bainbridge, L. (1983): Ironies of Automation. Automatica 19(6)
• Mackworth, N. H. (1948): The Breakdown of Vigilance during Prolonged Visual Search. Quarterly Journal of Experimental Psychology 1(1)
• Skitka, L. J., Mosier, K. L., Burdick, M. (1999): Does automation bias decision-making? International Journal of Human-Computer Studies 51(5)
• Parasuraman, R., Sheridan, T. B., Wickens, C. D. (2000): A model for types and levels of human interaction with automation. IEEE Transactions on Systems, Man, and Cybernetics, Part A 30(3)
• Parasuraman, R., Manzey, D. H. (2010): Complacency and Bias in Human Use of Automation. Human Factors 52(3)
• Goddard, K., Roudsari, A., Wyatt, J. C. (2012): Automation bias: a systematic review. Journal of the American Medical Informatics Association 19(1)
• Endsley, M. R. (2017): From Here to Autonomy: Lessons Learned From Human-Automation Research. Human Factors 59(1)
• Ancker, J. S. et al. (2017): Effects of workload, work complexity, and repeated alerts on alert fatigue in a clinical decision support system. BMC Medical Informatics and Decision Making 17(36)
• Verordnung (EU) 2024/1689 (KI-Verordnung), Artikel 14: Menschliche Aufsicht