Konfidenzwert
Ein Konfidenzwert ist eine Zahl, meist zwischen 0 und 1, mit der ein KI-System zu einem einzelnen Ergebnis angibt, wie sicher es sich ist; in der Automatisierung entscheidet er über eine festgelegte Schwelle, ob ein Ergebnis direkt weiterverarbeitet oder von einem Menschen geprüft wird.
Der Konfidenzwert verbindet die automatische Verarbeitung mit dem [[human-in-the-loop|Human-in-the-Loop]]: Er steuert, welche Ergebnisse der [[dunkelverarbeitung|Dunkelverarbeitung]] überlassen werden und welche als [[klaerfall|Klärfall]] bei der Sachbearbeitung landen.
In einfachen Worten
Systeme zur Texterkennung, Klassifizierung und Extraktion liefern zu jedem Ergebnis eine Einschätzung ihrer eigenen Sicherheit. Liest das System auf einer Rechnung einen Betrag, gibt es dazu etwa den Wert 0,98 aus; ist eine Ziffer verschmiert, sinkt der Wert. Der Betrieb legt eine Schwelle fest: Ergebnisse darüber gehen automatisch weiter, Ergebnisse darunter prüft ein Mensch. Die Schwelle wird je Feld festgelegt, weil Fehler unterschiedlich teuer sind. Für eine Bankverbindung oder einen Rechnungsbetrag liegt sie höher als für ein Bemerkungsfeld. Der Konfidenzwert gibt die Selbsteinschätzung des Modells wieder, und Modelle können sich systematisch überschätzen. Wie verlässlich die Werte sind, zeigt erst der Abgleich mit geprüften Ergebnissen: Treten bei Werten oberhalb der Schwelle in Stichproben kaum Fehler auf, trägt die Schwelle. Sprachmodelle liefern von sich aus oft keinen belastbaren Konfidenzwert; dort wird die Sicherheit über Prüfregeln oder den Vergleich mehrerer Durchläufe ermittelt.
Wozu brauche ich das?
Konfidenzwerte steuern jede Automatisierung, in der eine KI Dokumente liest, Anfragen einordnet oder Daten zuordnet. Sie machen es möglich, sichere Fälle automatisch zu verarbeiten und unsichere gezielt als Klärfall einem Menschen vorzulegen. Ohne sie bleibt nur die Wahl, alles zu prüfen oder nichts.
Beispiel aus der Praxis
Ein Labor für Werkstoffprüfung lässt eingehende Prüfaufträge seiner Kunden automatisch auslesen: Auftraggeber, Werkstoff, Prüfnorm, Anzahl der Proben, Liefertermin. Zu Beginn gilt für alle Felder dieselbe Schwelle, und jede Woche prüft die Auftragsannahme eine Stichprobe der automatisch übernommenen Aufträge. Dabei zeigt sich, dass das System bei der Prüfnorm auch mit hohen Werten ähnlich lautende Normen verwechselt. Die Schwelle für dieses Feld wird angehoben, und eine Plausibilitätsprüfung gleicht die Norm zusätzlich mit der Liste der akkreditierten Verfahren ab. Bei der Anzahl der Proben erweist sich der Wert als verlässlich, dort wird die Schwelle gesenkt.
Wirtschaftlicher Nutzen
Eine gut eingestellte Schwelle lenkt die Prüfarbeit dorthin, wo sie gebraucht wird: Sichere Ergebnisse laufen durch, unsichere werden geprüft. Das senkt den Prüfaufwand, ohne die Fehlerquote zu erhöhen. Eine zu niedrige Schwelle spart kurzfristig Zeit und kostet sie später bei der Korrektur falsch verarbeiteter Vorgänge.
Typische Fehler
- Eine einheitliche Schwelle für alle Felder festlegen, obwohl Fehler unterschiedlich teuer sind.
- Den Konfidenzwert als Garantie behandeln und automatisch übernommene Ergebnisse nie stichprobenartig prüfen.
- Die Schwelle nach Gefühl senken, ohne gemessene Fehlerquoten.
- Konfidenzwerte verschiedener Systeme oder Modellversionen vergleichen, obwohl sie unterschiedlich skaliert sind.
- Nach einem Modellwechsel die bisherigen Schwellen unverändert übernehmen.
Worauf achten?
- Schwellen je Feld nach den Folgekosten eines Fehlers festlegen.
- Regelmäßig Stichproben aus den automatisch übernommenen Ergebnissen gegen das Original prüfen (KI-Evaluierung).
- Konfidenzwerte mit Plausibilitätsregeln kombinieren, die unabhängig vom Modell greifen.
- Bei jedem Modellwechsel die Schwellen neu messen.
- Die Werte protokollieren, damit sich später nachvollziehen lässt, warum ein Ergebnis automatisch übernommen wurde.
Häufig gestellte Fragen
Was ist ein Konfidenzwert?
Ein Konfidenzwert gibt an, wie sicher sich ein KI-System bei einem einzelnen Ergebnis ist, meist als Zahl zwischen 0 und 1. In Automatisierungen entscheidet er über eine Schwelle, ob ein Ergebnis automatisch weitergeht oder geprüft wird.
Welche Konfidenzschwelle ist richtig?
Die Schwelle wird je Feld nach den Folgekosten eines Fehlers festgelegt und anhand von Stichproben überprüft. Für Beträge und Bankverbindungen liegt sie hoch, für Felder, deren Fehler leicht zu korrigieren sind, niedriger.
Beweist ein hoher Konfidenzwert ein richtiges Ergebnis?
Nein. Er gibt die Selbsteinschätzung des Modells wieder, und Modelle können sich systematisch überschätzen. Ob die Werte tragen, zeigt nur der Abgleich mit geprüften Ergebnissen.