Antwortverzicht
Antwortverzicht bezeichnet das geregelte Verhalten eines KI-Assistenten, eine Frage ausdrücklich als nicht beantwortbar auszuweisen, wenn die freigegebenen Quellen dafür keinen Beleg enthalten; der Assistent nennt dann die fehlende Information und die zuständige Stelle.
Der Antwortverzicht ergänzt das [[grounding|Grounding]] um den Fall, in dem die Suche nichts Passendes findet, und gehört zu den [[ki-leitplanken|KI-Leitplanken]], die Halluzinationen im Betrieb begrenzen.
In einfachen Worten
Sprachmodelle sind darauf trainiert, auf jede Frage eine flüssige Antwort zu geben. Findet ein Assistent in den Unterlagen des Betriebs nichts Passendes, füllt das Modell die Lücke ohne Vorkehrung mit Allgemeinwissen oder einer plausiblen Vermutung, und der Nutzer erkennt den Unterschied zu einer belegten Antwort nicht. Der Antwortverzicht regelt diesen Fall mit drei Bausteinen. Der erste ist eine Schwelle: Erreichen die gefundenen Abschnitte eine festgelegte Übereinstimmung mit der Frage nicht, gilt die Frage als unbelegt. Der zweite ist eine Anweisung an das Modell, in diesem Fall keine inhaltliche Antwort zu formulieren. Der dritte ist eine feste Antwortform, die sagt, dass die Unterlagen keine Auskunft hergeben, in welchem Bereich gesucht wurde und an wen sich die Person wenden kann. Die Höhe der Schwelle ist eine Abwägung: Liegt sie zu hoch, verweigert der Assistent auch beantwortbare Fragen; liegt sie zu niedrig, gelangen Vermutungen in die Antworten.
Wozu brauche ich das?
Der Antwortverzicht gehört in jeden Assistenten, dessen Auskünfte Entscheidungen beeinflussen, etwa im Kundendienst, im Einkauf, in der Qualitätssicherung oder bei Personalfragen. Die protokollierten Verzichtsfälle liefern der Quellenpflege eine Liste offener Themen: Sie zeigen, welche Fragen gestellt werden, für die es noch keine gültige Unterlage gibt.
Beispiel aus der Praxis
Ein Großhändler für Sanitärtechnik setzt im Innendienst einen Assistenten ein, der Fragen zu Lieferbedingungen und Rücknahmeregeln beantwortet. Ein Mitarbeiter fragt, ob Sonderanfertigungen von Duschtrennwänden zurückgenommen werden. In den hinterlegten Unterlagen steht dazu nichts. In einem früheren Test ohne Antwortverzicht hatte der Assistent auf diese Frage eine allgemeine Rücknahmefrist genannt, die nur für Lagerware gilt. Mit Antwortverzicht meldet er, dass die hinterlegten Rücknahmeregeln keine Angabe zu Sonderanfertigungen enthalten und die Abteilung Reklamation zuständig ist. Der Fall wird zugleich in einer Liste unbeantworteter Fragen erfasst. Aus dieser Liste erstellt die Reklamationsabteilung eine ergänzende Regel für Sonderanfertigungen und nimmt sie in die Unterlagen auf.
Wirtschaftlicher Nutzen
Eine falsche Auskunft über Rücknahme, Gewährleistung oder technische Grenzwerte führt zu Zusagen, die der Betrieb nicht halten will, oder zu Fehlern beim Einsatz eines Produkts; eine ausgewiesene Lücke führt zu einer Rückfrage bei der zuständigen Stelle. Der Antwortverzicht macht die Grenze des Assistenten sichtbar und erhält damit das Vertrauen in die Antworten, die er gibt. Die gesammelten Fälle zeigen, wo Unterlagen fehlen, und lenken den Pflegeaufwand zu den Themen, nach denen tatsächlich gefragt wird.
Typische Fehler
- Keine Regel für unbelegte Fragen hinterlegt – das Modell antwortet dann aus Allgemeinwissen, und Halluzinationen gelangen ungekennzeichnet in die Antworten.
- Die Schwelle so hoch angesetzt, dass der Assistent auch beantwortbare Fragen verweigert und bald nicht mehr genutzt wird.
- Einen Verzicht ohne Hinweis auf die zuständige Stelle formuliert, sodass die fragende Person keinen weiteren Weg kennt.
- Verzichtsfälle nicht protokolliert und damit die Hinweise auf fehlende Unterlagen ungenutzt gelassen.
- Teilweise belegte Antworten nicht gekennzeichnet, sodass belegter und vermuteter Teil ununterscheidbar werden.
Worauf achten?
- Eine feste Antwortform für unbelegte Fragen festlegen: fehlende Information, durchsuchter Bereich, zuständige Stelle.
- Die Schwelle mit einer Liste beantwortbarer und nicht beantwortbarer Prüffragen einstellen und bei jeder KI-Evaluierung erneut prüfen.
- Verzichtsfälle protokollieren und regelmäßig mit den Fachabteilungen durchgehen.
- Bei teilweise belegten Fragen nur den belegten Teil beantworten und die Lücke benennen.
- Die Nutzer darüber informieren, dass ein Verzicht ein gewolltes Ergebnis ist und keine Störung.
Häufig gestellte Fragen
Was ist Antwortverzicht bei einem KI-Assistenten?
Das geregelte Verhalten, eine Frage als nicht beantwortbar auszuweisen, wenn die freigegebenen Quellen keinen Beleg enthalten. Der Assistent nennt dann die fehlende Information und eine zuständige Stelle.
Warum erfinden KI-Assistenten Antworten?
Sprachmodelle sind darauf trainiert, auf jede Frage eine flüssige Antwort zu erzeugen. Fehlt eine Regel für unbelegte Fragen, füllen sie Lücken in den Quellen mit Allgemeinwissen oder Vermutungen.
Wie oft sollte ein KI-Assistent eine Antwort verweigern?
Eine feste Quote gibt es nicht. Die Schwelle wird mit Prüffragen eingestellt, deren richtige Antwort bekannt ist: Beantwortbare Fragen sollen beantwortet, unbeantwortbare als solche ausgewiesen werden.
Was geschieht mit den Fragen, die der Assistent nicht beantwortet?
Sie werden protokolliert und regelmäßig ausgewertet. Häufen sich Fragen zu einem Thema, fehlt dort eine Unterlage, die die Fachabteilung ergänzt.