Wie stelle ich sicher, dass ein KI-Agent nichts Falsches auslöst?

Question

Accepted Answer

Indem die Sicherheit nicht dem Modell überlassen, sondern in der Architektur verankert wird. Zwei Bausteine greifen ineinander: technische Leitplanken, die festlegen und erzwingen, was der Agent überhaupt darf, und eine menschliche Freigabe an jeder Stelle, an der etwas Verbindliches passiert. Geringste Rechte, gesperrte verändernde Aktionen und ein Protokoll jedes Schritts sorgen dafür, dass ein Fehler folgenlos bleibt, statt sich auszubreiten.

Sicherheit gehört in die Architektur, nicht ins Modell

Ein Sprachmodell lässt sich nicht so härten, dass es jede Fehlausgabe oder Täuschung zuverlässig von selbst vermeidet. Deshalb wird sein Handlungsspielraum von außen begrenzt. Die entscheidende Frage ist nicht „Kann der Agent ausgetrickst werden?", sondern „Was kann er überhaupt anrichten, wenn er es wird?". Wer den möglichen Schaden klein hält, macht den Einzelfehler beherrschbar.

Zwei Bausteine, die ineinandergreifen

Technische Leitplanken: eng gefasste Rechte, ein begrenzter Zugriffsraum, gesperrte verändernde Aktionen. Sie erzwingen, was der Agent darf – unabhängig davon, wozu man ihn zu überreden versucht.
Menschliche Freigabe: an jeder Stelle, an der etwas nach außen wirkt oder sich schwer zurücknehmen lässt, prüft und entscheidet eine Person.

Reine, gut überprüfbare Abfragen können meist automatisch laufen; verbindliche Schritte gehören hinter die Freigabe. Die Grundsätze dazu stehen unter ist es sicher, eine KI an interne Systeme anzubinden.

Vergeben Sie konsequent die geringsten Rechte: Der Agent bekommt nur, was die konkrete Aufgabe zwingend braucht. Was technisch gar nicht möglich ist, kann auch ein erfolgreicher Täuschungsversuch nicht auslösen.

Nachvollziehbar bleiben

Jeder Schritt sollte protokolliert werden, damit im Zweifel nachvollziehbar ist, wie ein Ergebnis zustande kam. Das ist zugleich die Grundlage, um zu beurteilen, ob ein Agent zuverlässig genug für den Echtbetrieb ist.