Ist es sicher, eine KI an interne Systeme anzubinden?

Question

Accepted Answer

Ja – wenn die Sicherheit nicht im Modell liegt, sondern in der Architektur drumherum. Vier Grundsätze tragen: geringste Rechte (die KI darf nur, was sie wirklich braucht), ein klar begrenzter Zugriffsraum, ein Mensch an der Schwelle für alles Verbindliche und eine lückenlose Protokollierung. So bleibt ein Fehlverhalten – ob durch Irrtum oder gezielte Manipulation – in seinen Folgen begrenzt und nachvollziehbar.

Die Sicherheit sitzt nicht im Modell

Ein Sprachmodell lässt sich nicht so härten, dass es jede Täuschung zuverlässig abwehrt – es verarbeitet Anweisungen und Inhalte im selben Textstrom. Deshalb entscheidet nicht das Modell über die Sicherheit, sondern die Architektur, in die es eingebettet ist. Die richtige Frage lautet nicht „Kann die KI ausgetrickst werden?", sondern „Was kann sie überhaupt anrichten, wenn sie es wird?".

Vier Grundsätze einer sicheren Anbindung

Grundsatz	Was er bedeutet
Geringste Rechte	Die KI erhält nur Zugriff auf das, was die Aufgabe zwingend braucht
Begrenzter Zugriffsraum	Ein klar umrissener Ausschnitt der Daten, nicht das ganze System
Mensch an der Schwelle	Alles Verbindliche wird von einer Person freigegeben, nicht automatisch ausgelöst
Protokollierung	Jeder Zugriff wird mitgeschrieben und ist im Nachhinein prüfbar

Zusammengenommen sorgen diese vier dafür, dass selbst ein Fehlgriff überschaubar bleibt – ein gelesener Datensatz statt eines ausgelösten Schadens.

Das Manipulationsrisiko

Eine reale Gefahr ist, dass über zugelieferte Inhalte versteckte Anweisungen ins Spiel kommen und die KI zu etwas Unerwünschtem bewegen. Wie dieser Trick funktioniert und warum der Schutz an der Architektur ansetzt, beschreibt der Beitrag wenn der Website-Chatbot zum Komplizen wird.

Je mehr eine KI selbstständig auslösen darf, desto größer der mögliche Schaden im Missbrauchsfall. Verbindliche Aktionen – Zahlungen, Versand, Löschungen, Außenkommunikation – gehören grundsätzlich hinter eine menschliche Freigabe.

Datenschutz nicht vergessen

Sobald personenbezogene Daten über die Anbindung erreichbar werden, greift zusätzlich die DSGVO – mit Fragen zu Rechtsgrundlage, Auftragsverarbeitung und Server-Standort. Was dabei zu klären ist, steht unter welche Daten Sie in eine KI eingeben dürfen. Die Grundlagen der Verbindung selbst erklären wir unter was MCP ist.