Der Prompt gehört zur Angriffsfläche.
Sobald ein AI-System fremde Inhalte liest und Werkzeuge benutzt, wird Kontext zur Sicherheitsfrage. Entscheidend ist, welche Befugnisse daraus entstehen können.
Ein Assistent soll ein Dokument zusammenfassen. Im Dokument steht neben dem eigentlichen Inhalt eine Anweisung: weitere Unterlagen öffnen und an eine externe Adresse schicken. Für einen Menschen gehört dieser Satz zum Dokument. Ein Sprachmodell kann ihn als Handlungsanweisung behandeln. Genau an dieser Grenze beginnt für mich die Sicherheitsfrage.
In „Wenn Angreifer Agenten werden.“ ging es um Handlungsgeschwindigkeit und Verantwortung. Beim Bauen eines Produkts wird daraus eine konkrete Aufgabe: Wie verhindere ich, dass gelesener Inhalt Befugnisse bekommt?
Fremder Inhalt bleibt fremder Inhalt
Prompt Injection kann über Dokumente, Webseiten oder Werkzeugantworten ins System gelangen. Der OWASP-Leitfaden beschreibt solche indirekten Angriffe und empfiehlt mehrere Schutzschichten. Eine zusätzliche Anweisung im Systemprompt ist keine verlässliche Sicherheitsgrenze.
Für meinen Entwurf heißt das: Eine gefundene Information darf eine Antwort begründen. Sie darf nicht eigenständig den Auftrag erweitern. Wenn ein Dokument behauptet, für die Bearbeitung seien weitere Daten nötig, ist das zunächst nur eine Behauptung aus einer nicht vertrauenswürdigen Quelle.
Vom Lesen zum Handeln liegt eine Grenze
Ich würde einen Assistenten zum Zusammenfassen zunächst mit genau den Leserechten ausstatten, die er dafür braucht. Ein Werkzeug zum Versenden hätte in dieser Aufgabe keinen Platz. Wo Aktionen erforderlich sind, muss die Anwendung Berechtigungen, Ziel und Parameter außerhalb des Modells prüfen.
Ein Export aus einem fremden Arbeitsbereich bleibt verboten, auch wenn das Modell eine überzeugende Begründung liefert. Eine Freigabe sollte zeigen, welche konkreten Daten an welchen Empfänger gehen. „Darf ich fortfahren?“ ist dafür zu wenig.
Auch der ausgehende Datenfluss gehört zum Entwurf
Beim Beispiel mit dem Dokument geht es nicht nur um eine falsche Antwort. Es geht darum, ob Informationen die vorgesehene Umgebung verlassen können. Deshalb würde ich für jedes Werkzeug festlegen, welche Daten es lesen und wohin es sie übertragen darf. Zugangsdaten gehören nicht als erklärender Kontext in den Prompt.
Das verändert auch meinen Blick auf Komfortfunktionen. Ein allgemeiner Netzwerkzugriff mag die Demo vereinfachen. Im Produkt muss ich begründen können, warum die Aufgabe ihn braucht und wie sein Umfang begrenzt wird.
Die Grenze muss den Versuch aushalten
Vor einer Freigabe würde ich das Dokument gezielt um manipulierte Anweisungen ergänzen und den gesamten Ablauf prüfen. Hat das System weitere Daten gelesen? Einen Versand versucht? Hat die Anwendung ihn blockiert? Eine höfliche Abschlussantwort sagt darüber wenig aus.
Ich möchte nicht darauf angewiesen sein, dass das Modell jeden Angriff erkennt. Ich möchte wissen, welche Folgen möglich bleiben, wenn es einen übersieht. Dort zeigt sich, ob meine Sicherheitsgrenzen tragen.