---
title: "Die Grenze, die niemand gezogen hat"
date: 2026-09-14T07:35:00+02:00
draft: false
image: "2026-09-14_Grenze-niemand-gezogen.jpg"
tags: ["Montagspost", "KI-Sicherheit", "Prompt Injection", "Threat Modeling"]
description: "Rollen-Marken sollen die Vertrauensgrenze in Sprachmodellen sein. Modelle erkennen Rollen aber am Schreibstil – nicht am Etikett."
---

## 🟡 Ein Formatierungstrick

Um 2020 war ein Sprachmodell eine sehr gute Autovervollständigung. Wer eine brauchbare Antwort wollte, tippte „Nutzer:", die eigene Frage, dann „Assistent:" und ließ die Maschine weiterschreiben. 2022 hat ChatGPT daraus feste Rollen-Marken gemacht: Seitdem setzt die Software sie, nicht mehr der Nutzer.

## 🟠 Aus dem Trick wird Architektur

Danach bekamen die Marken Aufgaben, für die sie nie gedacht waren. Heute sollen sie Vertrauen ordnen und feindlichen Text kenntlich machen: System schlägt Nutzer, Nutzer schlägt Werkzeug. OpenAI hat diese Anweisungshierarchie 2024 ausdrücklich antrainiert. Sie ist bis heute das, was Anbieter gegen Prompt Injection anführen.

## 🔴 Der Kipppunkt

Eine neue Arbeit misst nach, woran Modelle Rollen erkennen. Antwort: am Schreibstil, nicht an der Marke. Entfernt man alle Marken, bleibt die intern gemessene Rollenwahrnehmung fast unverändert. Verpackt man dieselbe Unterhaltung komplett in Nutzer-Marken, ebenfalls. Der Stil überschreibt das Etikett. Daraus folgt ein Angriff: ein gefälschter Denkblock in der Eingabe, den das Modell für seine eigenen, bereits gefassten Schlüsse hält. Erfolgsquote gegen die Spitzenmodelle von 2025 rund 60 Prozent. Nimmt man dem Text nur die Stilmerkmale, ohne die Aussage zu ändern, fällt die Quote auf 10 Prozent.

## ⚠️ Kein Regelsatz reicht

Loren Kohnfelder, Mitentwickler von STRIDE, benennt den wunden Punkt: Die Marken waren ein Formatierungstrick und wurden erst nachträglich zur Sicherheitsarchitektur. In der Sprache von STRIDE heißt das Spoofing: Die Marke ist ein fälschungssicherer Ausweis, nur entscheidet der Prüfer nach dem Auftreten. Ein NIST-Beweis vom Juni 2026 stützt den Befund von der anderen Seite: Kein endlicher Satz von Schutzregeln hält anpassungsfähigen Angreifenden stand.

## 🛡️ Was noch möglich ist

Wenn die Grenze im Modell nicht hält, muss sie außerhalb liegen. Nicht besseres Prompting, sondern beschnittene Rechte: Welche fremden Texte erreichen den Kontext? Was richtet jedes Werkzeug im schlimmsten Fall an? Worüber könnten Daten das System verlassen? Und die Freigabe für folgenreiche Handlungen darf nicht aus demselben Kontextfenster stammen, in dem auch der Angriffstext steht.

Solange ein Modell die Herkunft eines Textes am Klang bestimmt, ist jede Rollengrenze eine Vermutung. Jede Maßnahme, die darauf aufsetzt, ist es auch.

## 📚🔍

- Prompt Injection as Role Confusion (ICML 2026) [https://role-confusion.github.io/](https://role-confusion.github.io/)
- Role confusion: one more reason we can't trust LLMs (Kohnfelder) [https://designingsecuresoftware.com/writings/role-confusion/](https://designingsecuresoftware.com/writings/role-confusion/)
- NIST: Mathematischer Beweis, Juni 2026 [https://www.nist.gov/news-events/news/2026/06/nist-mathematical-proof-supports-transition-continuous-monitor-and-update](https://www.nist.gov/news-events/news/2026/06/nist-mathematical-proof-supports-transition-continuous-monitor-and-update)
- The Instruction Hierarchy (OpenAI, 2024) [https://arxiv.org/abs/2404.13208](https://arxiv.org/abs/2404.13208)