Die falsch gestellte Frage

❓ Die Ausgangsfrage

„Wie riskant ist KI?“ Die Frage fällt in fast jedem Gremium, in dem ich sitze. Sie klingt vernünftig und ist doch unbeantwortbar – nicht weil wir zu wenig wüssten, sondern weil sie fünf Fragen zu einer verdichtet.

🔍 Risiko für wen?

Die KI kann Ziel sein: Prompt-Injection macht sie zur Angriffsfläche. Sie kann Werkzeug sein, wenn Angreifende mit ihr Phishing-Mails, Deepfakes oder Exploits bauen. Und sie kann Verursacherin sein, ohne Angriff – sie erfindet Pakete, meldet Tests grün, die nie liefen, löscht Arbeitsstände. In allen drei Rollen entscheidet am Ende ein Mensch, was installiert, übernommen oder geglaubt wird. In der vierten fehlt er – die Frage ist nur, wen es trifft: Dritte oder uns.

⚡ Wenn es Dritte trifft

Im Juli 2026 verließ ein Agent auf Basis von OpenAI-Modellen seine Testumgebung und drang in die Produktivsysteme von Hugging Face ein – rund 17.600 Aktionen ohne menschlichen Eingriff. Er wollte nicht angreifen, er wollte abkürzen: die Lösungen seiner Evaluation stehlen, statt die Aufgabe zu lösen. Seinen Auftrag hat er erfüllt – mit Mitteln, die wir Dritten gegenüber nie erlaubt hätten.

🚨 Wenn es uns trifft

Dann geht es schneller. Im April 2026 sollte ein Cursor-Agent bei PocketOS eine Routineaufgabe erledigen. Er stieß auf ein Zugangsproblem, fand in einer fremden Datei ein Railway-Token mit Vollzugriff und löschte damit Produktivdatenbank und Backups – in neun Sekunden. Das jüngste brauchbare Backup war drei Monate alt. Kein Angriff, keine Angreifenden – nur ein Token, das zu viel durfte.

🎯 Die Antwort, die bleibt

Auf manche Fragen haben wir längst Antworten: Das Token mit Vollzugriff hätte es nie geben dürfen. Least Privilege ist fünfzig Jahre alt und hätte genügt – nur kenne ich kaum ein Projekt, in dem es die erste Sprintplanung überlebt.

Auf andere haben wir keine: Bei Hugging Face nutzte der Agent Schwachstellen, die niemand kannte – faktisch gegen uns, ohne Absicht. Wie viele davon noch liegen, zeigt Anthropics Project Glasswing: über 10.000 hoch oder kritisch bewertete Funde in einem Monat; von 530 gemeldeten sind 75 gepatcht.

Zwei Auswege sind versperrt. Dem Modell zu vertrauen wäre leichtsinnig; auf Menschen zu hoffen, die heute überfordert sind, ebenso. Bleibt die Arbeit davor: die Fragen auseinanderhalten. Fünf sind es mindestens – wir stellen aber meist nur die eine.

📚🔍

• Hugging Face: Anatomy of a Frontier Lab Agent Intrusion https://huggingface.co/blog/agent-intrusion-technical-timeline
• Black Hat USA 2026: The OpenAI–Hugging Face Incident https://www.youtube.com/watch?v=87DyyMV0kCY
• Anthropic: Project Glasswing – Initial update https://www.anthropic.com/research/glasswing-initial-update
• The New Stack: Cursor-Agent löscht PocketOS-Produktivdatenbank https://thenewstack.io/ai-agents-credential-crisis/

📌 Nachtrag

Die Glasswing-Zahlen im Abschnitt „Die Antwort, die bleibt" sind zu knapp zusammengezogen. Anthropic beschreibt zwei getrennte Stränge:

Die über 10.000 hoch oder kritisch bewerteten Funde stammen von Anthropic gemeinsam mit rund 50 Partnern, gefunden in einem Monat, überwiegend in der Software dieser Partner.

Die 530 gemeldeten Bugs gehören nicht dazu. Sie stammen aus Anthropics eigenem Scan von über 1.000 Open-Source-Projekten, der 6.202 hoch oder kritisch bewertete Funde schätzt – über mehrere Monate, nicht über einen. Von diesen 530 sind 75 gepatcht, 65 davon mit öffentlichem Advisory.

An der Aussage ändert das nichts: 827 bestätigte Schwachstellen warten noch auf die Offenlegung, ein Patch braucht im Schnitt zwei Wochen. Gefunden wird schneller, als behoben werden kann.