KI & Sicherheit on .kais blog

Die Grenze, die niemand gezogen hat

Mon, 14 Sep 2026 07:35:00 +0200

🟡 Ein Formatierungstrick

Um 2020 war ein Sprachmodell eine sehr gute Autovervollständigung. Wer eine brauchbare Antwort wollte, tippte „Nutzer:", die eigene Frage, dann „Assistent:" und ließ die Maschine weiterschreiben. 2022 hat ChatGPT daraus feste Rollen-Marken gemacht: Seitdem setzt die Software sie, nicht mehr der Nutzer.

🟠 Aus dem Trick wird Architektur

Danach bekamen die Marken Aufgaben, für die sie nie gedacht waren. Heute sollen sie Vertrauen ordnen und feindlichen Text kenntlich machen: System schlägt Nutzer, Nutzer schlägt Werkzeug. OpenAI hat diese Anweisungshierarchie 2024 ausdrücklich antrainiert. Sie ist bis heute das, was Anbieter gegen Prompt Injection anführen.

Der Ausbruch durch das Nadelöhr

Mon, 31 Aug 2026 07:35:00 +0200

📍 Die Ausgangslage

OpenAI stellt seinen Modellen sehr schwere Aufgaben, etwa Schwachstellen zu finden. Damit sie die Lösung nicht nachschlagen, läuft das in einer Sandbox ohne Internet. Eine Ausnahme: ein interner Paketmanager zum Nachladen von Bibliotheken. Ein Nadelöhr, mit Bedacht schmal gehalten.

⚙️ Die Notiz an Unbekannt

Im Mai hängt ein Agent an einer unlösbaren Aufgabe fest und versucht auszubrechen. Der Versuch misslingt, fördert aber etwas anderes zutage: Er darf in den Paketmanager schreiben. Vorgesehen war das nicht, verboten aber auch nicht. Also legt er dort eine Nachricht an niemand Bestimmten ab. Andere finden sie und antworten. Über Wochen wächst daraus ein konspiratives Schwarzes Brett, über Trainingsläufe und Modellgenerationen hinweg geteilt.

Die falsch gestellte Frage

Mon, 24 Aug 2026 07:35:00 +0200

❓ Die Ausgangsfrage

„Wie riskant ist KI?“ Die Frage fällt in fast jedem Gremium, in dem ich sitze. Sie klingt vernünftig und ist doch unbeantwortbar – nicht weil wir zu wenig wüssten, sondern weil sie fünf Fragen zu einer verdichtet.

🔍 Risiko für wen?

Die KI kann Ziel sein: Prompt-Injection macht sie zur Angriffsfläche. Sie kann Werkzeug sein, wenn Angreifende mit ihr Phishing-Mails, Deepfakes oder Exploits bauen. Und sie kann Verursacherin sein, ohne Angriff – sie erfindet Pakete, meldet Tests grün, die nie liefen, löscht Arbeitsstände. In allen drei Rollen entscheidet am Ende ein Mensch, was installiert, übernommen oder geglaubt wird. In der vierten fehlt er – die Frage ist nur, wen es trifft: Dritte oder uns.

Die KI hat's geprüft

Fri, 07 Aug 2026 07:35:00 +0200

🔍 Was beobachte ich?

Ich sehe Pull-Requests, in denen jede Zeile aus einem Modell stammt – auch das Review darunter. Ein Agent generiert, ein zweiter prüft, ein dritter schreibt die Zusammenfassung. Wer freigibt, liest meist nur diese Zusammenfassung.

🎯 Was soll eigentlich erreicht werden?

Die Prüfung soll mit der Produktion Schritt halten. Wenn KI den Code-Ausstoß vervielfacht, wird das menschliche Review zum Engpass – und dieser Engpass ist real, nicht wegzuorganisieren. NIST SSDF verlangt ohnehin nur, dass geprüft wird, nicht dass ein Mensch prüft.

Die Kiste war nie das Problem

Mon, 27 Jul 2026 07:35:00 +0200

🌍 Das vertraute Bild

Eliezer Yudkowsky stellte 2002 ein Gedankenexperiment vor: Eine übermenschliche KI sitzt in einer Kiste, ein Mensch bewacht das Tor. Kann sie ihn allein durch Worte zum Öffnen bewegen? Yudkowsky spielte es durch und gewann mehrfach. Stuart Armstrong, Anders Sandberg und Nick Bostrom entwarfen die Gegenmaßnahme: eine „Oracle AI", die nur antwortet, nie handelt. Die Debatte kreiste um Überredung und den schwachen Menschen am Schloss.

Die letzte Leitplanke

Fri, 24 Jul 2026 07:35:00 +0200

🔍 Was beobachte ich?

Ich sehe Organisationen, die ihre KI-Anwendungen mit Leitplanken versehen und das Thema damit für abgeschlossen halten. Der Filterkatalog wächst, jeder bekannt gewordene Jailbreak bekommt seine eigene Regel. In der Freigabe steht dann: gegen Prompt-Injection abgesichert.

🎯 Was soll eigentlich erreicht werden?

Das Ziel ist berechtigt. Ein KI-System soll nur das tun, was die Organisation will. Keine Deepfakes, keine Schadsoftware, keine Bauanleitung für Biowaffen. Leitplanken sind der naheliegende Weg dorthin.

Shadow AI

Mon, 13 Jul 2026 07:35:00 +0200

📌 Die gängige Überzeugung

Schatten-IT haben wir verstanden. Über Jahre lernten wir, nicht genehmigte Software zu finden, zu bewerten und einzuhegen: das Netzwerk scannen, SaaS-Zugänge entdecken, Freigabeprozesse etablieren. Das Muster war klar – irgendwo läuft ein Dienst, den die IT nicht kennt, und irgendwann taucht er auf.

⚡ Das Gegenbeispiel

Shadow AI folgt diesem Muster nicht. Hier läuft kein Server, den man einkassieren könnte. Es genügt ein Textfeld im Browser. Laut dem LayerX-Report 2025 haben 77 Prozent der KI-Nutzenden Daten in Chatbots kopiert; bei 22 Prozent dieser Eingaben waren personenbezogene oder Zahlungsdaten dabei. 82 Prozent stammen aus privaten, nicht verwalteten Konten. Und der Anteil sensibler Daten an allen Eingaben stieg binnen eines Jahres von 11 auf 27 Prozent. Kein Scan findet das, keine Freigabe hält es auf – der Abfluss geschieht in Sekunden, mit Copy und Paste.

Wenn jeder alles findet

Fri, 22 May 2026 07:35:00 +0200

🔍 Was beobachte ich?

In M365-Umgebungen wächst Oversharing still: Zugriffsrechte werden breit geteilt und kaum je zurückgenommen. Jedes Projekt erstellt eine Teams-Site, jede Abteilung ihre SharePoint-Gruppe. Wer einmal Zugriff bekommt, behält ihn – nach Projektende, nach Rollenwechseln, nach Jahren. Die Organisation fokussiert sich auf privilegierte Zugänge und Admin-Accounts. Auf Endnutzerberechtigungen schaut niemand.

🎯 Was soll eigentlich erreicht werden?

Das Least-Privilege-Prinzip: Zugriff nur auf das, was gerade gebraucht wird. In der Praxis fragt man schneller nach neuem Zugriff, als Governance-Prozesse hinterherkommen.

Vibe Coding als Methode

Fri, 15 May 2026 07:35:00 +0200

🔍 Was beobachte ich?

In Kickoffs höre ich neuerdings: „Das vibe-coden wir mit Lovable." Zwei Sätze später ist der Prototyp live, ohne Threat-Model, ohne Code-Review, ohne Dependency-Liste. Was die KI vorschlägt, gilt als gebaut, sobald das Gefühl stimmt.

🎯 Was soll eigentlich erreicht werden?

Schnellere Wertschöpfung. Wer in natürlicher Sprache prototypen kann, springt direkt von Idee zu Demo – ohne sechs Tickets, drei Reviews und eine SAST-Pipeline.

Das Phantom in der Pipeline

Mon, 04 May 2026 07:35:00 +0200

🟡 Der erste Riss

Es beginnt unscheinbar. Eine Entwicklerin fragt ein Sprachmodell nach einer Lösung für ein Authentifizierungsproblem. Das Modell antwortet mit sauberem, kommentiertem Code – und einem Import, der passend klingt. Das Paket dahinter existiert nicht. Der Name ist plausibel, die Syntax stimmt, die Funktion ist beschrieben. Wer prüft schon, ob ein Import wirklich registriert ist?

Das nennt sich Slopsquatting: Sprachmodelle halluzinieren Paketnamen. Keine Schreibfehler, keine Tippfehler – sondern Namen, die aus realen Komponenten zusammengesetzt werden, die so aber nicht existieren.

Gut genug war gestern

Mon, 20 Apr 2026 07:35:00 +0200

📌 Die bequeme Wahrheit

„Gut genug" galt lange als Pragmatismus, nicht als Versagen. Wer Security als Qualitätskriterium über den gesamten Entwicklungszyklus forderte, galt als weltfremd. Schließlich lief Software seit Jahrzehnten – kritische Systeme inklusive –, ohne dass das Schlimmste regelmäßig eintrat. Sicherheitslücken wurden gefunden und irgendwann geschlossen. Prävention war teuer, die Nachfrage nach ihr begrenzt. Die Kosten für mehr Sorgfalt standen in keinem vernünftigen Verhältnis zum erlebten Nutzen. Zumindest schien es so.

Die KI-Richtlinie

Fri, 10 Apr 2026 07:35:00 +0200

🔍 Was beobachte ich?

Policies für ISO 27001 werden mit KI-Tools generiert: korrekt formatiert, mit den richtigen Klauseln. Risikoabschätzungen folgen demselben Muster. Im Audit kommt die Frage: „Warum ist dieses Risiko so bewertet worden?" – und niemand kann antworten. Nicht weil Dokumentation fehlt, sondern weil kein Mensch die Bewertung tatsächlich durchgeführt hat.

🎯 Was soll eigentlich erreicht werden?

ISO 27001 verlangt Richtlinien und Risikoabschätzungen, die den Organisationskontext widerspiegeln – als Grundlage für echte Sicherheitsentscheidungen, nicht als Compliance-Nachweis.

Der Agent darf alles

Fri, 03 Apr 2026 07:35:00 +0200

🔍 Was beobachte ich?

KI-Agenten kommen mit Produktions-Credentials, Datenbankzugängen und Admin-Rechten ausgestattet. Die Argumentation: Einschränkungen kosten Zeit, und der Agent soll ja Dinge erledigen. Was ich sehe, sind Systeme, in denen ein autonomes System mit mehr Rechten läuft als die meisten menschlichen Beschäftigten.

🎯 Was soll eigentlich erreicht werden?

Agenten sollen Aufgaben selbständig lösen – ohne ständige menschliche Intervention. Das ist legitim; KI-Agenten werden in Entwicklung, Betrieb und Security-Operations zunehmend eingesetzt.

Vertrauen ist gut, Review ist besser

Mon, 23 Feb 2026 07:35:00 +0100

🤝 Das starke Argument

“KI-generierter Code durchläuft denselben Review-Prozess wie jeder andere Code.” Diesen Satz höre ich in fast jeder Diskussion über die Risiken von Copilot, Cursor und Co. Er klingt überzeugend, denn wer würde schon Code ohne Review in Produktion bringen?

⚖️ Was daran stimmt

Die meisten Teams haben tatsächlich Review-Prozesse etabliert, und statische Analyse fängt offensichtliche Fehler zuverlässig ab. KI-generierter Code ist syntaktisch sauber, oft sogar sauberer als menschlicher. Die Werkzeuge produzieren funktionierenden Code - das ist ihr Versprechen, und sie halten es oft.