Goodhart's Falle

🔍 Was beobachte ich?
Security-Dashboards quellen über: Patch-Rate, offene Findings, Mean Time to Detect, Awareness-Klickrate. Ich frage in solchen Besprechungen manchmal: Welche Entscheidung würde sich ändern, wenn dieser Wert um 10 Prozent schlechter wäre? Die Antwort ist oft Schweigen.
🎯 Was soll eigentlich erreicht werden?
Messgrößen sollen Entscheidungen verbessern – besser priorisieren, besser investieren, echtes Risiko sichtbar machen. Douglas Hubbard definiert Messen als Reduktion von Unsicherheit durch Beobachtung: Die Zahl hilft, eine Entscheidung anders zu treffen.
⚠️ Warum funktioniert das nicht?
Goodhart’s Law: „When a measure becomes a target, it ceases to be a good measure." Sobald eine Metrik zum Ziel wird, optimiert man die Metrik – nicht das, was dahintersteckt. Eine Patch-Rate von 97 Prozent sagt nichts über kritische Systeme. Eine Awareness-Klickrate von 2 Prozent sagt nichts über Sicherheitsverhalten. Ein Dashboard, das keine Entscheidung verändert, ist kein Messinstrument – es ist Dekoration.
💡 Was funktioniert besser?
Vor jeder Metrik steht eine Frage: Welche Entscheidung soll diese Zahl unterstützen? Wer das nicht beantworten kann, misst das Falsche. Gute Security-KPIs sind selten, direkt an Risiken gekoppelt und zeigen, was sich verändert – wenn man handelt oder nicht.
📚🔍
- Metrics That Matter and the Cobra Effect (Rapid7) https://www.rapid7.com/blog/post/2022/01/18/2022-planning-metrics-that-matter-and-curtailing-the-cobra-effect/
- Security Theater: Vanity Metrics Keep You Busy (The Hacker News) https://thehackernews.com/2025/04/security-theater-vanity-metrics-keep.html
- NIST SP 800-55 Rev. 1: Performance Measurement Guide for Information Security https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-55r1.pdf