Die RĂŒckseite der Zielscheibe

đ FĂŒnf SchĂ€tzungen, ein Eintrag
Ein Risikoworkshop, fĂŒnf Leute, ein Risiko: Ransomware im Fertigungsnetz. Die Fertigungsleitung hĂ€lt einen Befall fĂŒr wahrscheinlich, die Netzwerkabteilung fĂŒr unwahrscheinlich, weil das Netz getrennt ist. Nach vierzig Minuten steht im Register âEintrittswahrscheinlichkeit mittel, Schaden hochâ.
Die wertvollste Auskunft dieses Workshops steht nicht im Register: wie weit die fĂŒnf anfangs auseinanderlagen. Ein Teil dieser Streuung ist Rauschen, das ein besseres Verfahren senkt. Was danach bleibt, zeigt, wo die Organisation zu wenig weiĂ. Beides geht verloren, wenn am Ende nur ein Wert ĂŒbrig bleibt.
đŻ Zwei Arten danebenzuliegen
Dass fĂŒnf Fachleute zunĂ€chst verschieden schĂ€tzen, ist kein Mangel: Bei seltenen Ereignissen ist jede RisikoschĂ€tzung ein subjektives Urteil. Wie solche Urteile irren, zeigen Kahneman, Sibony und Sunstein in ihrem Buch ĂŒber Noise an vier Mannschaften auf einem SchieĂstand. Die erste trifft eng ins Zentrum, die zweite ebenso eng links daneben. Die dritte streut weit um das Zentrum, die vierte weit und daneben. Mannschaft zwei hat einen Fehler mit Richtung, Bias genannt. Mannschaft drei hat einen Fehler ohne Richtung, Noise oder Rauschen genannt: Im Mittel liegt sie richtig, nur trifft kaum ein einzelner Schuss.
Gegen Bias arbeiten wir seit Jahren. Anchoring, Optimism-Bias und Availability-Bias stehen in jeder Schulung, und jedes Gegenmittel stellt das Visier nach. Die ganze Gruppe der Treffer rĂŒckt zur Mitte, enger wird sie dadurch nicht. Gegen Noise tun wir fast nichts, obwohl er im Gesamtfehler genauso zĂ€hlt. Eine Gruppe um Julia Wunder lieĂ 196 Fachleute dieselben Schwachstellen nach CVSS bewerten, der Skala mit dem strengsten Regelwerk des Fachs. Die Werte gingen weit auseinander. Neun Monate spĂ€ter bekamen 59 von ihnen dieselben Schwachstellen noch einmal: 68 Prozent vergaben einen anderen Schweregrad als beim ersten Mal. Die freie SchĂ€tzung im Workshop streut eher mehr.
đ Warum niemand die Streuung sieht
Dass die Runde ihre Streuung nicht bemerkt, liegt am Verfahren. Die Risikomatrix hat fĂŒr jedes Risiko ein Feld, das Register eine Zeile. âMittelâ sieht gleich aus, ob alle fĂŒnf âmittelâ gesagt haben oder zwei âniedrigâ und drei âhochâ.
Meist ist die Streuung schon vor dem Eintrag verschwunden. Wer GrĂŒnde austauscht, lernt dazu, und die SchĂ€tzungen rĂŒcken zu Recht zusammen. HĂ€ufiger rĂŒcken sie zusammen, weil jemand zuerst gesprochen hat. Die ĂŒbrigen orientieren sich an dieser Zahl, und aus fĂŒnf Urteilen wird eines mit vier Zustimmungen.
Gemessen wird das fast nie. Einer der wenigen FĂ€lle ist ein Versicherer. Die FĂŒhrungskrĂ€fte erwarteten zehn Prozent Unterschied zwischen den PrĂ€mien, die ihre Fachleute fĂŒr denselben Fall festsetzten. Im Median waren es 55. Aufgefallen war das vorher nie, denn jeder Fall wurde nur einmal bewertet. Ich wĂŒsste nicht, warum ein Security-Team einiger sein sollte.
đ Die RĂŒckseite der Scheibe
Sichtbar wird die Streuung erst, wenn alle verdeckt schĂ€tzen, bevor jemand spricht. Das klingt nach Aufwand ohne Ertrag, denn ob die Runde richtig liegt, erfĂ€hrt sie trotzdem nie. Bleibt die Ransomware aus, ist âmittelâ nicht bestĂ€tigt. Kommt sie, ist es nicht widerlegt.
Das Buch hat dafĂŒr ein Bild. Dreht man die Scheiben um und hĂ€lt sie gegen das Licht, ist das Zentrum unsichtbar, die Streuung aber auf einen Blick zu erkennen. Ob eine Runde richtig schĂ€tzt, lĂ€sst sich nicht prĂŒfen. Wie einig sie ist, schon.
đĄ Erst das Rauschen, dann die Auskunft
Die offengelegte Streuung hat zwei Teile, und jeder verlangt etwas anderes. Der erste ist Rauschen: Die fĂŒnf verstehen âhochâ verschieden, denken an verschiedene Szenarien oder schĂ€tzen nach Tagesform. Dagegen hilft ein Verfahren, das das Buch Entscheidungshygiene nennt. Die Skala bekommt Beispiele, die âhochâ verankern, und das Szenario steht vorher auf dem Papier. Wer am weitesten auĂen liegt, begrĂŒndet die eigene Zahl, danach schĂ€tzen alle noch einmal verdeckt.
Was danach bleibt, ist vor allem Auskunft: Hier weiĂ die Runde zu wenig. Auch Bayes hilft hier wenig. Verschiedene Ausgangsannahmen nĂ€hern sich zwar an, wenn alle dieselben Daten sehen, aber fĂŒr Ransomware im eigenen Fertigungsnetz gibt es diese Daten kaum. Die verbleibende Spanne gehört deshalb ins Register, als Intervall statt als Punkt, wie es Imprecise Probabilities vorsehen. Liegt sie ganz ĂŒber oder ganz unter der Akzeptanzschwelle, ist die Entscheidung trotzdem gefallen. Liegt die Schwelle mittendrin, ist jede Stunde Recherche gut angelegt.
Ein Register mit einem Wert pro Zeile zeigt von jeder Scheibe ein einziges Loch. Mit der Spanne zeigt es die RĂŒckseite: wo die Runde sich einig ist und wo sie zu wenig weiĂ.
đđ
- Daniel Kahneman, Olivier Sibony, Cass R. Sunstein: Noise. A Flaw in Human Judgment (Little, Brown Spark, 2021) https://www.hachettebookgroup.com/titles/daniel-kahneman/noise/9780316451390/
- Theodore Kinni: How Noisy Is Your Company? (strategy+business, 2021) https://www.strategy-business.com/article/How-noisy-is-your-company
- Wunder et al.: Shedding Light on CVSS Scoring Inconsistencies (IEEE S&P 2024) https://arxiv.org/abs/2308.15259


