🌍 FĂŒnf SchĂ€tzungen, ein Eintrag

Ein Risikoworkshop, fĂŒnf Leute, ein Risiko: Ransomware im Fertigungsnetz. Die Fertigungsleitung hĂ€lt einen Befall fĂŒr wahrscheinlich, die Netzwerkabteilung fĂŒr unwahrscheinlich, weil das Netz getrennt ist. Nach vierzig Minuten steht im Register „Eintrittswahrscheinlichkeit mittel, Schaden hoch“.

Die wertvollste Auskunft dieses Workshops steht nicht im Register: wie weit die fĂŒnf anfangs auseinanderlagen. Ein Teil dieser Streuung ist Rauschen, das ein besseres Verfahren senkt. Was danach bleibt, zeigt, wo die Organisation zu wenig weiß. Beides geht verloren, wenn am Ende nur ein Wert ĂŒbrig bleibt.

🎯 Zwei Arten danebenzuliegen

Dass fĂŒnf Fachleute zunĂ€chst verschieden schĂ€tzen, ist kein Mangel: Bei seltenen Ereignissen ist jede RisikoschĂ€tzung ein subjektives Urteil. Wie solche Urteile irren, zeigen Kahneman, Sibony und Sunstein in ihrem Buch ĂŒber Noise an vier Mannschaften auf einem Schießstand. Die erste trifft eng ins Zentrum, die zweite ebenso eng links daneben. Die dritte streut weit um das Zentrum, die vierte weit und daneben. Mannschaft zwei hat einen Fehler mit Richtung, Bias genannt. Mannschaft drei hat einen Fehler ohne Richtung, Noise oder Rauschen genannt: Im Mittel liegt sie richtig, nur trifft kaum ein einzelner Schuss.

Gegen Bias arbeiten wir seit Jahren. Anchoring, Optimism-Bias und Availability-Bias stehen in jeder Schulung, und jedes Gegenmittel stellt das Visier nach. Die ganze Gruppe der Treffer rĂŒckt zur Mitte, enger wird sie dadurch nicht. Gegen Noise tun wir fast nichts, obwohl er im Gesamtfehler genauso zĂ€hlt. Eine Gruppe um Julia Wunder ließ 196 Fachleute dieselben Schwachstellen nach CVSS bewerten, der Skala mit dem strengsten Regelwerk des Fachs. Die Werte gingen weit auseinander. Neun Monate spĂ€ter bekamen 59 von ihnen dieselben Schwachstellen noch einmal: 68 Prozent vergaben einen anderen Schweregrad als beim ersten Mal. Die freie SchĂ€tzung im Workshop streut eher mehr.

🙈 Warum niemand die Streuung sieht

Dass die Runde ihre Streuung nicht bemerkt, liegt am Verfahren. Die Risikomatrix hat fĂŒr jedes Risiko ein Feld, das Register eine Zeile. „Mittel“ sieht gleich aus, ob alle fĂŒnf „mittel“ gesagt haben oder zwei „niedrig“ und drei „hoch“.

Meist ist die Streuung schon vor dem Eintrag verschwunden. Wer GrĂŒnde austauscht, lernt dazu, und die SchĂ€tzungen rĂŒcken zu Recht zusammen. HĂ€ufiger rĂŒcken sie zusammen, weil jemand zuerst gesprochen hat. Die ĂŒbrigen orientieren sich an dieser Zahl, und aus fĂŒnf Urteilen wird eines mit vier Zustimmungen.

Gemessen wird das fast nie. Einer der wenigen FĂ€lle ist ein Versicherer. Die FĂŒhrungskrĂ€fte erwarteten zehn Prozent Unterschied zwischen den PrĂ€mien, die ihre Fachleute fĂŒr denselben Fall festsetzten. Im Median waren es 55. Aufgefallen war das vorher nie, denn jeder Fall wurde nur einmal bewertet. Ich wĂŒsste nicht, warum ein Security-Team einiger sein sollte.

🔄 Die RĂŒckseite der Scheibe

Sichtbar wird die Streuung erst, wenn alle verdeckt schĂ€tzen, bevor jemand spricht. Das klingt nach Aufwand ohne Ertrag, denn ob die Runde richtig liegt, erfĂ€hrt sie trotzdem nie. Bleibt die Ransomware aus, ist „mittel“ nicht bestĂ€tigt. Kommt sie, ist es nicht widerlegt.

Das Buch hat dafĂŒr ein Bild. Dreht man die Scheiben um und hĂ€lt sie gegen das Licht, ist das Zentrum unsichtbar, die Streuung aber auf einen Blick zu erkennen. Ob eine Runde richtig schĂ€tzt, lĂ€sst sich nicht prĂŒfen. Wie einig sie ist, schon.

💡 Erst das Rauschen, dann die Auskunft

Die offengelegte Streuung hat zwei Teile, und jeder verlangt etwas anderes. Der erste ist Rauschen: Die fĂŒnf verstehen „hoch“ verschieden, denken an verschiedene Szenarien oder schĂ€tzen nach Tagesform. Dagegen hilft ein Verfahren, das das Buch Entscheidungshygiene nennt. Die Skala bekommt Beispiele, die „hoch“ verankern, und das Szenario steht vorher auf dem Papier. Wer am weitesten außen liegt, begrĂŒndet die eigene Zahl, danach schĂ€tzen alle noch einmal verdeckt.

Was danach bleibt, ist vor allem Auskunft: Hier weiß die Runde zu wenig. Auch Bayes hilft hier wenig. Verschiedene Ausgangsannahmen nĂ€hern sich zwar an, wenn alle dieselben Daten sehen, aber fĂŒr Ransomware im eigenen Fertigungsnetz gibt es diese Daten kaum. Die verbleibende Spanne gehört deshalb ins Register, als Intervall statt als Punkt, wie es Imprecise Probabilities vorsehen. Liegt sie ganz ĂŒber oder ganz unter der Akzeptanzschwelle, ist die Entscheidung trotzdem gefallen. Liegt die Schwelle mittendrin, ist jede Stunde Recherche gut angelegt.

Ein Register mit einem Wert pro Zeile zeigt von jeder Scheibe ein einziges Loch. Mit der Spanne zeigt es die RĂŒckseite: wo die Runde sich einig ist und wo sie zu wenig weiß.

📚🔍