Die Prüfung, die nur bestätigen kann

🔍 Was beobachte ich?
Das neue Kundenportal bleibt aus dem Scope des Zertifizierungsaudits. Sein Berechtigungskonzept ist noch nicht fertig, und eine Baustelle soll nicht das ganze Zertifikat gefährden. So weit verstehe ich das. Vier Wochen vor dem Termin läuft das interne Audit, mit demselben Scope. Gefragt wird, ob es eine Berechtigungsrichtlinie gibt, und es gibt eine. Ob die Konten ausgeschiedener Beschäftigter gesperrt sind, fragt niemand. Ein überfälliges Berechtigungsreview wird nachgeholt. Warum es ausgefallen war, bleibt offen. Der jährliche Pentest läuft im vereinbarten Fenster, das Admin-Team weiß Bescheid, und das Portal steht nicht auf der Liste. Drei Prüfungen, kein Befund von Gewicht. Jede dieser Entscheidungen lässt sich einzeln begründen.
🎯 Was soll eigentlich erreicht werden?
Die Prüfungen haben verschiedene Aufgaben. Das Zertifizierungsaudit liefert den Nachweis, nach dem der Einkauf der Kundschaft fragt und den Versicherung und Aufsicht erwarten. Dort will ich eine Bestätigung, und das ist in Ordnung: Eine Hauptabweichung kann den Termin kosten und womöglich einen Vertrag. Die eigenen Prüfungen, also interne Audits, Sicherheitstests und Reviews, sollen dagegen finden, was nicht funktioniert. Ihr Wert liegt in der Abweichung. Jede ist eine Gelegenheit, etwas zu verbessern, und keine kostet das Zertifikat.
Das Zertifizierungsaudit ergänzt diese Prüfungen, und so sieht es die Norm selbst vor. ISO 27001 verlangt interne Audits in geplanten Abständen (Kapitel 9.2). Anhang A sieht dazu eine unabhängige Überprüfung der Informationssicherheit, regelmäßig und bei erheblichen Änderungen (5.35), und Sicherheitstests schon in der Entwicklung (8.29) vor. Die Zertifizierungsstelle prüft, ob das alles läuft, und soll aufdecken, was vielleicht übersehen wurde. Ein Probelauf vor dem Zertifizierungsaudit kann sinnvoll sein. Er ersetzt aber nicht die Prüfung, die sucht, und gehört auf einen eigenen Termin. Schief wird es, wenn der Druck des Zertifizierungstermins auf die eigenen Prüfungen übergreift. Dann wird das interne Audit zum Probelauf und der Sicherheitstest zum Beleg, dass nichts zu finden war.
⚠️ Warum funktioniert das nicht?
Im internen Audit aus der Szene konnte niemand durchfallen. Dass es eine Berechtigungsrichtlinie gibt, stand vorher fest. Ob das Berechtigungsmanagement im Alltag funktioniert, erfahre ich aus der Antwort nicht. Ein „bestanden“ ist nur etwas wert, wenn man in der Prüfung auch hätte durchfallen können. Eliezer Yudkowsky nennt die strenge Fassung dieser Regel „Conservation of Expected Evidence“: Kann kein Ausgang einer Prüfung meine Einschätzung senken, kann auch keiner sie heben. Das gilt auch für das Zertifikat selbst: Rechne ich fest damit, erfahre ich durch es nichts Neues über meine Sicherheit. Das muss es auch nicht, denn es ist der Nachweis für andere. Was ich selbst wissen will, müssen die eigenen Prüfungen liefern.
Auch eine Prüfung, die an der richtigen Stelle fragt, kann den Alltag verfehlen. NIST SP 800-115 beschreibt, dass Beschäftigte und Administration vor einer angekündigten Prüfung manchmal Einstellungen verschärfen und sie danach wieder zurücknehmen. Die Publikation nennt das „Lack of Realism“. Die Verbesserung lasse sich durchaus positiv sehen, schreibt NIST, nur hält sie meist nicht über die Prüfung hinaus. Gemessen wird dann der Zustand der Prüfwoche. Als Gegenmittel nennt NIST, Prüfungen nicht vorher anzukündigen.
Ähnlich verhält es sich mit dem nachgeholten Review. Die Auditorin der Zertifizierungsstelle sieht später ein vollständiges Protokoll. Warum das Review ausfiel, sieht sie nicht, und im nächsten Quartal fällt es wieder aus.
Das Zertifizierungsaudit fängt das nicht auf. Dieselbe Auditorin zieht Stichproben aus dem, was ihr vorgelegt wird, und blinde Flecken findet sie nur, wenn sie den Normalzustand sieht. Bestätigt sie am Ende, was die eigenen Prüfungen bestätigt haben, stützen sich drei Bestätigungen auf dieselbe Auswahl.
Was im internen Audit verloren geht, wenn niemand Unbequemes sagen mag, steht in Die Generalprobe, die niemand nutzt .
💡 Was funktioniert besser?
Eine Prüfung braucht eine Grundlage. Für das ISMS ist das die Risikobeurteilung. Für das einzelne System, etwa das Portal, ist es ein Threat Model: Wer könnte es wie angreifen, und was schützt dagegen? Daraus folgen vor jeder eigenen Prüfung zwei Fragen. War mein Threat Model ausreichend? Habe ich die nötigen Schutzmaßnahmen angemessen umgesetzt?
Geeignet ist eine Prüfung, wenn sie eine der beiden Annahmen widerlegen würde, sollte diese falsch sein. Ob sie dann tatsächlich etwas findet, ist ihr Ergebnis, nicht ihre Eignung. Für das Portal etwa: „Ausgeschiedene verlieren ihren Zugang am letzten Arbeitstag. Die Prüfung zieht die Konten aller, die im letzten Quartal gegangen sind. Ist eines noch aktiv, ist die Maßnahme nicht angemessen umgesetzt.“ Findet ein Sicherheitstest einen Weg ins Portal, den das Threat Model nicht kennt, war das Modell nicht ausreichend. Kann eine Prüfung keine der beiden Annahmen widerlegen, sagt ihr „bestanden“ nichts.
Drei Entscheidungen machen das möglich:
- Die Baustellen kommen hinein. Was im Zertifikat noch fehlen darf, gehört in die eigenen Prüfungen, wo eine Abweichung nur Arbeit kostet.
- Die Prüfung sieht den Alltag. Sie zieht Stichproben aus dem Betrieb, nicht nur aus der Dokumentation. Technische Tests kommen, wo es geht, unangekündigt. Bescheid wissen dann nur die Leitung und wer im Notfall eingreifen muss. Ein Befund wird zur Abweichung im eigenen ISMS, mit Ursache und Korrekturmaßnahme nach Kapitel 10.2.
- Wer prüft, hängt nicht am Ergebnis. Kapitel 9.2 verlangt, Auditierende so auszuwählen, dass Objektivität und Unparteilichkeit gewahrt bleiben. Ob sie aus dem eigenen Haus kommen oder beauftragt sind, ist zweitrangig.
Das Zertifizierungsaudit behält seine Aufgabe. Das Portal benenne ich gegenüber der Zertifizierungsstelle als Bereich im Aufbau, mit Grund und dem Zyklus, in dem es hineinkommt. Bis zum Termin bleibt der Normalzustand, ohne Nachholaktion. Findet die Auditorin im Scope dann noch etwas, war es ein blinder Fleck: eine Bedrohung, die in der Risikobeurteilung fehlt, oder eine Maßnahme, die nur auf dem Papier funktioniert. Dafür ist sie da. Eine Nebenabweichung kostet das Zertifikat nicht: Nach ISO/IEC 17021-1 genügt ein Plan für Korrektur und Korrekturmaßnahme, den die Zertifizierungsstelle akzeptiert. Wer vorher ernsthaft gesucht hat, bekommt im Zertifizierungsaudit eine Bestätigung, die etwas aussagt. Wer nirgends gesucht hat, ist so unsicher wie vorher. Nur steht jetzt ein Siegel darauf.
📚🔍
- Eliezer Yudkowsky: Conservation of Expected Evidence https://www.lesswrong.com/rationality/conservation-of-expected-evidence
- NIST SP 800-115: Technical Guide to Information Security Testing and Assessment, Abschnitt 7.2 https://nvlpubs.nist.gov/nistpubs/Legacy/SP/nistspecialpublication800-115.pdf
- 🔒 ISO/IEC 27001:2022, Kapitel 9.2 Internes Audit und 10.2 Nichtkonformität und Korrekturmaßnahmen, Anhang A 5.35 und 8.29 https://www.iso.org/standard/27001
- 🔒 ISO/IEC 17021-1:2015, Abschnitt 9.5.2 Prüfung vor der Zertifizierungsentscheidung https://www.iso.org/standard/61651.html


