Künstliche Intelligenz (KI) bietet der Bundesverwaltung Chancen, bringt aber auch neue Herausforderungen mit sich. Die Entwicklung und Nutzung von KI-Systemen erfordert erhebliche Investitionen in Infrastruktur, Daten und Fachwissen. Diese Kosten müssen in einem absehbaren Zeitraum einem nachweisbaren Nutzen gegenüberstehen. Zugleich erschwert die Komplexität vieler KI-Verfahren die Nachvollziehbarkeit ihrer Funktionsweise und kann Risiken mit sich bringen – etwa die Verstärkung gesellschaftlicher Vorurteile oder die mangelnde Erklärbarkeit automatisierter Entscheidungen.
Eine risikoorientierte Prüfung muss deshalb technische, organisatorische, rechtliche und ethische Aspekte gleichermassen berücksichtigen. Mit den drei Risikodimensionen «Vertrauenswürdigkeit», «Wirtschaftlichkeit» und «Kompetenzen» trägt der Leitfaden zur Prüfung von KI der Eidgenössischen Finanzkontrolle (EFK) den vielfältigen Risiken Rechnung. Die Wahl der Risikodimensionen stützt sich auf die KI-Teilstrategie der Bundeskanzlei. Den drei Risikodimensionen werden 13 Risikofelder zugeordnet.
Der Lebenszyklus einer KI-Anwendung unterscheidet sich grundlegend von jenem herkömmlicher IT-Systeme: KI-Modelle werden dynamisch und iterativ entwickelt, trainiert und angepasst, wodurch sie im Laufe ihres Lebenszyklus neue Muster und Fähigkeiten entwickeln können, die schwer vorhersehbar sein können. Der Leitfaden berücksichtigt den zeitlichen Aspekt, indem er den Lebenszyklus der KI-Anwendung in die Planungs-, Entwicklungs- und Betriebsphase unterteilt. Weiter zeigt der Leitfaden auf, in welchen Phasen die einzelnen Risikofelder relevant sein können. So unterstützt er Prüfende dabei, Risiken entlang des gesamten Lebenszyklus einer KI-Anwendung systematisch zu identifizieren und zu bewerten.