Künstlich Intelligente (KI) Systeme spielen eine immer größer werdende Rolle als automatisierte Entscheidungs-und Kontrollsysteme in verschiedenen, zum Teil sicherheitskritischen Anwendungsbereichen. Neben denimmensen Chancen, die sich durch den Einsatz von KI-Technologie eröffnen, ergeben sich gleichzeitig zahlreiche,qualitativ neue Probleme hinsichtlich u. a. der Sicherheit, der Robustheit und der Vertrauenswürdigkeit. Umdiesen Problemen angemessen zu begegnen, wird eine Rahmenstruktur für die Prüfung von KI-Systemenbenötigt, die neben Prüfstrategien und -werkzeugen auch entsprechende Standards umfasst. Diese Strategien,Werkzeuge und Standards sind aktuell noch nicht hinreichend für den praktischen Einsatz verfügbar. Basierendauf einem gemeinsam vom BSI, vom Verband der TÜVs (VdTÜV) und vom Fraunhofer HHI ausgetrageneninternationalen Expertenworkshop im Oktober 2020 wurde nun, zusammen mit zahlreichen nationalen undinternationalen Experten, ein Whitepaper zum aktuellen Stand, offenen Fragen und zukünftig wichtigenAktivitäten bezüglich der Prüfbarkeit von KI-Systemen verfasst. Das Whitepaper beleuchtet verschiedeneAspekte der Sicherheit von KI-Systemen, u.a. deren Lebenszyklus, Online-Lernverfahren, qualitativ neue Angriffe,mögliche Verteidigungsmaßnahmen, Verifikation, Prüfung, Interpretation und Standardisierung. Bei all diesenBetrachtungen wird deutlich, dass es zahlreiche Zielkonflikte zwischen den gewünschten Eigenschaften einesoperativen KI-Systems einerseits und den Eigenschaften des KI-Modells, der ML-Algorithmen, der Daten undweiteren Randbedingungen gibt, die letztlich die Skalierbarkeit und Generalisierbarkeit von sicher prüfbaren KI-Systemen beschränken. (Download PDF)
Quelle: bsi.bund.de