KIC-Human ON the Loop
Wie ist dieser Ansatz der menschlichen Aufsicht umgesetzt?
Die Human on the Loop (HOL)-Cockpit Variante ist eine Software, in der Risiken von KI-Systemen systematisch erfasst und Maßnahmen zur Risikoüberwachung ergriffen werden. Basierend auf dieser Überwachung ermöglicht das HOL-Cockpit eine Steuerung über Autonomiestufen und eine Stopp-Taste. Dabei schließt es an den aktuellen Stand der KI-Risikoüberwachung und Maßnahmenimplementierung an.
Der Einsatz des HOL-Cockpits bietet sich an, wenn das angesteuerte KI-System weitestgehend autonom agiert und verhältnismäßig risikoarm ist (Poretschkin et al. 2021: 52; Nothwang et al. 2016: 217). Der Fraunhofer „KI-Prüfkatalog“ (Poretschkin et al. 2021) schlägt ein zweistufiges Verfahren vor, bei dem zunächst im Top-Down-Ansatz potenzielle Risiken geprüft und Qualitätskriterien operationalisiert werden. Anschließend erfolgt im Bottom-Up-Verfahren die Beurteilung der Vertrauenswürdigkeit der KI-Anwendung auf Basis der erfüllten Qualitätskriterien (ebd. 28f.). Das HOL-Cockpit bildet nicht nur beide Schritte ab, sondern erlaubt auch die aktive Umsetzung von Maßnahmen zur Risikominimierung und Qualitätssicherung im laufenden Betrieb, wodurch Auswirkungen auf die Risikobeurteilung kontinuierlich überwacht und dokumentiert werden können.
Das HOL-Cockpit erfüllt weitere Funktionen, die häufig in getrennten Systemen erfolgen:
Software- und KPI-Monitoring
Risiko-Analyse und Beurteilung
Aktiver Eingriff in die Software
Dokumentation des Status Quo und der Änderungen
Die übliche Trennung der Systeme und die dabei entstehenden Medienbrüche verhindern gewöhnlich,
dass die Eingriffe ins KI-System und die Messwerte transparent abgebildet werden,
dass Alarmierungen von Grenzwertüberschreitungen direkte Auswirkungen auf die Risikobewertung haben und somit,
dass die Risiko-Analyse und Beurteilung sowie Dokumentation stets aktuell sind.
Das HOL-Cockpit ermöglicht hiermit, dass menschliche Aufsicht und Steuerung von KI-Systemen risikobasiert, messwertorientiert, weitgehend automatisiert und damit zeitlich effektiv umgesetzt werden kann.
Die HOL-Cockpit Variante bietet eine Reihe von Funktionen, die sich aus dem spezifischen Zuschnitt der Aufgaben des KI-Systems ergeben. Beim HOL-Cockpit steht nicht der Einzelfall im Vordergrund, sondern die technischen und ethischen Auswirkungen des KI-Systems in seiner Gesamtheit. Im Rahmen dieser Betrachtung treten insbesondere zwei Arten von Fehlern in den Vordergrund:
Unerwünschte Verzerrungen (Bias), die sich im KI-System manifestieren.
Probleme in der Performanz des KI-Systems, deren Risiko in der unzureichenden Funktion des Systems liegt.
Die nachfolgend dargestellten Funktionen greifen hierbei ineinander, um menschliche Aufsicht und Steuerung über KI-Systeme zu ermöglichen, bei denen diese Fehlergattungen die zentralen Risiken darstellen.
Risikomanagement
Mit der EU KI-Verordnung soll u.a. ein hohes Schutzniveau in Bezug auf Grundrechte, Gesundheit und Sicherheit und der Schutz vor schädlichen Auswirkungen von KI-Systemen in der EU gewährleistet werden. Um bestimmen zu können, wie die menschliche Aufsicht nach Artikel 14 KI-Verordnung konkret ausgestaltet sein muss, ist im ersten Schritt eine Risikoanalyse des KI-Systems notwendig. Denn die „Aufsichtsmaßnahmen müssen den Risiken, dem Grad der Autonomie und dem Kontext der Nutzung des Hochrisiko-KI-Systems angemessen sein“ (Art. 14 Abs. 3 EU KI-VO). Um die Risiken zu bestimmen, wurden verschiedene Methoden erprobt, die an anderer Stelle erläutert werden [Kapitel: Risikoanalyse]. Die identifizierten Risiken können im HOL-Cockpit eingepflegt werden. Ein Orientierungspunkt bieten hierbei der von plot4.ai übernommene Risikopool.
Wie in der Abbildung „Funktionsweise des HOL-Cockpits“ skizziert, folgt als nächster Schritt nach der Bestimmung der Risiken die Festlegung von Maßnahmen zur Risikominimierung. Dabei werden die Maßnahmen (z.B. KPIs, Tests) den Risiken zugeordnet. Dabei entsteht eine Matrix, der zu entnehmen ist, auf welche Weise die identifizierten Risiken adressiert werden und dies für die KIC-Operator:innen und Kontrollorgane dokumentiert. Das Projekt geht hierbei analog zum Vorgehen bei anderen Softwarelösungen vor, in denen Risikomanagement realisiert wird, gleichwohl können aus dem Projekt explizit keine abschließenden rechtsverbindlichen Aussagen über die Angemessenheit von Maßnahmen getroffen werden, da dies durch die ausstehenden Normung und Rechtsprechung weiter spezifiziert wird.
Darstellung und Kontrolle von KI-Entscheidungen
Um KI-Systeme zu kontrollieren, müssen zunächst die Entscheidungsprozesse dieser Systeme verstanden werden. Es gibt zwei verschiedene Ansätze dafür: Der erste Ansatz konzentriert sich auf die Technik selbst und versucht, Algorithmen "objektiv" zu bewerten. Der zweite Ansatz – der in diesem Projekt verfolgt wird – stellt den Menschen in den Mittelpunkt. Hier geht es nicht darum, was technisch alles erklärbar ist, sondern darum, wozu die Erklärung dient. Das Ziel ist es, den KIC-Operator:innen zu helfen, die KI richtig zu verstehen und Vertrauen zu ihr aufzubauen.
Die nachfolgenden Überwachungsmaßnahmen bestehen daher nicht aus komplexen, i.d.R. nicht generalisierbaren „objektiven“ Evaluationen der Algorithmen, sondern aus Schnittstellen und Bedienoberflächen, die sich an den menschlichen Bedürfnissen orientieren. Diese soziotechnischen Innovationen sollen es Menschen ermöglichen, KI-Systeme besser zu verstehen und zu kontrollieren.
Performance- & Fairness-KPIs (Key Performance Indicators)
Eine zentrale Überwachungsmaßnahme bilden Zeitreihen relevanter Messwerte (sogenannte Key Performance Indicators, kurz KPIs). Die obige Grafik zeigt den Verlauf einiger beispielhafter KPIs. Diese Messwerte können sich auf die Performanz eines Systems beziehen (Performanz KPIs), beispielhaft oben „Anzahl der Nutzenden“, „Anzahl der Matches“ und „Anzahl der Matches (avg.)“. Sie können sich aber auch auf die Messung von Bias (Fairness KPIs) beziehen. Dies erklärt sich am besten an einem Beispiel. Was misst etwa der oben skizzierte KPI „Matches pro Gender (avg.), Abweichung zum Durchschnitt in % / Max: 25 / Min -25“?
Gemessen werden hier zunächst die Matches, also erfolgreiche Paarungen von Bewerber:innen und Stellen, unabhängig davon, ob sie auch angenommen werden. Die einzelnen Messpunkte werden im Wochentakt aufgetragen und für die drei Gruppen: Frauen, Männer, Divers ausgegeben. Es wird die durchschnittliche Anzahl von Matches pro Person in jeder Gruppe gebildet, um einen möglichen Bias des KI-Systems sichtbar zu machen. Statt die absoluten Zahlen aufzutragen, werden hier Prozentwerte als Abweichung vom Durchschnitt ausgegeben, da sich hiermit am besten die normative Annahme überprüfen lässt, dass der Algorithmus „fair“ entscheidet und daher alle drei Gruppen gleichviele Matches erhalten. Abweichungen einer Gruppe nach oben oder unten weisen auf das Vorliegen eines Bias im überwachten KI-Systems hin. Erhält eine Gruppe 25% mehr oder weniger Matches als der Durchschnitt, wird ein Alarm ausgegeben. Dieser ist hier durch den roten Punkt in „Woche 2“ dargestellt.
Über Fairness-KPIs können KI-Systeme die als Black Box funktionieren – deren KI-Berechnungen also nicht im Detail für Menschen erklärbar gemacht werden – dennoch auf ihre Fairness hin überprüft werden. Dies geschieht, indem die KI-Entscheidungen mit normativen gesellschaftlichen Erwartungen (hier: Das Geschlecht sollte keine Rolle in der Entscheidung der KI spielen) in Beziehung gesetzt werden, um Abweichungen, die auf einen Bias hinweisen, sichtbar zu machen.
Die inhaltliche Auswahl und das Festlegen von Schwellenwerten thematisieren wir an anderer Stelle [Kapitel: Fairnesskriterien]. Die KPIs sind dabei Maßnahmen der Risikovermeidung insofern sie über Alarme [Kapitel: Alarme] die KIC-Operator:innen auf Abweichungen aufmerksam machen und sie auf die mögliche Notwendigkeit eines steuernden Eingriffs hinweisen.
Testfälle
Eine Schnittstelle ermöglicht das Einpflegen eigener Testfälle. Dadurch lassen sich beispielsweise einzelne diskriminierungsrelevante Merkmale ändern, um die KI-Entscheidung testweise zu durchlaufen. Dies ermöglicht wiederum die empirische Prüfung, ob derartige Merkmale einen problematischen Einfluss auf die Entscheidung ausüben. Testfälle sind die zweite implementierte Maßnahme zur Risikovermeidung.
Alarme
Testfälle und KPIs können mit Alarmen verbunden werden, die im Cockpit dargestellt und automatisch via E-Mail ausgespielt werden. Sie können dann, über einen beliebigen Provider, auf andere Kanäle wie Push-Mittelungen weitergeleitet werden.
Logs
Ereignisse wie die Überschreitung eines Schwellenwertes bei einem KPI, oder die Änderung einer Autonomiestufe, werden in einer Log-Datenbank gespeichert und sind somit zu Zwecken der Kontrolle und Dokumentation gesichert.
Steuerung
Die implementierte Steuerung der KI-Systeme orientiert sich eng an den im Flugverkehr und in der Automobilbranche etablierten Autonomiestufen, von „assistiert“ bis „autonom“. Mit der Stopp-Taste wird zudem eine zentrale Anforderung aus der EU KI-Verordnung berücksichtigt (Art. 14. Abs. 4e EU KI-VO).
Autonomiestufen
Autonomiestufen ermöglichen es, das einzelne Module eines KI-Systems in verschiedenen Betriebsmodi operieren können. Durch Wechsel von einer Autonomiestufe auf eine andere kann man pro Modul gezielt steuernd in das KI-System eingreifen. Die Autonomiestufen können im KI-Cockpit pro Modul festgelegt und konfiguriert werden [Kapitel: Autonomiestufen].
STOPP-Taste
Eine STOPP-Taste ist implementiert, die so konfiguriert werden kann, dass sie das System in einem sicheren Zustand zum Stillstand bringt. Sie kann im KI-System konfiguriert werden, indem pro Modul ein Stopp-Level festgelegt wird, d.h. eine Autonomiestufe, auf welche das System beim Drücken der Stopp-Taste wechselt. Damit ist sichergestellt, dass KI-unabhängige Module in einem sicheren Modus weiterlaufen können, und so verhindert wird, dass noch größere wirtschaftliche und technische Schäden durch eine unkontrollierte Beendigung des Gesamtsystems auftreten.
Rechtemanagement
Das HOL-Cockpit verfügt über ein Rechtemanagement, um verschiedene Rollen zuzuweisen. Hierbei können folgende Rollen unterschieden werden:
Globale Administrator:innen haben alle Rechte auf allen Systemen.
Editor:innen verfügen über Lese- und Schreibrechten nur auf einem System.
Viewer:innen verfügen über Leserechten nur auf einem System.
Dies ist notwendig, da die beaufsichtigende Person nicht zwingend die gleiche Person (oder Personengruppe) ist, die die Maßnahmen und Schwellenwerte definiert.
Weiterführende Links
Demonstratoren, mit denen die Funktionsweise der die HOL-Cockpit Variante ausprobiert werden kann, sind hier erreichbar.
Weitere Informationen, wie die Installationsanleitung, Konfigurationsanleitung sowie das Technische Konzept zu dieser KI-Cockpit Variante sind im Projekt Repository auf Github zugänglich.
Nothwang, W. D., McCourt, M. J., Robinson, R. M., Burden, S. A., & Curtis, J. W. (2016). The human should be part of the control loop?. In 2016 Resilience Week (RWS) (pp. 214-220). IEEE. https://doi.org/10.1109/RWEEK.2016.7573336
Poretschkin, M., Schmitz, A., Akila, M., Adilova, L., Becker, D., Cremers, A. B., ... & Wrobel, S. (2021). Leitfaden zur Gestaltung vertrauenswürdiger Künstlicher Intelligenz (KI-Prüfkatalog). https://doi.org/10.24406/publica-fhg-301361
Zuletzt aktualisiert