KIC-Rollen
Das nachfolgende Kapitel gibt einen kurzen Überblick über die teils aus der EU KI-Verordnung (EU KI-VO), teils aus den konzeptionellen Überlegungen im Projekt hergeleiteten Rollen im Umgang mit KI-Systemen und dem KI-Cockpit. Welche Verantwortlichkeiten, Kompetenzprofile und Funktion in der Erfüllung der Schutzziele der EU KI-Verordnung (Grundrechte, Gesundheit, Sicherheit) gehen mit den Rollen einher?
Bereitstellung von KI-Systemen: Anbieter:innen und Betreiber:innen
Die EU KI-Verordnung adressiert regulatorisch vor allem Anbieter:innen, die KI-Systeme entwickeln oder in ihre Software einbinden, sowie Betreiber:innen, die diese Software für ihre Zwecke einsetzen.
Die Anforderungen der KI-Verordnung sind an vielen Stellen abstrakt formuliert und lassen Auslegungsspielraum [1]. Derzeit werden in den europäischen Normungsgremien Standards erarbeitet, mit denen insbesondere die Anforderungen an Hochrisiko-KI-Systeme konkretisiert werden. Zudem erarbeitet die EU-Kommission konkretisierende Leitlinien zu zahlreichen Fragen der KI-Verordnung. Weitere Rechtsklarheit wird in Zukunft durch die Aufsichtspraxis und Rechtsprechung geschaffen werden.
Kontrolle von KI-Systemen: KIC-Operator:in & Endnutzer:innen
Das Forschungsprojekt KI-Cockpit reagiert auf diese Anforderung einer menschlichen Aufsicht und Letztentscheidung mit der Entwicklung der KI-Cockpit-Software.[2] Ein KI-Cockpit soll das produktive Miteinander von Mensch und Maschine optimieren, indem es den Nutzer:innen (sogenannten KIC-Operator:innen, s. u.) erlaubt, die Entscheidungen des Systems zu verstehen, zu kontrollieren und zu beeinflussen, wie es etwa beim Autopiloten in der Luftfahrt längst etabliert ist.
Das KI-Cockpit wird von einem/einer „KIC-Operator:in“ bedient, der/die dafür entsprechend geschult bzw. qualifiziert ist. Dieser Expert:innenstatus leitet sich aus den in Artikel 14 Absatz 4 der KI-Verordnung formulierten Anforderungen an die menschliche Aufsicht ab. Zu den genannten Forderungen zählen neben Aspekten des technischen Fachwissens [3] auch Aspekte der kontextgebundenen Entscheidungsfindung.[4] Das heißt, der/die Operator:in muss die zugrunde liegenden Prozesse sowie die Möglichkeiten der Kontrolle und des Eingriffs kennen und verstehen. Entsprechend ist das KI-Cockpit als Expert:innen-Software ausgelegt.
Die im Projekt entwickelte KI-Cockpit Software richtet sich demnach an Anbieter:innen, die eine Lösung für die Anforderungen aus Artikel 14 benötigten, sowie an die Nutzer:innen (KIC-Operator:innen), die im Auftrag der Betreibenden die menschliche Aufsicht operativ übernehmen.
Im Projekt sind zwei KI-Cockpit Varianten entwickelt worden [KIC-Produkte]. Die Rolle der KIC-Operator:innen ist bei beiden ähnlich und unterscheidet sich vor allem darin, wie direkt die Personen in den Ablauf der KI-Systeme eingebunden sind.
Bei der Human ON the Loop-Cockpit Variante kommt den KIC-Operator:innen eine Aufsichtsrolle zu, bei der Eingriffe in das weitgehend autonom funktionierende KI-System nur notwendig sind, wenn es außerhalb der definierten, risikobezogenen Grenzwerte operiert. Zwar müssen diese Person(en), welchen die menschliche Aufsicht übertragen wurde, handlungsbereit sein, aber bei einem gut konfigurierten System nur selten tatsächlich handeln, da Grenzwertverletzungen die Ausnahme darstellen sollten. Tritt ein solcher Fall ein, werden die KIC-Operator:innen alarmiert (z.B. via Push-Benachrichtigung). Insofern ergibt sich hier eine Rolle, die analog zu Datenschutzverantwortlichen gedacht werden kann. Diese Person(en) benötigen ein spezifisches Set an Qualifikationen bzw. Wissen: Neben einem grundständigen Domänenwissen über den spezifischen Fachbereich ist auch ein technisches Verständnis über KI-Systeme und deren Wirkweise sowie über spezifische KI-Bias-Formen und deren Messbarkeit nötig.
Die Human IN the Loop-Cockpit Variante zeichnet sich durch eine aktive Einbindung der KIC-Operator:innen in die Abläufe des KI-Systems aus, weil einzelne, oder alle KI-Entscheidungen vom Menschen überprüft werden müssen. Da die Operator:innen direkt in die Prozesskette des KI-Systems eingebunden sind und zeitkritisch auf Entscheidungen reagieren müssen, handelt es sich hierbei um eine Rolle, die den vollen Fokus der ausübenden Person(en) bedarf. In dieser Rolle ist das spezifische Domänenwissen essentiell, denn es geht letztlich um die Bewertung des domänenspezifischen Einzelfalls. Je nach Rollenzuschnitt kann auch hier Wissen über die dahinterliegenden KI-Systeme notwendig sein, insbesondere wenn neben der Befugnis einzelne Entscheidungen abzunehmen, auch die Steuerung der System-Autonomie bei der KIC-Operator:in liegt.
Die KI-Cockpit Varianten richten sich dabei genau an diesen Anforderungsprofilen aus und sollen die KIC-Operator:innen ideal in ihrer Arbeit unterstützen. Der sich hierin ausdrückende menschenzentrierte Blick auf die Zusammenarbeit von KI und Menschen, stellt neben der EU KI-Verordnung den zweiten Ausgangspunkt des Projektes dar. Diese normative Positionierung und unsere empirische Forschung ergaben die Notwendigkeit, Kontrolle nicht nur bei den Betreiber:innen/KIC-Operator:innen zu sehen, sondern auch die Endnutzer:innen der KI-basierten Software mitzudenken.
Den Endnutzer:innen (z.B. Bewerber:innen, die ein Jobmatching-Tool nutzen) steht nach der KI-Verordnung unter Umständen ein Recht zu, über den Einsatz von KI informiert zu werden (Art. 50 Abs. 1 , Art. 26 Abs. 7 und Art. 86 EU KI-VO). Für sie wird menschliche Aufsicht zum einen durch die/den KIC-Operator:in gewährleistet, zum anderen werden sie, über die Vorgaben der KI-Verordnung hinausgehend, durch das Transparenz-Interface angesprochen und zu informierten Entscheidungen über die Nutzung befähigt.
Betroffene von KI-Systemen
Mit zunehmender Verbreitung von KI-Systemen werden Bürger:innen zu Betroffenen von KI Systemen.
Betroffene können beispielsweise Verkehrsteilnehmende sein, die basierend auf KI-gestützten Entscheidungen am Straßenverkehr teilnehmen (z.B. Erkennung von Falschfahrer:innen oder Unfällen). Sie haben keine eigenen Kontrollmöglichkeiten und werden durch die menschliche Aufsicht durch den/die KIC-Operator:in geschützt.
[1] Folgende Grafik von Phil Lee (Managing Director Digiphile) identifiziert beispielsweise alleine 48 Anforderungen nur an die Rolle der Hersteller:innen: https://drive.google.com/file/d/18wRKwofxln1THOTs0k1s0pdd9gpAfc6A/view?usp=sharing
[2] Das KI-Cockpit Projekt orientiert sich am gesetzten Rechtsrahmen, kann aber nicht rechtsverbindlich sicherstellen, dass der Einsatz eines KI-Cockpits auch zu 100 % den Anforderungen der KI-Verordnung entspricht. Dies geht auf den Umstand zurück, dass sich erst in der Rechtsanwendung zeigen wird, was als adäquater Umgang mit den KI-Risiken gilt.
[3] Dazu zählen z. B. Fähigkeiten und Grenzen des Hochrisiko-KI-Systems angemessen verstehen und […] überwachen (Art. 14 Abs. 4a) und Ausgabe des Hochrisiko-KI-Systems richtig zu interpretieren (Art. 14 Abs. 4c).
[4] Dazu zählen z. B. Automatisierungs-Bias reflektieren (Art. 14 Abs. 4b); nicht Verwendung des Hochrisiko-KI-Systems (Art. 14 Abs. 4d); Eingriff ins System und Stopp-Taste (Art. 14 Abs. 4e).
Zuletzt aktualisiert