Das KI-Cockpit und die KI-Verordnung der Europäischen Union
Wie kann eine mit der EU KI-Verordnung konforme Implementierung von KI-Technologien in Unternehmen aussehen?
Der Einsatz Künstlicher Intelligenz (KI) ist ein Thema intensiver gesellschaftlicher Debatten. Ein zentraler Strang ist dabei die Frage ihrer Regulierung. Seit Jahren diskutieren Vertreter:innen aus Zivilgesellschaft, Wissenschaft, Wirtschaft und Politik darüber, wie KI verantwortungsvoll eingesetzt werden kann.
Aus diesem Diskurs heraus hat die Europäische Union (EU) einen Meilenstein gesetzt: der weltweit erste umfassende und verbindliche Rechtsakt für KI. Die EU KI-Verordnung (EU KI-VO) stellt klare Anforderungen an sichere, vertrauenswürdige und menschenzentrierte KI. Dazu zählt auch, dass KI-Systeme, die in Hochrisiko-Bereichen zum Einsatz kommen sollen, wirksam durch Menschen beaufsichtigt werden müssen. Diese bewusste Einbindung menschlicher Verantwortung stärkt nicht nur die Kontrolle über KI, sondern auch die gesellschaftliche Akzeptanz neuer Technologien.
Das KI-Cockpit als Antwort auf die KI-Verordnung
Das KI-Cockpit soll Unternehmen dabei unterstützen, wichtige Anforderungen der EU KI-Verordnung erfolgreich umzusetzen. Komplexe Regelungen werden durch praxisnahe Anwendungsbeispiele dargestellt.
Ein zentrales Mittel für einen verantwortungsbewussten und sicheren KI-Einsatz ist die gesetzlich vorgeschriebene menschliche Aufsicht (Art. 14 EU KI-VO). Danach müssen Hochrisiko-KI-Systeme so konzipiert und entwickelt werden, dass sie bei ihrer Verwendung von Menschen wirksam beaufsichtigt werden können. Dabei können auch geeignete Instrumente einer Mensch-Maschine-Schnittstelle zum Einsatz kommen. Die Anforderungen an die menschliche Aufsicht richten sich nach den Risiken, dem Grad der Autonomie und dem Nutzungskontext der KI-Anwendung.
Die Anbieter:innen eines KI-Systems können Maßnahmen der menschlichen Aufsicht in das KI-System selbst einbauen und/oder Maßnahmen bestimmen, die von den Betreiber:innen beim Betrieb des KI-Systems umgesetzt werden können. Entscheidungen mit rechtlichen oder nachteiligen Auswirkungen auf Menschen dürfen zudem schon nach der Datenschutzgrundverordnung (DSGVO) grundsätzlich nicht vollständig automatisiert werden. Hier muss also ein Mensch die letzte Entscheidung treffen. KI-Systeme müssen dabei so gestaltet sein, dass die Aufsichtspersonen in der Lage sind,
die Fähigkeiten und Grenzen des KI-Systems zu verstehen (einschließlich Fehlfunktionen und Anomalien),
sich einer möglichen Neigung zu übermäßigem Vertrauen in die Ergebnisse des KI-Systems („Automatisierungsbias“) bewusst zu bleiben, insbesondere wenn diese Ergebnisse Grundlage menschlicher Entscheidungen sein sollen,
die Ergebnisse des KI-Systems richtig zu interpretieren,
sowie in bestimmten Situationen zu entscheiden, die Ergebnisse des KI-Systems nicht zu verwenden oder rückgängig zu machen und in den Betrieb - etwa mit einer „Stopptaste“ - einzugreifen.
Die KI-Verordnung schreibt keine konkreten Maßnahmen vor, daher können verschiedene technische Maßnahmen helfen, diese Ziele zu erreichen. Betreiber:innen von Hochrisiko-KI-Systemen müssen die menschliche Aufsicht geeigneten Personen übertragen und die von den Anbieter:innen in der Betriebsanleitung des KI-Systems aufgeführten Maßnahmen der menschlichen Aufsicht umsetzen.
Das KIC-Projekt verfolgt eine klare ethische Leitlinie: Technologie ist ein Hilfsmittel, kein Selbstzweck. Der Mensch bleibt in der Verantwortung und kann gezielt Aufgaben an die KI delegieren. Dieses Prinzip wird als „Human in Command“ bezeichnet.
Besonders innovativ am KIC-Projekt ist, dass auch die Perspektive der Arbeitnehmer:innen als Endnutzer:innen systematisch einbezogen wird. Bei genauerer Betrachtung der Rolle der Arbeitnehmenden, gibt es zwei grundlegende Szenarien der menschlichen Aufsicht, die der Vielfalt an KI-Systemen und Arbeitskontexten gerecht werden:
Human ON the Loop: Der Mensch überblickt das System (nicht aber die Einzelentscheidung) und kann nach Bedarf eingreifen.
Human IN the Loop: Der Mensch ist direkt in die Entscheidungskette des KI- Wirksystems eingebunden und muss einzelne bis alle Entscheidungen des KI- Systems abnehmen.,
Diese Unterscheidung, die als erste Orientierung zu verstehen ist, führt zu zwei Varianten des KI-Cockpits. [Kapitel: KIC-Produkte]
Nicht alle Nutzer:innen brauchen und erhalten direkte Eingriffsmöglichkeiten, in das KI-System. Sie können dennoch vom KI-System betroffen sein, weil sie mit dem KI-System interagieren. Ihnen steht nach Artikel 50 Abs. 1 und Artikel 26 Abs. 7 der EU KI-Verordnung unter Umständen ein Recht zu, über den Einsatz von KI informiert zu werden. Es erscheint hier sinnvoll die Transparenz für diese Endnutzer:innen der KI-Systeme zu erweitern, um eine selbstbestimmte Entscheidung über den Einsatz sicherzustellen. Nicht nur, weil hierdurch ein besser informierter Einsatz von KI unterstützt wird, sondern auch weil eine erhöhte Transparenz zu mehr Vertrauen und Akzeptanz in die Technik führen kann, welche notwendig ist, um die wirtschaftlichen und gesellschaftlichen Potenziale von KI nutzbar zu machen. Diese Transparenz gegenüber den Endnutzer:innen unterstützen wir durch ein sogenanntes Transparenz-Interface, eine standardisierte Dokumenten-Vorlage, die KI-Entscheidungen für alle Nutzer:innen nachvollziehbar macht. [Kapitel: Transparenz-Interface]
Zuletzt aktualisiert