KIC-Produkte
Welche Werkzeuge stellt das Projekt zur Verfügung? Wozu können sie verwendet werden?
Innerhalb des Projektes haben wurden drei Produkte entwickelt. Nachfolgend wird ein kurzer Überblick gegeben. Die spezifischen Eigenschaften und Einsatzszenarien werden in den nächsten Kapiteln detailliert dargestellt. Die drei Produkte sind zwei Varianten des KI-Cockpits für die menschliche Aufsicht von KI-Systemen sowie das Transparenz-Interface als Informationsangebot für Endnutzer:innen.
Diese Produkte richten sich gleichermaßen an Hersteller:innen und Entwickler:innen von KI-Software wie auch an Organisationen, die solche KI-Softwaresysteme KI-Verordnungs-konform einsetzen wollen.
KI-Steuerung: Human ON the Loop oder Human IN the Loop
Das KI-Cockpit entstammt in beiden Varianten dem gleichen Forschungs- und Entwicklungsstrang: die übersichtliche Darstellung von Abläufen und Entscheidungen im KI-System und ein steuernder Eingriff über Autonomiestufen sind die zentralen Funktionen des KI-Cockpits. Die Variation besteht im jeweiligen Zuschnitt auf spezifische Herausforderungen verschiedener KI-Systeme; so können zwei komplementäre Ansätze zur Überwachung und Steuerung von KI-Systemen optimal umgesetzt werden.
Beide Cockpit-Varianten folgen dem gleichen grundlegenden Systemmodell, das in der folgenden Abbildung veranschaulicht wird.
Das KI-System arbeitet zunächst innerhalb definierter Parameter. Das KI-Cockpit erhält Daten (z.B. key perfomance indicators (KPIs)) über die Funktionsweise des Systems und bereitet sie menschenlesbar visuell auf. Der menschliche Akteur kann so die algorithmischen Entscheidungen kontrollieren und bewerten. Bei Bedarf kann ein Eingriff erfolgen, der über das Cockpit-Interface umgesetzt wird. Dieser Eingriff wird in entsprechende Anpassungen übersetzt und wirkt auf das Ausgangssystem zurück. Solche Anpassungen können unterschiedliche Formen annehmen – von Änderung der Autonomiestufe bis hin zum Retraining der KI auf Basis menschlichen Entscheidungen. Dieses gemeinsame Systemmodell wird in den beiden Cockpit-Varianten mit unterschiedlichen Schwerpunkten implementiert.
Human ON the Loop - Cockpit
Das Human on the Loop-Cockpit verwendet eine modulare Steuerung. Einzelne Systemkomponenten des angeschlossenen KI-Systems können gezielt überwacht, in ihrer Autonomie beschränkt oder komplett deaktiviert werden. Die Bewertung erfolgt durch längerfristige Beobachtung – nicht der Einzelfall, sondern die Gesamtheit aller Fälle steht im Mittelpunkt. Dieser Kontrollmodus eignet sich besonders, wenn folgende Bedingungen gegeben sind:
Das KI-System wird in einem Bereich eingesetzt, bei dem das Hauptrisiko nicht in gravierenden Einzelfall-Fehlentscheidungen liegt, sondern in systematischen Verzerrungen (Bias). In solchen Fällen müssen Muster über mehrere Entscheidungen hinweg analysiert werden, da sich Bias-bedingte Probleme am Einzelfall oft schwer erkennen lassen und erst in der Aggregation mehrerer Fälle deutlich werden.
Das System hat bereits ein ausreichendes Maß an Zuverlässigkeit für autonomes Funktionieren erreicht.
Dieser Ansatz adressiert primär systematische Verzerrungen (Bias).
Human IN the Loop - Cockpit
Beim Human in the Loop-Cockpit erfolgt die Kontrolle dagegen einzelfallorientiert: Einzelne vom KI-System generierte Entscheidungen werden von einem Menschen geprüft, der daraufhin Folgeaktionen einleitet. Dieser Kontrollmodus ist vorrangig anzuwenden, wenn folgende Bedingungen erfüllt sind:
Das KI-System ist mit hohen Risiken verbunden, weil fehlerhafte (Einzelfall-)Entscheidungen schwerwiegende Konsequenzen nach sich ziehen können.
Das System, oder einzelne Teile, haben noch nicht die erforderliche Zuverlässigkeit für einen autonomen Betrieb erreicht.
Der Fokus liegt hier auf der Vermeidung falscher Einzelfallentscheidungen.
Komplementäre Anwendung der KI-Cockpit Ansätze
In der Praxis können sich beide Cockpit-Ansätze auch ergänzen. Die Trennung zwischen Human on the Loop und Human in the Loop ist vor allem konzeptionell wichtig, während in realen Implementierungen beide Kontrollmechanismen eine Rolle spielen können. Dies liegt an zwei grundlegenden Faktoren:
Einerseits müssen gravierende Fehlentscheidungen in allen KI-Systemen – besonders in Hochrisikoumgebungen – zuverlässig verhindert werden. Selbst wenn ein System überwiegend autonom arbeitet, bleibt die menschliche Prüfung kritischer Entscheidungen unverzichtbar.
Andererseits entwickeln sich auch ursprünglich streng überwachte Systeme zunehmend in Richtung Autonomie. Mit wachsender Zuverlässigkeit des KI-Systems werden immer mehr Prozesse automatisiert, wodurch die Einzelfallprüfung jeder Entscheidung ineffizient wird. Hier gewinnt die längsschnittliche Betrachtung an Bedeutung, um systematische Verzerrungen zu erkennen, die sich erst über viele Fälle hinweg manifestieren.
Die optimale Überwachung moderner KI-Systeme erfolgt daher durch intelligente Integration beider Cockpit-Ansätze, angepasst an Risikoprofil, Reifegrad und Anwendungskontext des Systems. Die Möglichkeit ist dabei auf der Grundlage der entwickelten Cockpit Varianten gegeben, welche als separate Bausteine an das KI-System angeschlossen werden können.
Aufsicht durch Transparenz
Aus der Perspektive „Human in Command“ stellt sich die Frage, inwiefern die Endnutzer:innen überhaupt wissen, dass sie es mit einem KI-System zu tun haben und inwiefern sie genug über das System wissen, um tatsächlich informierte Entscheidungen zu treffen? Die regulatorischen Rahmenbedingungen, wie Artikel 50 Absatz 1 und Artikel 26 Absatz 7 der EU KI-Verordnung, sehen unter bestimmten Umständen bereits Informationspflichten gegenüber Endnutzer:innen vor, die allerdings nur ein Ausweisen der Verwendung von KI erfordern. Im Projekt konnten wir zeigen, dass dies den Endnutzer:innen nicht ausreicht, um eine informierte Nutzungsentscheidung zu treffen und damit Kontrolle auszuüben [Kapitel: Transparenz-Interface].
Ganz grundsätzlich lässt sich sagen, dass es sinnvoll ist, den Fokus auf die Endnutzer:innen zur richten, insbesondere auf deren informierte Entscheidung, für spezifische Zwecke absichtlich KI-Systeme einzusetzen oder eben nicht.
Erstens erfordern unterschiedliche Anwendungskontexte differenzierte Entscheidungen über den KI-Einsatz. Beispielsweise müssen Pflegekräfte die Grenzen KI-basierter Dokumentationssysteme kennen, um für kritische Anwendungsfälle sensibilisiert zu sein und den Automatisierungsbias zu vermeiden.
Zweitens hängt die gesellschaftliche Akzeptanz von KI-Systemen maßgeblich von ihrer Transparenz ab. Der öffentliche Diskurs schwankt zwischen überzogenen Erwartungen und Bedrohungsszenarien. Die weitverbreitete Erfahrung mit Chatbots hat vielen Menschen sowohl die Möglichkeiten als auch die Limitationen von KI vor Augen geführt. Durch transparente Information über Systemfunktionen wird Vertrauen geschaffen – eine unverzichtbare Voraussetzung, um die wirtschaftlichen und gesellschaftlichen Potenziale der KI-Technologie zu realisieren.
Das Transparenz-Interface
Das Transparenz-Interface richtet sich daher gezielt an Endnutzer:innen und ergänzt das technische KI-Cockpit um eine nutzerorientierte Informationsebene, die über bestehende regulatorische Anforderungen hinausgeht. Beim Transparenz-Interface handelt es sich um eine standardisierte Dokumentenvorlage, die durch die Anbieter:innen der Software ausgefüllt wird und den Endnutzer:innen z.B. über eine Einbindung auf der KI-System Website zur Verfügung gestellt werden soll.
Während das KI-Cockpit primär auf die operative Kontrolle der KI abzielt, adressiert das Transparenz-Interface die Informations- und Vertrauensebene. Es stellt Endnutzer:innen zentrale Informationen bereit, die eine selbstbestimmte Entscheidung über den Einsatz des KI-Systems überhaupt erst ermöglichen. Da Menschen in verschiedenen Rollen oder Situationen unterschiedliche Bedürfnisse an Informationen und Erklärungen haben können, sollen die Informationen in verschiedenen Kategorien und Stufen des Informationsumfangs zur Verfügung stehen.
Mit diesem Ansatz geht das KI-Cockpit-Projekt über die regulatorischen Mindestanforderungen der EU KI-Verordnung hinaus, insofern die Endnutzer:innen hier detailliert und zielgruppenadäquat über die Eigenschaften des Systems informiert werden. Die mehrstufige Informationsaufbereitung trägt nicht nur entscheidend zur Aufklärung der Endnutzer:innen bei, sondern fördert auch das Vertrauen in KI-Technologien. Gerade in sensiblen Anwendungsbereichen, wo situationsbedingt zwischen KI-basierten und konventionellen Verfahren abgewogen werden muss, bietet das Transparenz-Interface eine fundierte Entscheidungsgrundlage und hilft, den Endnutzer:innen bei der Reflexion über den Einsatz von KI und damit einen Automatisierungsbias zu vermeiden.
Zuletzt aktualisiert