KIC-Human IN the Loop
Wie ist dieser Ansatz der menschlichen Aufsicht umgesetzt?
Die Human in the Loop (HIL)-Cockpit Variante ist eine Software, die daraufhin optimiert ist, menschliche Aufsicht über KI-Systeme umzusetzen, bei denen manuelle, teilautonome und autonome KI-Entscheidungen eine Rolle spielen können. Hiermit unterscheidet sie sich vom der HON-Cockpit Variante, deren Anwendungsbereich vor allem Systeme mit einem hohen Autonomiegrad umfasst.
Der Einsatz eines HIL-Cockpits bietet sich an, wenn die im System bearbeiteten Prozesse und Maßnahmen mit einem relativ hohen Risiko für Fehlentscheidungen, einer hohen zeitlichen Komponente und/oder hohen Konsequenzen verbunden sind (Nothwang et al. 2016: 217). Solche Systeme erfordern, dass einige, oder alle Entscheidungen der KI durch Menschen überprüft werden, bevor sie eine Wirkung entfalten. Durch die Möglichkeit, die Kontrolle bis auf die Einzelfallentscheidung auszuüben, aber auch weniger kritische Prozesse zu automatisieren, ist hier eine weitreichende Kontrolle und Steuerung von KI-Systemen möglich.
Das HIL-Cockpit wurde zentral am Anwendungsfall „Intelligente Verkehrssteuerung für Städte“ entwickelt und evaluiert. Das Monitoring über zahlreiche Bildschirme kann durch eine KI-basierte Anomalieerkennung unterstützt werden. Fehler haben in diesem Kontext erhebliche Konsequenzen: eine nicht erkannte Gefahren- oder Notsituation kann schwerwiegende Folgen für Mensch und Umwelt haben. Ebenso kritisch sind Fehlalarme, da sie Rettungskräfte blockieren und hierdurch anderweitig benötigte Hilfe verzögern können. Gleichzeitig sind auch weniger schwerwiegende Maßnahmen möglich, die autonom durch das KI-System veranlasst werden können, etwa eine Anpassung der Geschwindigkeitsbegrenzung. In welchem Grad derartige Folgemaßnahmen autonom ausgeführt werden, wird durch Autonomiestufen gesteuert - die Möglichkeiten reichen von komplett manueller Ausführung über automatische Ausführung nach Prüfung bis hin zur komplett autonomen Ausführung.
Beim HIL-Cockpit steht der Schutz vor einer falschen Einzelfallentscheidung im Vordergrund, da die damit verbundenen Konsequenzen in den angedachten Settings gravierend sein können. Wird etwa durch die KI fälschlicherweise ein Unfall erkannt und die Feuerwehr automatisch alarmiert, so bindet dies Einsatzressourcen, die für „echte“ Unfälle dann nicht zur Verfügung stehen.
Darstellung & Kontrolle von KI-Entscheidungen
Das HIL-Cockpit dient dazu, erkannte Ereignisse (z.B. Gefahrensituationen im Verkehr) so darzustellen, dass die Darstellung den/die KIC-Operator:in dazu befähigt, schnell über die korrekte KI-basierte Erkennung der Ereignisse zu urteilen und Maßnahmen auszulösen.
Die erste Ebene der Darstellung ist eine sortierbare Listenansicht der Ereignisse. Diese unterteilt sich in offene und erledigte Ereignisse. Die Ereignisse können dabei nach verschiedenen Kriterien sortiert werden (Status, Erfassungszeit, Entscheidungstyp, Maßnahmen). Neu eingetroffene Ereignisse erhalten den Status „Neu“ und werden bei der Standardsortierung oben angezeigt.
Über die Schaltfläche „Prüfen“ können die KIC-Operator:innen in die Ereignisansicht wechseln. Die Ereignisansicht soll KIC-Operator:innen befähigen, die vorsortierte Klassifizierung eines Ereignisses durch die KI nachzuvollziehen und ggf. zu korrigieren. Hierfür wird Ihnen der Entscheidungstyp (z.B. liegengebliebenes Fahrzeug, Falschfahrer etc.) und die vorkonfigurierten Maßnahmen (s.u.) angezeigt. Außerdem müssen den KIC-Operator:innen Daten zur Verfügung gestellt werden, die eine Überprüfung der KI-basierten Klassifikation ermöglichen. Die Ausgestaltung dieser Daten ist vom Nutzungskontext abhängig und kann frei konfiguriert werden. Dies können im Kontext von Verkehrsraumüberwachung etwa der Standort auf der Karte und das Videomaterial, bei dem das Ereignis erkannt wurde, sein. Denkbar sind aber auch andere Konfigurationen, etwa eine grafische Visualisierung der verschiedenen Module und Bestandteile eines Cloud-Systems, oder Bewegungsvektoren.
Hierbei ist es auch möglich, statt "Rohdaten" KI-basierte Annotationen einzubauen, die es den KIC-Operator:innen erleichtern, die relevanten Informationen herauszudestillieren, und sie dadurch zu einer besseren und schnelleren Einschätzung und Entscheidungsfindung zu befähigen (z.B. farbliche Markierungen im Bild, die den Bereich hervorheben, in dem die KI das „Ereignis“ verortet, s.u. roter Punkt auf Auto).
Ist der/die KIC-Operator:in, basierend auf den Informationen, zu einer Einschätzung über das erkannte Ereignis gekommen, können die Maßnahmen angepasst und das Ereignis als geprüft oder als Fehler markiert werden. Ersteres führt dazu, dass die konfigurierten Maßnahmen ausgelöst werden, zweiteres dazu, dass das Ereignis als falscher Alarm verworfen wird.
Steuerung
Die Steuerung durch die KIC-Operator:innen beginnt erst, nachdem das KI-System ein Ereignis erkannt hat und Maßnahmen vorschlägt. Um Fehler zu vermeiden, legen zuvor definierte Automatisierungsstufen (Manuell, Genehmigungsvorbehalt, Automatisch) fest, welche Maßnahmen die KI selbstständig ausführen darf und für welche die Entscheidung von den KI-Operator:innen getroffen werden muss. Eine Stopp-Taste ist integriert, mit der eine zentrale Anforderung der EU KI-Verordnung umgesetzt wird (Art. 14. Abs. 4e EU KI-VO).
Konfigurierbare Entscheidungstypen und Maßnahmen
Im KI-Cockpit können verschiedene Entscheidungstypen für jedes KI-Module definiert werden. Entscheidungen sind die Ergebnisse der KI-Berechnungen und werden, je nach Konfiguration, von den KIC-Operator:innen kontrolliert (z.B. Unfallbestätigung).
Das KI-Cockpit bietet außerdem die Möglichkeit, einzelnen Entscheidungstypen spezifische Maßnahmen zuzuordnen. Der folgende Screenshot zeigt exemplarisch den Dialog zur Zuordnung von Maßnahmen zum Entscheidungstyp „gefährliches Fahrverhalten“ und verdeutlicht, wie flexibel die menschliche Aufsicht über automatisierte Prozesse gestaltet werden kann.
Einstellung des Autonomiegrades
Maßnahmen können individuell so konfiguriert werden, dass sie vollautomatisch, per Freigabe oder nur manuell ausgelöst werden können. Beispielsweise können so Einsätze der Polizei nur mit Freigabe, Verkehrsmeldungen dagegen automatisch ausgelöst werden. So können KIC-Operator:innen, die die Software bedienen, detailliert festlegen, was das KI-System autonom auslöst und wo menschliche Freigabe notwendig ist.
Durch diese detaillierten Konfigurationsmöglichkeiten entsteht für das KI-System über das KI-Cockpit ein fein justierbarer, situationsgerechter Autonomiegrad.
Stopp-Taste
Eine STOPP-Taste ist implementiert. Durch sie wird ein kompletter Ausführungsstopp für Maßnahmen ausgelöst. Das KI-System kann zwar intern weiterhin z.B. Kameradaten analysieren, aber keine Aktionen mehr auslösen, die z.B. in den Verkehr eingreifen.
Informationen zu den verwendeten KI-Modulen anzeigen
In vielen Softwareprojekten ist es üblich, verwendete Bibliotheken darzustellen. Das HIN-Cockpit unterstützt einen Export diese Abhängigkeiten in einem gängigen Format (sBOM). Hierbei werden auch KI-spezifische Daten, wie Modellversion oder Transparenzmetriken, gesammelt. Das Cockpit kann diese Daten darstellen und ermöglicht Exporte in PDF und Excel. Hierdurch können zentrale technische Transparenzpflichten von Artikel 13 der EU KI-Verordnung umgesetzt werden, gleichwohl dies allein keine hinreichende Umsetzung aller dort formulierten Pflichten ist.
Weiterführende Links
Weitere Informationen (Modellübersicht, Installationsanleitung, technische Dokumentation, Schnittstellendefinition) zu dieser KI-Cockpit Variante sind hier im Projekt Repository auf Github zugänglich.
Nothwang, W. D., McCourt, M. J., Robinson, R. M., Burden, S. A., & Curtis, J. W. (2016). The human should be part of the control loop?. In 2016 Resilience Week (RWS) (pp. 214-220). IEEE. https://doi.org/10.1109/RWEEK.2016.7573336
Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000). A model for types and levels of human interaction with automation. IEEE Transactions on systems, man, and cybernetics-Part A: Systems and Humans, 30(3), 286-297. https://doi.org/10.1109/3468.844354
Zuletzt aktualisiert