Alarme
Wie wird menschliche Aufsicht durch Einbinden von Alarmen sichergestellt?
Mit dem KI-Cockpit kann menschliche Aufsicht und Kontrolle von KI-Systemen realisiert werden. Hierbei werden KIC-Operator:innen zur Kontrolle des KI-Systems eingesetzt. Auf diese Weise wird ein reibungsloser Ablauf der Software bei gleichzeitiger menschlicher Aufsicht gewährleistet.
Im Falle von Unstimmigkeiten, Fehlern oder anderen außergewöhnlichen Situationen ist eine adäquate Kommunikation essentiell, um eine korrekte Verarbeitung der Informationen durch die KIC-Operator:innen zu gewährleisten und eine effektive Einleitung entsprechender Gegenmaßnahmen zu ermöglichen. Dies geschieht durch Alarmierungen.
Die Varianten des KI-Cockpits haben Alarmierungen integriert, um sicher zu stellen, dass der Mensch in kritischen Situationen trotz der Autonomie des Systems über die erforderlichen Informationen verfügt und handlungsfähig bleibt (Human in Command). So kann gewährleistet werden, dass trotz des Einsatzes der KI-Software, weiterhin die Mitarbeitenden die Entscheidungsmacht haben.
Die Funktionalität von Alarmierungssystemen
Im Falle der Identifikation eines ungewöhnlichen Musters, beispielsweise wenn ein KPI einen definierten Schwellenwert überschreitet, erfolgt eine Alarmierung der menschlichen KIC-Operator:innen, um eine mögliche Eskalation des Problems zu verhindern. Die Gestaltung der Alarmierungen stellt einen wesentlichen Aspekt in einem KI-Cockpit dar.
Im Folgenden werden Prinzipien vorgestellt, die dazu beitragen, die Benutzerfreundlichkeit und Zufriedenheit der Nutzer:innen zu verbessern. Gleichzeitig wird durch die Anwendung dieser Prinzipien das Risiko von Fehlern und Ermüdung der Nutzer:innen reduziert (Phansalkar 2010).
Salienz: Die Implementierung von Alarmierungen muss gewährleisten, dass diese von den Nutzer:innen adäquat wahrgenommen werden. In Bezug auf visuelle Alarmierungen ist das Wording, das Layout und die Platzierung der visuellen Alarmierungen von entscheidender Bedeutung. Bei auditiven Alarmierungen hingegen spielen Lautstärke, Tonhöhe und Sprache eine wesentliche Rolle (Wogalter 2002). Des Weiteren kann die Tätigkeit der Nutzer:innen die Implementierung beeinflussen. Tätigkeiten, die mit einer hohen mentalen Arbeitsbelastung einhergehen, können dazu führen, dass Alarmierungen nicht mehr wahrgenommen werden. Dieser Effekt wird als "inattentional deafness" bezeichnet (Dehais 2014).
Persönliche Faktoren: Die Effektivität von Alarmierungen ist zudem von designunabhängigen Faktoren abhängig, zu denen demografische Variablen wie Alter, Geschlecht, kultureller Hintergrund zählen, sowie individuelle Unterschiede in der Produkt- oder Aufgabenvertrautheit und Ausbildung (Wogalter 2002). Es ist daher erforderlich, diese Faktoren bei der Konzeption von Alarmierungen zu berücksichtigen, z.B. durch sprachunabhängige Meldungen oder universell verständliche Piktogramme.
Multimodalität: In Abhängigkeit von der ausgeübten Tätigkeit können Alarmierungsmethoden zum Einsatz kommen, welche andere sensorische Wahrnehmungen ansprechen (visuell, auditiv, taktil). Bei Tätigkeiten, die z.B. ein hohes Maß an visueller Wahrnehmung erfordern, kann eine verkürzte Reaktionszeit auf Alarmierungen von Vorteil sein, sofern diese auditiv oder taktil erfolgen (Krausman 2005).
Falschalarme: Die fehlerhafte Auslösung von Alarmen lässt sich in vielen Fällen auf eine zu empfindliche Kalibrierung, falsche Daten oder eine Fehlzuordnung von Warnungen zu sicheren Ereignissen zurückführen. Die Konsequenz von Falschalarmen kann eine höhere Arbeitsbelastung, Ablenkung oder eine Verringerung der Reaktionsbereitschaft der Nutzer:innen sein (Breznitz 1984; Wickens et al. 2009). Letztere kann beispielsweise durch einen Gewöhnungseffekt bedingt sein, wenn Alarme wiederholt ausgelöst werden, ohne dass für den Empfänger eine Konsequenz resultiert.
Priorisierung: Die Priorisierung von Alarmierungen kann das Management von großen Mengen an ausgelösten Alarmen erleichtern, insbesondere bei begrenzt verfügbaren mentalen Ressourcen (Liu 2022). So können zeitkritische Warnungen schneller bearbeitet werden, während nicht zeitkritische Warnungen an bestimmten Zeiten abgearbeitet werden können. Dabei kann die Priorisierung Faktoren wie den Schweregrad der Verluste berücksichtigen, die eintreten können, falls die Warnung nicht beachtet wird (Laszka 2017).
In der Gesamtschau lässt sich festhalten, dass Alarmierungen als dynamisches Instrument zur Optimierung der Mensch-KI-Interaktion zu verstehen sind. Sie fördern die Zuverlässigkeit und Sicherheit eines KI-Systems, indem sie die Aufmerksamkeit des Menschen in kritischen Situationen auf die relevanten Ereignisse lenken und ein gezieltes Eingreifen ermöglichen, falls automatisierte Prozesse an ihre Grenzen stoßen. Die Gestaltung der Alarmierungen und ein Alarmierungskonzept ist integral für die Umsetzung und Implementierung der Software des KI-Cockpits.
Konfiguration der Alarme in den KI-Cockpit Varianten
Die konkrete Ausgestaltung von Alarmen in den KI-Cockpit Varianten hängt vom Kontext ihrer Verwendung ab. So ist beispielsweise die Alarmhäufigkeit maßgeblich von der Konfiguration des KI-Systems und des KI-Cockpits abhängig und die Salienzanforderungen stellen sich unterschiedlich dar, wenn der/die KIC-Operator:in nur alarmbedingt das KI-Cockpit öffnet, weil er/sie z.B. noch eine andere Rolle erfüllt, oder konstant das System überwacht.
Beide KI-Cockpit Varianten integrieren zu ihren typischen Nutzungsszenarien passende Alarmsysteme. Im HOL-Cockpit, wird visuell auf die Überschreitung von Grenzwerten und das Scheitern von Tests hingewiesen und es ermöglicht zudem eine Benachrichtigung außerhalb der Anwendung via E-Mail, die über beliebige Provider auf andere Kanäle wie Push-Mitteilungen weitergeleitet werden kann. Im HIL-Cockpit wird vor allem auf neue Ereignisse, die von den KIC-Operator:innen abgenommen werden müssen, hingewiesen und eine Priorisierung ermöglicht.
Dennoch müssen die Alarmierungssysteme, aufgrund der Kontextabhängigkeit, bei der Inbetriebnahme eines KI-Cockpits an die spezifischen Bedürfnisse des Einsatzkontextes angepasst werden. Hierbei sind die oben genannten Aspekte zu berücksichtigen.
Fieldlab Vignetten: Alarme
Die Fallvignetten dienen der Illustration der praktischen Umsetzung und der Herausforderungen der in den Kapiteln formulierten idealisierten Vorgehensweisen. Sie stellen kein vollständiges Bild der Arbeit in den Fieldlabs da, sondern sind bewusst zugespitzt, um unterschiedliche Aspekte darzustellen.
Im KI-Cockpit von Fieldlab A sind Alarme ein wichtiger Faktor. Dies geht auf den hohen Automatisierungsgrad, sowohl des KI-Systems, als auch der Form der menschlichen Aufsicht zurück. Konkret bedarf im Standardbetrieb weder das KI-System menschliche Eingriffe, noch die Überwachung über KPIs und Testfälle, da hier klar definierte Zustände einen Fehler definieren. Die KIC-Operator:innen müssen daher nicht aktiv im KI-Cockpit online sein, solange dieses Sie über Alarme informiert, wenn ein Fehler oder Problem aufgetreten ist. Es wurde daher davon ausgegangen, dass die KIC-Operator:innen diese Rolle zusätzlich zu anderen Rollen und Aufgaben im Tagesgeschäft inne haben. Die Kanäle für das Ausspielen der Alarme wurden hieran orientiert, weshalb KIC-Operator:innen sich über E-Mail und SMS informieren lassen können. Gerade bei diesem Rollenzuschnitt ist das Problem von Falschalarmen relevant. Treten diese zu häufig auf schränken sie nicht nur die Möglichkeit anderen Tätigkeiten nachzugehen ein, sondern lösen möglicherweise auch eine Verringerung der Reaktionsbereitschaft aus. Basierend auf Expertenwissen und historischen Daten wurden die Schwellenwerte daher zunächst etwas weiter als mittelfristig anvisiert definiert. Da es zum Start eines Systembetriebs häufig wenige Fälle gibt und Abweichungen hierdurch schnell ein hohes prozentuales Gewicht erhalten.
In Fieldlab B sind die Operator:innen, im Sinne eines Human in the Loops, Teil der Abläufe des KI-Systems. Die Aufgabe dieser Personen besteht darin, neue von der KI erkannte Ereignisse kontinuierlich zu überprüfen und Handlungen einzuleiten. Es ist daher davon auszugehen, dass die Personen ihre Aufmerksamkeit auf dem System haben. Alarme sind hier insofern notwendig, als dass die Aufmerksamkeit der KIC-Operator:innen dennoch auf neue Ereignisse gelenkt werden muss. Das Eintreffen neuer Ereignisse wird hier nur visuell vermittelt, indem die neuen Ereignisse so die Statusmarkierung „Neu“ erhalten und oben in der Liste auftauchen. Dies ist bei der ohnehin auf das System gerichteten Aufmerksamkeit der KIC-Operator:innen, ausreichend, könnte zukünftig aber auch um auditive Alarme ergänzt werden. Bereits in der Ereignisübersicht ist auch der Entscheidungstyp angegeben (z.B. Unfall) wodurch eine diesbezügliche Priorisierung der Ereignisse durch die KIC-Operator:innen möglich wird.
Bezüglich der Alarme wird hier das gleiche Vorgehen wie in Fieldlab A umgesetzt.
Breznitz, S. (1984). Cry Wolf: The psychology of false alarms. Taylor & Francis.
Dehais, F., Causse, M., Vachon, F., Régis, N., Menant, E., & Tremblay, S. (2013). Failure to detect critical auditory alerts in the Cockpit. Human Factors: The Journal of the Human Factors and Ergonomics Society, 56(4), 631–644. https://doi.org/10.1177/0018720813510735
Krausman, A. S., Elliott, L. R., & Pettitt, R. A. (2005). Effects of visual, auditory, and tactile alerts on platoon leader performance and decision making. AR Laboratory (Ed.).
Laszka, A., Vorobeychik, Y., Fabbri, D., Yan, C., & Malin, B. (2017). A game-theoretic approach for alert prioritization. Workshops at the Thirty-First AAAI Conference on Artificial Intelligence.
Liu, Y., Shu, X., Sun, Y., Jang, J., & Mittal, P. (2022, December). RAPID: real-time alert investigation with context-aware prioritization for efficient threat discovery. Proceedings of the 38th Annual Computer Security Applications Conference, 827-840. https://doi.org/10.1145/3564625.3567997
Phansalkar, S., Edworthy, J., Hellier, E., Seger, D. L., Schedlbauer, A., Avery, A. J., & Bates, D. W. (2010). A review of human factors principles for the design and implementation of medication safety alerts in clinical information systems. Journal of the American Medical Informatics Association, 17(5), 493-501. https://doi.org/10.1136/jamia.2010.005264
Pritchett, A. R. (2001). Reviewing the role of cockpit alerting systems: Implications for alerting system design and pilot training. SAE Technical Paper Series. https://doi.org/10.4271/2001-01-3026
Stanton, N. A. (1994). Human factors in alarm design. Taylor & Francis.
Wickens, C. D., Rice, S., Keller, D., Hutchins, S., Hughes, J., & Clayton, K. (2009). False alerts in air traffic control conflict alerting system: Is there a “cry wolf” effect?. Human factors, 51(4), 446-462. https://doi.org/10.1177/00187208093447
Wogalter, M. S., Conzola, V. C., & Smith-Jackson, T. L. (2002). Research-based guidelines for warning design and evaluation. Applied ergonomics, 33(3), 219-230. https://doi.org/10.1016/S0003-6870(02)00009-1
Zuletzt aktualisiert