KIC-Forschungsansatz

Welchen Forschungsansatz verfolgt das Projekt?

Die Entwicklung des KI-Cockpit folgt dem „Human in Command“ Konzept [Kapitel: KIC-Leitbild]. In der KI-Verordnung findet sich diese normative Forderung in sprachlich abgemilderter Form als „menschliche Aufsicht“ wieder. Unter einer wirksamen menschlichen Aufsicht versteht die KI-Verordnung unter anderem die Möglichkeit, aktiv in den Betrieb einzugreifen, z.B. durch das Drücken einer Stopptaste. Das Konzept „Human in Command“ geht jedoch hierüber hinaus, indem es dem Menschen nicht nur bei der Vermeidung von Risiken und Schäden eine aktive Rolle und Verantwortung zuspricht, sondern auch die Potenziale der menschlichen Steuerung betont: einen verbesserten Nutzen und erhöhte Akzeptanz. Das Design des KI-Cockpits kann dabei nicht gänzlich losgelöst von der Anwendungsdomäne und dem eigentlichen KI-System betrachtet werden. Die Anwendungsdomäne und die damit verbundenen Anforderungen an menschliche Übersicht und Aufsicht wurden daher durch einen partizipativen Entwicklungsansatz einbezogen. Auf diese Weise werden im KI-Cockpit-Projekt Mensch und Technik nicht getrennt voneinander, sondern als sogenanntes soziotechnisches System miteinander verbunden betrachtet.

Hierbei war von Beginn an das Ziel, aus der Implementierung in unterschiedlichen Anwendungsdomänen zu lernen, welche Aspekte eines KI-Cockpits sich generalisieren lassen [KIC-Produkte] und in welchen Aspekten ein KI-Cockpit an den spezifischen Kontext der Verwendung angepasst werden muss [KIC-Konfiguration].

Die Ausrichtung der Forschung

Das Zusammenwirken von Mensch und Technik wird aus vier verschiedenen Forschungsrichtungen beleuchtet. Die unterschiedlichen Perspektiven fließen in das Design des Gesamtsystems – bestehend aus Anwendungsdomäne, KI-System und KI-Cockpit – ein und sind notwendig, um die vielschichtige Interaktion zwischen System und Mensch hinreichend zu berücksichtigen. Hierbei müssen einerseits das KI-System und KI-Cockpit sowie die damit verbundenen technischen Fragestellungen berücksichtigt werden. Andererseits die Menschen, mitsamt ihrer Bedarfe, Bedürfnisse, Motive, psychologischer und kognitiver Voraussetzungen. Die Forschungsschwerpunkte ergänzen sich:

• Methoden der qualitativen Sozialforschung (teilnehmende Beobachtung, partizipative Designworkshops, Fokusgruppen) ermöglichen eine mensch- und nutzer:innenzentrierte Systementwicklung

• Psychologische Studien zur Auswirkung einzelner KI-Cockpits bzw. Transparenz-Interface-Merkmale auf die Akzeptanz, die Zufriedenheit und das Vertrauen in ein KI-System beleuchten subjektive psychologische Prozesse und Einschätzungen der Nutzenden

• Neurowissenschaftliche Studien zur kognitiven Verarbeitung von KI-Cockpit Inhalten bzw. Entwicklung von neuroadaptiven KI-Systemen beleuchten objektiv messbare mentale Prozesse in der Mensch-KI-Interaktion, z.B. zur Aufmerksamkeitsverteilung und dem Situationsbewusstsein

• Design-Engineering (Designmethoden, Informationsdesign, Systems Engineering) ermöglichen eine Umsetzung, die sowohl menschliche als auch technische Anforderungen berücksichtigt.

Eine Zusammenfassung über das Zusammenwirken der einzelnen Forschungsdisziplinen findet sich in der unteren Abbildung.

Das Bild zeigt das Zusammenwirken der einzelnen Forschungsdisziplinen

Publikationen aus dem Projekt

• Aschenbrenner, D. et al. (2024). KI Cockpit – Menschliche Letztentscheidung nach EU AI Act implementiert. In I. Knappertsbusch & K. Gondlach (Hrsg.) Arbeitswelt und KI 2030 - Herausforderungen und Strategien für die Arbeit von morgen (2. Aufl.). Springer-Verlag GmbH. (accepted, upcoming).

• Aschenbrenner, D., Bottel, M., Colloseus, C., Guagnin, D., Hubel, N., Jantzen, L., Kempen, R., Peters, R., Saleh, F. & Sell, A. (2024). Ein KI-Cockpit für Beschäftigte: Künstliche Intelligenz am Arbeitsplatz verstehen, souverän einsetzen und kontrollieren. https://www.iit-berlin.de/wp-content/uploads/2024/11/2401108_KIC_Paper_final.pdf

• Aschenbrenner, D., & Colloseus, C. (2023). Human in Command in Manufacturing. IFIP International Conference on Advances in Production Management Systems, 559-572. Cham: Springer Nature Switzerland.

• Aschenbrenner, D., Jantzen, L., Colloseus, C., Sell, A. & Kempen, R. (2024). Research Interpretation of Article 14 of the EU AI Act: Human in Command in Manufacturing. In Thürer, M., Riedel, R., von Cieminski, G. & Romero, D. (eds) Advances in Production Management Systems. Production Management Systems for Volatile, Uncertain, Complex, and Ambiguous Environments. APMS 2024. IFIP Advances in Information and Communication Technology, 730. Cham: Springer. https://doi.org/10.1007/978-3-031-71629-4_16

• Aschenbrenner, D., Guagnin, D., Hanel, J., Hübner, A., Tagalidou, N., Yilmaz, N. & Zarbock, M. (2025). Schneller helfen, klüger lenken: Das KI-Cockpit für smarte Städte, https://www.iit-berlin.de/wp-content/uploads/2025/05/iit_KIC_Paper_Kommune.pdf

• Burchardt, A. & Aschenbrenner, D. (2023). Practical Guide AI= All Together and Interdisciplinary: Responsible Innovation for the Integration of Artificial Intelligence Applications into the World of Work. Work and AI 2030: Challenges and Strategies for Tomorrow's Work, 11-19. Wiesbaden: Springer Fachmedien Wiesbaden.

• Burchardt, A. & Aschenbrenner, D. (2025). Praxisleitfaden KI = Kollaborativ und Interdisziplinär. In I. Knappertsbusch & K. Gondlach (Hrsg.) Arbeitswelt und KI 2030 - Herausforderungen und Strategien für die Arbeit von morgen (2. Aufl.). Springer-Verlag GmbH. (aktualisierte Fassung). (accepted, upcoming)

• Colloseus, C. (2024) Artificial Tricksters Narrating AI in Relation to Age and Gender. Gender Forum. Vol. 22 No. 2 (2023): Gender, Age, and the New Media 15-37

• Dassel, K., Colloseus, C., Sell, A., Hanel, J., Günther, C., Aschenbrenner, D., Klein, J. & Guagnin, D. (2025). KI in der Pflege – Mensch im Mittelpunkt: Partizipative Entwicklung eines digitalen Assistenzsystems zur Entlastung in der stationären Altenpflege, https://www.iit-berlin.de/wp-content/uploads/2025/07/KIC_Paper_Pflege.pdf

• Hanel, J., Jantzen, L., Weselmann, L., Guagnin, D., Kempen, R., Peters, R., Saleh, F. & Steininger, R. (2025). KI im Jobmatching erfolgreich nutzen: Faire und transparente Bewerbungsprozesse mit menschlicher Aufsicht, https://www.iit-berlin.de/wp-content/uploads/2025/05/iit_KIC_Paper_HR.pdf

• Jantzen, L., Bottel, M., & Kempen, R. (2024). How to achieve trust, satisfaction, and acceptance in the interaction with AI through an AI Cockpit and a Transparency Interface? – A psychological framework. Procedia Computer Science, 246, 292–301. https://doi.org/10.1016/j.procs.2024.09.408

• Jantzen, L., Philipp, M., Tagalidou, N., Bui, M. & Kempen, R. (2025). Trust Me, I’m Transparent: Describing AI Systems using Global Explanations [Manuskript in Vorbereitung].

• Jantzen, L. & Kempen, R. (2025). Drivers of AI Acceptance, Satisfaction, and Trust: Insights from an Empirical Study on Job Matching Systems [Manuskript in Vorbereitung].

• Lin, Y., Lockyer, S., Evans, A., Zarbock, M. & Zhang, N. (2025). Ablation study for multicamera vehicle tracking using CityFlow dataset. Seventeenth International Conference On Machine Vision, 38. https://doi.org/10.1117/12.3055212

• Sell, A. & Colloseus, C. (2024) AI Integration Acceptance in Elderly Care Institutions: A Step Toward a Smarter Life. In Taha, M. & Khalifa, N. (Hrsg.) Empowering AI Applications in Smart Life and Environment. Springer Nature.

• Tagalidou, N., Bui, M. & Vukelić, M. (2025). Creating a gamified environment with optimal skill-challenge balance. First steps into a neuroadaptive game [Manuskript in Vorbereitung].

• Yilmaz, N., El Khoury, R., Jantzen, L., Kempen, R. & Aschenbrenner, D. (2025). Evaluating User-Centered Visualizations of Traffic Anomalies: A User Study. Proceedings of the IFIP International Conference on Advances in Production Management Systems (APMS 2025).