KIC-Leitbild
Mit welchem Technologie Verständnis arbeiten wir im Projekt?
Das Leitbild des KI-Cockpit Projekts ist der verantwortungsvolle Einsatz von KI in der Arbeitswelt. Nach diesen Prinzipien gestaltet sich auch die Forschungs- und Entwicklungsarbeit innerhalb des Projekts.
Partizipative Technikentwicklung und "Design4Command"
Für einen ganzheitlichen Ansatz legen wir sowohl Wert auf die Interdisziplinarität im Projektkonsortium als auch auf die partizipative Ausrichtung unserer Arbeit in Forschung und Technikentwicklung. Erst hierdurch wird eine menschenzentrierte Entwicklung, welche die Kontrollierbarkeit der Technik durch Menschen als zentrales Ziel verfolgt, ermöglicht.
Technik ist immer eine technische Strukturierung sozialer Werte und Normen, daher sollten auch die Nutzer:innen angemessen an der Entwicklung beteiligt werden. Partizipative Gestaltung ermöglicht den Zusammenfluss unterschiedlicher Fachkenntnisse und Erfahrungen, was zu passenderen, akzeptierteren, und dadurch auch effizienteren Lösungen führt. Im Rahmen des Projektes war die Umsetzung von partizipativer Technikentwicklung essentiell für die Erhebung der Risiken und die Adressierung der Anforderungen. Gerade in eine generalisierte Lösung, wie wir sie mit dem KI-Cockpit entwickelt haben, müssen die Arbeitsroutinen, Bedarfe und Perspektiven der Nutzer:innen und Beteiligten einfließen. Daher haben wir uns intensiv mit den Mitarbeiter:innen im Pflegebereich, Recruiter:innen und Bewerber:innen im Personalbereich sowie Stakeholdern aus dem Bereich Verkehrsmanagement befasst. Auf diese Weise wird dazu beigetragen, dass ein System bedarfsgerecht und passgenau entwickelt wird:
Die Bedarfe und Fähigkeiten der Menschen, die später mit dem System arbeiten sollen, werden von Anfang an berücksichtigt, beispielsweise für die Gestaltung von Dashboards und Workflows in Pflege, Recruiting und Verkehrsmanagement.
Durch regelmäßiges Feedback aus Praxistests und Studien mit Testnutzer:innen wird das System schrittweise verbessert.
Die Erkenntnisse aus der Forschung zu Aufmerksamkeit und der Verständlichkeit von Bedienoberflächen fließen kontinuierlich in das Technikdesign.
Das Zusammenwirken der vielfältigen Forschungsdisziplinen innerhalb des Projektes folgt dem Paradigma des "Design4Command".
Human in Command: Der Mensch im Mittelpunkt
Die grundlegende Idee des „Human in Command“ Ansatzes ist, dass Menschen KI-Systeme nicht nur beaufsichtigen, sondern aktiv die Kontrolle über sie behalten und letztlich die Entscheidung treffen. Der Ausgangspunkt für diesen Ansatz ist die Erkenntnis, dass KI-Systeme zwar große Potenziale für mehr Effizienz und Produktivität bieten, aber gleichzeitig Risiken bergen (z.B. Diskriminierung, Fehlentscheidung, usw.). Das Projekt entwickelt konkrete technische Lösungen, mit denen sich diese Aufsicht in der Praxis umsetzen lässt.
So soll dazu beigetragen werden, die Vorteile der KI-Technologie in Unternehmen und Organisationen nutzbar zu machen, ohne dass Beschäftigte dabei ihre Kontrolle abgeben, oder gar von Maschinen bestimmt werden. In der europäischen KI-Verordnung findet sich diese normative Forderung in der Regelung zur „menschlichen Aufsicht“ (Art. 14 EU KI-VO) wieder. Danach müssen KI-Systeme wirksam von einer natürlichen Person beaufsichtigt werden können. Dazu gehört auch, dass Menschen aktiv in den Betrieb des KI-Systems eingreifen können, z. B. durch das Drücken einer Stopptaste. Das Konzept „Human in Command“ geht jedoch hierüber hinaus, indem es dem Menschen nicht nur bei der Vermeidung von Risiken und Schäden eine aktive Rolle und Verantwortung zuspricht, sondern auch die Potenziale der menschlichen Steuerung betont: einen verbesserten Nutzen und erhöhte Akzeptanz.
Die menschenzentrierte Perspektive greift bereits in der Designphase von Technik. In die Entwicklung der KI-Cockpit Varianten fließen dementsprechend, über einen partizipativen Entwicklungsansatz (Design4Command), die Bedürfnisse menschlicher Übersicht und Aufsicht ein. Gleichzeitig hängen die konkreten Ausprägungen dieser Bedürfnisse immer auch von dem dahinterliegenden KI-System ab, auf welches sich die menschliche Aufsicht inhaltlich bezieht. Daher wurden auch diesbezüglich partizipative Verfahren genutzt, um die Anforderungen zu erheben und anschließend über die drei Fieldlabs zu generalisieren. Auf diese Weise werden im KI-Cockpit Projekt Mensch und Technologie nicht getrennt voneinander betrachtet, sondern als hybride Interaktion eines soziotechnischen Systems.
Autonomiestufen
Ein wichtiger Schritt, um den Human in Command-Ansatz zu unterstützen, ist es, Möglichkeiten bereitzustellen, um steuernd in das KI-System einzugreifen. Dies wird durch Autonomiestufen ermöglicht.
Dieses in der Luftfahrt oder auch im autonomen Fahren etablierte Konzept wird im KI-Cockpit auf weitere Anwendungsfelder ausgeweitet: In unkritischen Fällen soll das System dem Menschen die Arbeit abnehmen, in kritischen Fällen allerdings vorab eine menschliche Bestätigung einholen. Damit bleibt in besonders kritischen Fällen die Letztentscheidung beim Menschen. Der Mensch kann auch entscheiden, dass er oder sie die volle Kontrolle ohne Assistenz durch das KI-System übernehmen möchte. Das ist meist nicht der gewünschte Zustand, da viele Fälle automatisiert bearbeitet werden sollen. Angestrebt wird daher eine klare Definition, welche Aufgabe von einem Menschen und welche von dem KI-System übernommen werden soll. Das KI-Cockpit unterstützt diesen Vorgang durch das technische Design. So werden beispielsweise Teilbereiche festgelegt, in denen das System automatisch operieren darf und welche in denen der Mensch die Lösungsvorschläge des Systems autorisieren muss. Die Festlegung an welchen Stellen und in welcher Ausprägung und Einstellung (hohe vs. niedrige Autonomie) Autonomiestufen bei einem gegebenen System sinnvoll sind, hängen vom System, aber auch von der Anwendungsdomäne ab. Auf die im Projekt entwickelten Methoden und umgesetzten Praktiken wird später noch eingegangen [Kapitel: Autonomiestufen].
Autonomiestufen können dabei verschiedene Stufen haben: Von einer Stufe, die einer Stopp-Taste gleichkommt (z. B. Parkraum-Leitung wieder manuell oder regelbasiert statt KI-gestützt; Jobmatches müssen einzeln durch den/die KIC-Operator:in freigegeben werden) bis hin zu einer vollständigen Automatisierung bei der der Mensch lediglich die Aufsicht übernimmt. Die Autonomiestufen können im KI-Cockpit festgelegt und geändert werden, um die Aufgabenverteilung dynamisch anzupassen, wenn sich die Rahmenbedingungen ändern.
Zuletzt aktualisiert