Autonomiestufen

Was sind Autonomiestufen und wie sollten sie definiert werden?

Ein zentraler Ausgangspunkt für die Gestaltung des KI-Cockpits ist die Idee, analog zum Autopiloten im Flugzeug und den Autonomiestufen des autonomen Fahrens auch bei der Steuerung von KI-Systemen auf das bewährte Konzept der Autonomiestufen zurückzugreifen. [Kapitel: KIC-Leitbild] Im Folgenden werden die Vorteile der Steuerung von KI-Systemen über Autonomiestufen kurz erläutert, um anschließend eine Methodik zu Definition und Evaluation von Autonomiestufen vorzustellen, welche die Nutzer:innen des KI-Cockpits als Grundlage für die Konfiguration verwenden können.

Autonomiestufen Modell

Das folgende Modell zur Definition von Autonomiestufen bearbeitet besonders zwei Fragen:

1. Welche Prozesse sollen automatisiert werden? Diese Frage muss am Anfang der Überlegungen stehen, statt von einer bestehenden Verteilung der Funktionen auszugehen;

2. Wann und wie verändern sich die Autonomiestufen über Zeit? Die einmal getroffene Zuweisung der Verteilung von Funktionen ist nicht statisch, sondern muss dynamisch gedacht werden: So, dass sich die Verteilung über Autonomiestufen im Laufe der Zeit und als Reaktion auf sich entwickelnde kontextuelle Anforderungen, ändern kann. Diese dynamische Umverteilung trägt dazu bei, die Arbeitslast auszubalancieren, das Situationsbewusstsein zu verbessern und die Widerstandsfähigkeit des Systems zu erhöhen.

Im Ergebnis sollen Autonomiestufen die Interaktion von Mensch und KI-System so gestalten, dass ein hybrides Team entsteht, bei dem sich die Fähigkeiten von KI und Mensch ergänzen, die Kontrolle aber weiterhin beim Menschen liegt [Kapitel: Human in Command].

Autonomiestufen Methodik

Für die Einführung eines KI-Cockpits ist die Auseinandersetzung mit Autonomiestufen bedeutsam, da sie die Interaktion zwischen Menschen und KI mitdefinieren. Die Rahmenbedingungen dieser Interaktion bestimmen etwa darüber, welche Cockpit-Variante naheliegend ist [Kapitel: KIC-Produkte], und sind direkt prägend für die Verteilung der Aufgaben zwischen KI und Nutzer:innen. Basierend auf den obigen Annahmen wird das folgende Vorgehen bei der Definition von Autonomiestufen empfohlen:

Phase 1: Aufteilung und Zuweisung von Aufgaben

Man beginnt mit der Zerlegung der Funktionalität des KI-Systems in Schlüsselaufgaben. Jede Aufgabe wird anhand der folgenden Taxonomie von Parasuraman et al. (2000), entsprechend der vier Phasen der menschlichen Informationsverarbeitung, kategorisiert:

• Informationsbeschaffung (Information Acquisition)

• Informationsanalyse (Information Analysis)

• Entscheidung und Handlungsauswahl (Decision and Action Selection)

• Ausführung der Handlung (Action Execution)

Außerdem wird für jede Aufgabe der aktuelle Automatisierungsgrad (Autonomiestufe) ermittelt, der von der vollständig manuellen bis zur vollständig autonomen Ausführung reicht (Parasuraman et al. 2000).

Phase 2: Risikoanalyse

Für jede Aufgabe wird bewertet:

• Systemzuverlässigkeit: Konsistenz der Leistung, Fehlerraten und Vertrauensniveau.

• Bedarf an menschlicher Aufsicht: Überwachungsanforderungen, Risiken der Automatisierungsverzerrung und Arbeitsbelastung des / der KIC-Opterator:in (Parasuraman / Riley 1997).

• Ethische und regulatorische Implikationen: Transparenz, Befangenheit und Einhaltung gesetzlicher Regeln wie der EU KI-Verordnung.

Phase 3: Aufgabenzuweisung und dynamische Zuweisung

Man entscheidet, ob jede Aufgabe:

• Vollständig automatisiert

• Manuell durch Menschen gesteuert

• Geteilt (dynamische Zuweisung je nach Kontext)

werden soll.

Hierbei sollten die sozio-technischen Implikationen für die Anwendungsdomäne (z.B. durch partizipative Methoden) mitgedacht werden: Wie ändern sich hierdurch die menschlichen Rollen, Arbeitsabläufe und Organisationsstrukturen und wo ist Automatisierung von den Menschen erwünscht und akzeptiert? Darüber hinaus müssen auch Aspekte der technischen Machbarkeit und die in Phase 2 identifizierten technischen und ethischen Risiken in der Entscheidung Berücksichtigung finden.

Es werden dynamische Übergabeprotokolle und Bedingungen für die adaptive Automatisierung definiert, die sich am Prinzip der sinnvollen menschlichen Kontrolle (meaningful human control) orientieren (Azmandian et al. 2023). Dort wo eine Steuerung durch Autonomiestufen ermöglicht wird und die Tätigkeit folglich zwischen Menschen und KI umverteilt werden kann, muss klar sein, unter welchen Bedingungen ein Wechsel eingeleitet werden soll und welche Folgen und dies für das System und die menschliche Aufsichtsfähigkeit hat.

Phase 4: Bewertung der hybriden Intelligenz

Die folgenden Aspekte sollten evaluiert werden:

• Kollaboration: Unterstützt das System die Zusammenarbeit zwischen Mensch und KI?

• Anpassungsfähigkeit: Passt sich das System an die Eingaben der Benutzer:in oder den Kontext an (Akata et al. 2020)?

• Erklärbarkeit: Sind KI-Entscheidungen transparent und verständlich (Akata et al. 2020)?

• Entstehende menschliche Aufgaben: Welche neuen Rollen ergeben sich für den Menschen in diesem System (Knowledge at Wharton 2024)?

• Geteilte Kontrolle: Können Aufgaben gemeinsam von Mensch und KI ausgeführt werden (Tang et al. 2023)?

Phase 5: Zusammenfassung und Gesamtreflexion

Die Analyse schließt mit einer Gesamtbetrachtung:

• Stärken und Schwächen: Eine Reflexion über die hybride Leistung (Dellermann et al. 2019).

• Design-Empfehlungen: Verbesserungsvorschläge basierend auf den Prinzipien der hybriden Intelligenz.

• Soziotechnische Implikationen: Änderungen an menschlichen Rollen, Arbeitsabläufen und Organisationsstrukturen (Knowledge at Wharton 2024).

Basierend auf den Ergebnissen können Autonomiestufen festgelegt oder angepasst werden.

Fieldlab Vignetten: Autonomiestufen

Die Fallvignetten dienen der Illustration der praktischen Umsetzung und der Herausforderungen der in den Kapiteln formulierten idealisierten Vorgehensweisen. Sie stellen kein vollständiges Bild der Arbeit in den Fieldlabs da, sondern sind bewusst zugespitzt, um unterschiedliche Aspekte darzustellen.

Phase 1

Aufteilung und Zuweisung von Aufgaben

Fieldlab A: Human Ressources	Fieldlab B: Verkehr	Fieldlab C: Pflege
Bei der Zerlegung der Aufgaben in Fieldlab A wurde deutlich, dass relevante Aufgaben entlang aller vier Phasen der Informationsverarbeitung verortet sind. Ein Großteil dieser Aufgaben wird durch klassische Algorithmen erledigt, der KI kommen zwei Aufgaben in der Informationsbeschaffung und -analyse zu. Diese KI-basierten Funktionen sind der Kernfunktionalität (Matching-Algorithmus) vorgeschaltet und laufen parallel zu klassischen (nicht KI-basierten) Formen der Informationsbeschaffung und -analyse, die als Rückfall-Option verwendet werden können.	In Fieldlab B basiert die Kernfunktionalität, die Objekt- und Ereigniserkennung, auf KI (Informationsanalyse & Entscheidungen). Die Ausführung der Maßnahmen (Maßnahmenauswahl & Ausführung der Maßnahme) findet hingegen manuell, oder über klassische deterministische Algorithmen statt (z.B. das Absenden einer Verkehrswarnung im Radio) statt.	In Fieldlab C sind die Kernfunktionalitäten (Transkription & Generierung von Aufgaben aus der transkribierten Pflegedokumentation) grundsätzlich von der KI-gestützt. Im Gegensatz zu Fieldlab B gibt es hier allerdings nicht-KI-basierte Rückfalloptionen (Eingabe via Chat, statt Sprache & deterministische Generierung von Aufgaben auf Schlagwortbasis).

Phase 2

Risikoanalyse

Auf die Risikoanalyse wurde im Kapitel: Risikoanalyse bereits ausführlich eingegangen.

Phase 3

Aufgabenzuweisung und dynamische Zuweisung

Fieldlab A: Human Ressources	Fieldlab B: Verkehr	Fieldlab C: Pflege
Basierend auf den identifizierten Schlüsselaufgaben und Risiken wurde ein hoher bzw. vollständiger Autonomiegrad der Software angestrebt. Das System wurde für einen möglichst autonomen Betrieb entwickelt und wird als solches an Kund:innen verkauft. Auch die Implementierung der Risikominderung durch die Überwachung zentraler KPIs im HOL-Cockpit orientiert sich an diesem Ideal. Eine dynamische Aufgabenzuweisung zwischen KI und KIC-Operator:in wird nicht im Sinne einer ständigen Adaption, wohl aber im Sinne einer Eingriffsmöglichkeit bei Auffälligkeiten in der Überwachung realisiert. Konkret wurden unter anderem folgende Autonomiestufen realisiert, wobei erstere sich auf klassische deterministische Aspekte des Systems beziehen und zweitere auf die KI-Anteile: Scoring auf Basis strukturierter Daten NICHT berechnen (AUS) Scoring auf Basis strukturierter Daten berechnen (AN) Scoring auf Basis unstrukturierter Daten NICHT berechnen (AUS) Scoring auf Basis unstrukturierter Daten berechnen (AN) Die Übergabe findet hierbei entweder durch ein manuelles Ändern einzelner Autonomiestufen, oder durch die „STOPP-Taste“ statt, welche alle KI-Funktionalitäten ausschaltet, aber das System mit dem deterministischen Algorithmus weiterlaufen lässt.	Basierend auf den identifizierten Schlüsselaufgaben und Risiken wurde ein hoher Autonomiegrad in manchen Systembereichen (Informationsbeschaffung, Informationsanalyse, Entscheidungen) und ein geringer Autonomiegrad in anderen Systembereichen (Maßnahmenauswahl und Ausführung der Maßnahmen) angestrebt. Ein hoher Autonomiegrad ist in der Kernfunktionalität, der automatisierten Verkehrsüberwachung und Ereigniserkennung, notwendig, um den Mehrwert und die Kernfunktionalität der Software zu realisieren. Der standardmäßig niedrige Autonomiegrad bei der Einleitung realer Konsequenzen, resultiert daraus, dass die KI-Entscheidungen komplex sind und daher in frühen Versionen mit hohen Fehlerraten zu rechnen ist. Außerdem sind die Konsequenzen von Fehlern potenziell hoch. Eine dynamische Aufgabenzuweisung zwischen KI und KIC-Operator:in ist auch hier nicht im Sinne einer ständigen Adaption angedacht. Allerdings kann mit den Autonomiestufen auf das konstant weiterentwickelte KI-System reagiert werden, indem auf eine Absenkung der Fehlerrate in eine höhere, oder bei einem Anwachsen der Fehlerrate in eine niedrigere Autonomiestufe gewechselt wird. Die Implementierung des HIL-Cockpits orientiert sich an dieser Steuerungsform. Konkret wurden für jede einleitbare Aktion (z.B. Rettungsdienst benachrichtigen, Radiomeldung veranlassen) die Stufen: Manuell Genehmigungsvorbehalt Automatisch realisiert. Diese können von KIC-Operator:innen angepasst werden, oder über die STOPP-Taste auf die niedrigste Stufe gestellt werden.	Basierend auf den identifizierten Schlüsselaufgaben und Risiken wurde ein mittlerer Autonomiegrad angestrebt. Beide Kernfunktionalitäten bieten nur dann einen Mehrwert gegenüber klassischer Pflegedokumentation / -koordination, wenn sie automatisiert ablaufen. Gleichzeitig sind die Risiken für die Gesundheit der Gepflegten zu hoch, um auch nur relativ geringe Fehlerraten erprobter KI-Funktionalitäten zu akzeptieren. Die Standardstufe für die Transkription, sowie die Generierung von Aufgaben sieht daher die Abnahme der Ergebnisse durch das Pflegepersonal vor. Konkret sind beispielhaft folgende Autonomiestufen realisiert worden: Transkriptionsfunktion AUS Transkriptionsfunktion AN (mit Abnahme der Ergebnisse) (möglich, aber aktuell nicht gewünscht & sinnvoll) Transkriptionsfunktion AN (ohne Abnahme der Ergebnisse) Über das implementierte HOL-Cockpit können diese Autonomiestufen von KIC-Operator:innen angepasst werden, etwa wenn aufgrund eines Automation Bias zu viele Transkriptionsfehler unentdeckt bleiben.

Phase 4

Bewertung der hybriden Intelligenz

Fieldlab A: Human Ressources	Fieldlab B: Verkehr	Fieldlab C: Pflege
Im Projektverlauf wurde zunehmend klarer, welch umfassende Rolle den KIC-Operator:innen zukommt. Es erscheint extrem anspruchsvoll, über die geforderten Kompetenzen, das Basiswissen, die Reflexionsfähigkeit und den Weitblick zu verfügen – sowie den Mut, für den Arbeitgeber potenziell kostspielige Entscheidungen zu treffen (z.B. Stopp der KI) bzw. ein System weiterlaufen zu lassen und Haftungsrisiken einzugehen. Daher lag der Fokus hier darauf die KIC-Operator:innen so weit wie möglich zu unterstützen und zu entlasten: Durch vorher festgelegte Risikobetrachtung und Fairness-Kennzahlen sowie Grenzwerte (festgelegt durch ein dafür berufenes Gremium) sowie durch ein leistungsfähiges und übersichtliches User Interface.	Die Evaluation der hybriden Intelligenz war in der Umsetzung des HIL-Cockpits ebenfalls hoch relevant. Ein besonders übersichtliches, über Shortcuts bedienbares und um visuelle Annotationen erweiterbares User Interface soll die KIC-Operator:innen ideal in ihrer Aufgabe unterstützen. Hier werden situativ alle entscheidungsrelevanten Daten zusammengetragen, um die KIC-Operator:innen in ihrer angedachten Rolle bei der Abnahme und Einleitung von Maßnahmen zu unterstützen. Es fand zudem eine Reflexion über die Auswirkung derartiger Software auf die bisherigen Strukturen und Rollen in der Verkehrsraumüberwachung statt. Hierbei wurde deutlich, dass eine (Teil-) Automatisierung, die relevante Verkehrsereignisse schneller erkennt, nicht nur im Sinne einer schnelleren Versorgung z.B. von Verletzten bei einem Verkehrsunfall ethisch wünschenswert ist, sondern auch, dass das Tätigkeitsfeld der Verkehrsraumüberwachung durch eine Vorselektion relevanter Ereignisse tendenziell aufgewertet wird.	Unter ethischen Gesichtspunkten wurden in Fieldlab C die Vorteile des Effizienzgewinns, durch den Einsatz von KI, mit den in der KI inhärenten Risiken abgewogen. Die Implementierung der beschriebenen Autonomiestufen und damit das Belassen der Kontrolle bei den Nutzer:innen wurde dabei als ethisch sinnvolle Umsetzungsmöglichkeit bewertet.

Phase 5

Zusammenfassung und Reflexion

Im Projekt wurde in allen Fieldlabs explorativ und iterativ gearbeitet, die Ergebnisse der kontinuierlichen Reflexion dokumentieren sich in den entwickelten Produkten, diesem Vorgehensmodell und den veröffentlichten Whitepapern.

---

Akata, Z., Balliet, D., De Rijke, M., Dignum, F., Dignum, V., Eiben, G., ... & Welling, M. (2020). A research agenda for hybrid intelligence: augmenting human intellect with collaborative, adaptive, responsible, and explainable artificial intelligence. Computer, 53(8), 18-28. https://doi.org/10.1109/MC.2020.2996587

Azmandian, M., Savransky D., Yu C., & Kunze, L. (2023). Variable autonomy and meaningful human control in robot design. Frontiers in Robotics and AI, 10:1129352.

Chen, H., Chen, Y., Wang, W., Lin, D., & Huang, J. (2022, November). A Dynamic Safe Arbitrator for Human-Machine Shared Control. 2022 China Automation Congress (CAC), 3395-3400. IEEE. https://doi.org/10.1109/CAC57257.2022.10055010

Dellermann, D., Ebel, P., Söllner, M., & Leimeister, J. M. (2019). Hybrid intelligence. Business & Information Systems Engineering, 61(5), 637-643. https://doi.org/10.1007/s12599-019-00595-2

Knowledge at Wharton (2025). Why hybrid intelligence is the future of human-ai collaboration. https://knowledge.wharton.upenn.edu/article/why-hybrid-intelligence-isthe-future-of-human-ai-collaboration/. Abgerufen Mai 2025.

Parasuraman, R., & Riley, V. (1997). Humans and automation: Use, misuse, disuse, abuse. Human factors, 39(2), 230-253. https://doi.org/10.1518/001872097778543886

Parasuraman, R., Sheridan, T. B., & Wickens, C. D. (2000). A model for types and levels of human interaction with automation. IEEE Transactions on systems, man, and cybernetics-Part A: Systems and Humans, 30(3), 286-297. https://doi.org/10.1109/3468.844354