Transparenz-Interface

Wie können informierte Nutzungsentscheidungen ermöglicht werden?

Das Transparenz-Interface (TI) ist ein Hilfsmittel, das zu einer informierten Nutzungsentscheidung befähigt. Es bietet vor und während der Nutzung verständliche Informationen zur Funktionsweise und den Hintergründen eines KI-Systems. Da Menschen in verschiedenen Rollen und Situationen unterschiedliche Bedürfnisse an Informationen und Erklärungen haben können, sollen die Informationen in verschiedenen Stufen des Informationsumfangs zur Verfügung stehen. Die primären Adressat:innen für das Transparenz-Interface sind Endnutzer:innen von KI-Software, sowie KIC-Operator:innen, wobei letztere, je nach Rollenzuschnitt, auch Zugriff auf die Betriebsanleitung (Art. 13 EU KI-VO) haben können.

Beim Transparenz-Interface handelt es sich um eine wissenschaftlich erprobte Struktur der Informationsvermittlung für Nutzer:innen von KI-Systemen. Diese Struktur und die dazugehörigen Leitfragen stellen wir Ihnen zur Verfügung, die Texte können an geeigneter Stelle in ihr System eingebaut werden.

Zentrale Eigenschaften:

• Bereitstellung von Informationen in verschiedenen Detailstufen, um unterschiedlichen Informationsbedürfnissen gerecht zu werden

• Basiert auf einem breiten Verständnis von erklärbarer KI (XAI) (Adadi & Berrada 2018),

• Hilft KI-Ergebnisse besser zu interpretieren, indem Modelleigenschaften den Nutzer:innen transparent gemacht werden (Arrieta et al. 2020).

• Dient als globale Erklärung des Systems (im Gegensatz zu lokalen Erklärungen einzelner Ergebnisse) (Schwalbe & Finzel 2023)

• Zielt auf Transparenz und Verständlichkeit für verschiedene Nutzer:innengruppen ab

Ausgestaltung Transparenz Interface

In Anlehnung an Schwalbe und Finzel (2023) und Erfahrungen aus vorangegangenen Forschungsprojekten (z.B. KIDD) wurden relevante übergeordnete Kategorien identifiziert, welche im folgenden Schritt mit dem AI FactSheet 360 von IBM (IBM Research), den Prinzipien von Microsoft zu „Responsible AI“ (Microsoft Responsible AI), den Modelcards von Google (Mitchell et al. 2019) und der geforderten technischen Dokumentation aus der EU KI-Verordnung abgeglichen wurden.

Das TI ist in vier übergreifende Informationskategorien gegliedert, die auf einer umfassenden Literaturrecherche und dem Abgleich mit bestehenden Standards basieren:

• Ziele: Es soll die Frage beantworten „Wofür wird das KI-System eingesetzt?“. Dabei ist auch der Kontext des Einsatzes zentral.

• Daten: Es beantwortet die Frage „Womit (mit welchen Trainings- und Betriebsdaten) arbeitet das System?“.

• Art des Systems: Es beschreibt, wie ein System arbeitet, wobei der Schwerpunkt auf der verwendeten Technologie wie z.B. regelbasierte Algorithmen oder Deep Learning liegt.

• Kontrolle: Es beschreibt, welche menschlichen Kontrollmöglichkeiten das KI-System bietet. Damit soll auf die Auswirkungen, mögliche Risiken beim Einsatz und den Grad der Automatisierung eingegangen werden.

Die Informationen werden in drei Detailstufen angeboten, die es den Nutzer:innen ermöglichen, den Informationsumfang an ihre Bedürfnisse anzupassen.

• Stufe 1: Minimale Informationen

• Stufe 2: Detailliertere Erklärungen

• Stufe 3: Umfassendste Erklärungen

Informationsstufen & Kategorien des Transparenz-Interface

Beispieltext aus der Nutzer:innenstudien des TI

Art des Systems

Stufe 1: Das KI-System basiert auf fortschrittlichen Algorithmen, die speziell darauf ausgelegt sind, die richtige Übereinstimmung zwischen Bewerber:innen und Stellenanbieter:innen zu unterstützen und zu optimieren.

Stufe 2: Es werden deterministische Algorithmen und maschinelles Lernen kombiniert, um präzise und verlässliche Matches zwischen Bewerber:innen und Stellenanbieter:innen zu ermöglichen. Das System passt sich flexibel an individuelle Präferenzen an und gewährleistet eine hohe Genauigkeit bei der Übereinstimmung. Zudem berücksichtigt das System historische Daten und aktuelle Trends, um optimale Ergebnisse zu liefern und gleichzeitig zukünftige Anforderungen zu antizipieren.

Stufe 3: Das KI-System erkennt Muster in den Bewerbungen und Stellenausschreibungen und führt passende Profile zueinander. Vor allem standardisierte Eingaben, wie Werdegänge, lassen sich sehr gut zueinander paaren. KI-Bausteine werden nur dann eingesetzt, wenn sie zu individuell besseren Matches führen, z. B. indem sie Ähnlichkeiten in frei formulierten Antworten erkennen. Zusätzlich ermöglicht das System den Bewerbenden, ihr Profil mithilfe eines integrierten Large Language Models (LLM) zu optimieren, indem sie relevante Kompetenzen genauer beschreiben und bestehende Inhalte zusammenführen können. Transparenz steht im Mittelpunkt des Matching-Prozesses: Nutzer:innen erhalten detaillierte Einblicke, warum ein Match vorgeschlagen wurde, und können selbst entscheiden, ob sie dem Vorschlag zustimmen möchten. Erst nach Zustimmung beider Seiten wird das Match finalisiert. Alle Algorithmen und KI-Bausteine sind sorgfältig ausgewählt, um Fairness, Individualität und Diskriminierungsfreiheit zu maximieren und gleichzeitig effiziente und zielgerichtete Matches zu gewährleisten.

Weiterführende Links

Ein Leitfaden, der die Umsetzung eines Transparenz-Interfaces anschaulich und mit weiteren Beispielen erklärt ist im Projekt-Repository auf Github zugänglich.

Studien zum Transparenz Interface im Überblick

Studie 1 - Informationsgehalt und Akzeptanz:

• 161 Teilnehmende bewerteten verschiedene Erklärungsstufen

• Viele Teilnehmende (49%) bevorzugten Stufe 2

• Der wahrgenommene Informationsgehalt stieg mit der Erklärungsstufe

• Stufe 2 zeigte höchste Zufriedenheit, Leistung, Vertrauen und Informationsbewusstsein

• Stufe 3 bot keinen weiteren Mehrwert gegenüber Stufe 2

Studie 2 - Gewünschte Kategorien:

• 184 Teilnehmende bewerteten die Informationskategorien

• Alle vier Kategorien wurden als ähnlich relevant eingeschätzt

• Bei der Kategorie "Kontrolle" wünschten die meisten Teilnehmenden Informationen bis Stufe 3

Studie 3 - Experimentelle Untersuchung:

• Die Vignetten-Studie mit 335 Teilnehmenden untersuchte, wie Informationen über KI-Systeme je nach Nutzerrolle und Risikostufe wahrgenommen werden.

• Teilnehmende bewerteten als fiktive Endnutzer:innen oder KIC-Operator:innen verschiedene KI-Szenarien hinsichtlich Systemakzeptanz, Vertrauen, Vertrauenswürdigkeit und Kompetenzerleben.

• Das TI führte bei allen Teilnehmenden zu einem gesteigerten Kompetenzerleben bezüglich der Entscheidung zur KI-Nutzung, jedoch war der Effekt bei KIC-Operator:innen am stärksten.

• Beim Vertrauen zeigte sich ein differenzierteres Bild: In Hochrisiko-Szenarien stieg das Vertrauen bei KIC-Operator:innen um 14%, während bei Endnutzer:innen keine Vertrauenssteigerung festgestellt wurde.

Dies deutet darauf hin, dass Transparenzinterface besonders vertrauensfördernd wirkt, wenn Personen eine Kontrollfunktion ausüben.

---

Adadi, A. & Berrada, M. (2018). Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI). IEEE Access, 6, 52138–52160. https://doi.org/10.1109/ACCESS.2018.2870052

Arrieta, A. B., Díaz-Rodríguez, N., Del Ser, J., Bennetot, A., Tabik, S., Barbado, A., García, S., Gil-Lopez, S., Molina, D., Benjamins, R., Chatila, R., Francisco Herrera, Herrera, F. & Herrera, F. S. (2020). Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI. Information Fusion, 58, 82–115. https://doi.org/10.1016/j.inffus.2019.12.012

IBM Research. (o. D.). AI FactSheets 360. https://aifs360.res.ibm.com/

Mitchell, M., Wu, S., Zaldivar, A., Barnes, P., Vasserman, L., Hutchinson, B., Spitzer, E., Raji, I. D. & Gebru, T. (2019). Model Cards for Model Reporting. Proceedings of the Conference on Fairness, Accountability, and Transparency. ACM. https://doi.org/10.1145/3287560.3287596

Principles and approach: Microsoft AI / Responsible AI. (2024). https://www.microsoft.com/en-us/ai/principles-and-approach#resources

Schwalbe, G. & Finzel, B. (2023). A comprehensive taxonomy for explainable artificial intelligence: a systematic survey of surveys on methods and concepts. Data Mining and Knowledge Discovery. Vorab-Onlinepublikation. https://doi.org/10.1007/s10618-022-00867-8