Die Implementierung der KI-Verordnung (KI-VO) bringt für Anbieter und Betreiber von KI-Systemen einen erheblichen organisatorischen Bürokratieaufwand mit sich. Insbesondere Betreiber von KI-Systemen können im Rahmen der Umsetzung der KI-VO jedoch vielfach auf bestehenden Strukturen der Datenschutz-Compliance im Unternehmen aufbauen und diese um KI-spezifische Facetten erweitern. So lassen sich durch Prozessallignment eine Vielzahl von Synergieeffekten nutzen.

Ein Artikel von Dr. Jakob Hüger

Die Entwicklung und der Einsatz von KI-Systemen sind regelmäßig mit der Verarbeitung personenbezogener Daten verbunden. Neben der KI-VO gelangt daher regelmäßig die Datenschutzgrundverordnung (DS-GVO) zur Anwendung (Art. 2 Abs. 7 KI-VO). Der das KI-System entwickelnde und in den Verkehr bringende Anbieter (Art. 3 Nr. 3 KI-VO) und der das KI-System zum Einsatz bringende Betreiber (Art. 3 Nr. 4 KI-VO) haben daher das dichte Regelnetz der DS-GVO zu berücksichtigen, so weit sie im entsprechenden Verarbeitungsstadium die Rolle des datenschutzrechtlich Verantwortlichen einnehmen.

Insbesondere der an Betreiber von Hochrisiko-KI-Systemen gerichtete Pflichtenkatalog zur Durchführung von technischen und organisatorischen Maßnahmen (TOM) und einer Folgeabschätzung sowie der Gewährleistung von Informations- und Erklärungsrechten betroffener Personen erinnert dabei an den datenschutzrechtlichen Pflichtenkatalog des Verantwortlichen nach der DS-GVO. In der Praxis lassen sich die erforderlichen Maßnahmen vielfach parallel umsetzen und so Synergieeffekte nutzen, um den Bürokratieaufwand in der Unternehmenspraxis zu reduzieren.

Im Folgenden sollen zentrale Koordinationspotenziale überblicksartig beleuchtet werden. Dabei sind gleichwohl stets die divergierenden Regulierungsgegenstände und grundrechtlichen Schutzzwecke der beiden Verordnungen im Hinterkopf zu behalten und daraus resultierend das Bedürfnis zur spezifischen Beleuchtung der jeweiligen gesetzlichen Anforderungen im Einzelfall zu beachten.

1.     Risikomanagement und technische und organisatorische Maßnahmen

Nach Art. 26 Abs. 1 KI-VO sind Betreiber von Hochrisiko-KI-Systemen dazu verpflichtet, geeignete TOM zu treffen, um sicherzustellen, dass KI-Systeme entsprechend der durch den Anbieter bereitgestellten Betriebsanleitung verwendet werden. Nach Art. 32 Abs. 1 DS-GVO hat der Verantwortliche TOM zur Gewährleistung eines angemessenen Schutzniveaus für die Rechte und Freiheiten betroffener Personen zu implementieren. Aufgrund der ähnlichen Schutzrichtung lassen sich diese Maßnahmen in einem einheitlichen Risikomanagement koordinieren. Soweit bereits ein umfassendes Datenschutzmanagement aufgebaut wurde, bietet es sich an, dieses um ein spezifisches KI-Risikomanagement zu erweitern.

Für die Rechtmäßigkeit von Datenverarbeitungen im Lebenszyklus von KI-Systemen ist die einzig belastbare datenschutzrechtliche Rechtsgrundlage regelmäßig die Interessenabwägung nach Art. 6 Abs. 1 lit. f DS-GVO zwischen den berechtigten Interessen des Verantwortlichen und den Interessen oder Grundrechten und Grundfreiheiten betroffener Personen. Um diese Interessenabwägung zu seinen Gunsten zu entscheiden, hat der Verantwortliche in Ansehung der erheblichen potenziellen Grundrechtssensibilität von KI-basierten Entscheidungen ein hohes Schutzniveau für die Grundrechte betroffener Personen auch und gerade mittels TOM sicherzustellen. Als Referenzmaßstab der erforderlichen TOM können dabei wiederum einzelne Vorgaben des Hochrisiko-Regimes der KI-Verordnung dienen – etwa Art. 10 KI-VO im Hinblick auf die Governance von Trainingsdaten.

2.     Menschliche Aufsicht über KI-Systeme und das Recht auf eine menschliche Entscheidung

Nach Art. 26 Abs. 2 KI-VO haben Betreiber eine menschliche Aufsicht über den Einsatz von Hochrisiko-KI-Systeme durch kompetente Personen nach den Anforderungen des Art. 14 KI-VO sicherzustellen.

Auch Art. 22 DS-GVO stellt im weiteren Sinne eine menschliche Kontrolle KI-basierter Entscheidungsabläufe sicher, indem er ein Recht betroffener Personen statuiert, nicht einer ausschließlich auf einer automatisierten Verarbeitung beruhenden Entscheidung unterworfen zu werden. Das SCHUFA-Urteil des EuGH spricht für eine weite Auslegung des Art. 22 DS-GVO, wonach der Anwendungsbereich der Norm bereits automatisierte Datenverarbeitungen in einem entscheidungsvorbereitenden Verfahrensstadium umfassen kann, sofern die anschließende Entscheidung gegenüber einer betroffenen Person maßgeblich auf der Datenverarbeitung beruht. Dabei kann auch bei teilautomatisierten Entscheidungsprozessen ein Beruhen der Entscheidung auf einer Datenverarbeitung anzunehmen sein, wenn die die KI-basierte Ausgabe dem menschlichen Entscheidungsträger bereits einen hinreichend konkretisierten Entscheidungsvorschlag unterbreitet, welcher sich unmittelbar als endgültige Entscheidung übernehmen lässt.

Das Recht auf eine menschliche Entscheidung nach Art. 22 DS-GVO reklamiert auch künftig neben den Vorgaben der KI-Verordnung einen Anwendungsgehalt für sich. Daher ist bereits im Rahmen des Designs eines KI-basierten Entscheidungsprozesses durch den Betreiber sicherzustellen, dass durch eine hinreichende menschliche Einflussnahme auf die Entscheidungsfindung das Vorliegen einer ausschließlich automatisierten Entscheidung ausgeschlossen wird. Dabei gewährleistet die Einhaltung des Regelungsregimes für Hochrisiko-KI-Systeme mit der Pflicht zur menschlichen Aufsicht nach Art. 14 KI-VO gerade nicht zwangsläufig das Vorliegen der Anforderungen an eine menschliche Entscheidung im Sinne des Art. 22 DS-GVO.

3.     Grundrechte- und Datenschutz-Folgeabschätzung

Nach Art. 27 KI-VO haben Betreiber vor der Inbetriebnahme bestimmter Hochrisiko-KI-Systeme – wie etwa KI-Systeme zur Kreditwürdigkeitsprüfung – eine Grundrechte-Folgenabschätzung (GRFA) durchzuführen, welche die Auswirkungen der Verwendung ihres Systems auf die Grundrechte analysiert und Maßnahmen ermittelt, die im Falle des Eintretens dieser Risiken zu ergreifen sind (vgl. Erw.Gr. 96 KI-VO). Die Folgenabschätzung soll eine Beschreibung des Einsatzszenarios des Hochrisiko-KI-Systems entsprechend seiner Zweckbestimmung, Kategorien der im spezifischen Verwendungskontext betroffenen natürlichen Personen und spezifische Schadensrisiken für die Grundrechte dieser Personen enthalten sowie Maßnahmen für den Fall des Eintritts dieser Risiken festlegen.

Nach Art. 35 DS-GVO hat der datenschutzrechtlich Verantwortliche vor dem Einsatz von KI-Systemen typischerweise eine Datenschutz-Folgeabschätzung (DSFA) durchzuführen, die neben der Beschreibung der Verarbeitungsvorgänge und der Beurteilung ihrer Verhältnismäßigkeit eine Analyse der Risiken für Rechte und Freiheiten der betroffenen Person sowie konkrete Abhilfemaßnahmen zum Schutz gefährdeter Rechte und Freiheiten beinhalten soll.

Die GRFA soll dabei ausdrücklich die DSFA ergänzen (Art. 27 Abs. 4 KI-VO). Zu diesem Zwecke sollen zur Durchführung der DSFA die für die GRFA maßgebenden Informationen aus der Gebrauchsanweisung des Anbieters herangezogen werden (Art. 26 Abs. 9 KI-VO). Sinnvollerweise sind daher in Unternehmen, die in ihren Geschäftsabläufen als Betreiber von KI-Systemen personenbezogene Daten verarbeiten, die DSFA und die GRFS parallel auszugestalten.

4.     Informationspflichten über den KI-Einsatz („ob“)

Betreiber von Hochrisiko-KI-Systemen sind nach Art. 26 Abs. 11 KI-VO dazu verpflichtet, natürliche Personen darüber zu unterrichten, dass diese Subjekt einer durch ein Hochrisiko-KI-System getroffenen Entscheidung geworden sind. Nach Art. 26 Abs. 7 KI-VO gilt eine spezielle Informationspflicht beim Einsatz von Hochrisiko-KI-Systemen am Arbeitsplatz gegenüber Arbeitnehmern und Arbeitnehmervertretern. Nach Art. 50 Abs. 3 KI-VO besteht eine Pflicht der Betreiber bei einer Anwendung von KI-Systemen zur Emotionserkennung oder biometrischen Kategorisierung betroffene natürliche Personen „über den Betrieb des Systems“ zu informieren.

Informationspflichten des Verantwortlichen gegenüber der betroffenen Person über den Einsatz eines KI-Systems als solches bestehen jedenfalls nach Art. 13 Abs. 2 lit. f, Art. 14 Abs. 2 lit. g DS-GVO im Rahmen von automatisierten Entscheidungen nach Art. 22 DS-GVO. Darüber hinaus lässt sich eine KI-spezifische Aufklärungspflicht aus dem Grundtatbestand der Art. 13 Abs. 1, Art. 14 Abs. 1 DS-GVO jedenfalls dann ableiten, wenn die Datenverarbeitung zum Zwecke eines Profilings erfolgt. Folglich bietet sich auch hierbei eine Einzelfallprüfung an, inwieweit die nach beiden Verordnungen bestehende Informationspflichten sinnvoll koordiniert werden können.

5.     Recht auf Erklärung („wie“)

Nach Artikel 86 Abs. 1 KI-VO hat jede Person, die von einer Entscheidung auf Grundlage der Daten eines eigenständigen Hochrisiko-KI-Systems betroffen ist, das Recht auf eine klare und aussagekräftige Erläuterung des Betreibers zur Rolle des KI-Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung. Dieses Recht besteht jedoch nur in solchen Fällen, in denen die Entscheidung eine Rechtswirkung entfaltet oder die Person in ähnlicher Weise erheblich beeinträchtigt, so dass sie nachteilige Auswirkungen auf ihre Gesundheit, Sicherheit und Grundrechte zu befürchten hat.

Datenschutzrechtlich Verantwortliche müssen im Falle automatisierter Entscheidungen nach Art. 13 Abs. 2 lit. f, Art. 14 Abs. 2 lit. g, Art. 15 Abs. 1 lit. h DS-GVO „aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen einer derartigen Verarbeitung“ bereitstellen. Seit Inkrafttreten der DS-GVO wurde umfassend diskutiert, ob und inwieweit hieraus ein vergleichbares Recht auf Erklärung der einzelfallspezifischen Entscheidung abgeleitet werden kann.

Nach Art. 86 Abs. 2 KI-VO soll das Recht auf Erklärung nicht für die Nutzung von KI-Systemen gelten, für die sich Ausnahmen oder Beschränkungen aus dem Unionsrecht oder dem nationalen Recht ergeben. Derartige Beschränkungen sind insbesondere aus den entgegenstehenden Interessen des Geschäftsgeheimnisschutzes denkbar. Durch diese Einschränkung könnte sich die aus der Diskussion bezüglich eines Rechts auf Erklärung nach der DS-GVO bekannte Abwägung zwischen den grundrechtlichen Positionen der betroffenen Person und des Verantwortlichen bzw. hier des Betreibers weitestgehend auf die Bestimmung des geschuldeten Informationsumfangs nach der KI-VO übertragen lassen.

6.     KI-Kompetenz und der Datenschutzbeauftragte

Nach Art. 4 KI-VO sind Anbieter und Betreiber von KI-Systemen dazu verpflichtet, KI-Kompetenz innerhalb ihres Unternehmens aufzubauen, indem etwa technische Kenntnisse durch spezielle Schulungen vermittelt werden. Zwar sieht die KI-VO dazu nicht ausdrücklich die Rolle eines expliziten „KI-Beauftragten“ vor, gleichwohl dürfte sich die Einrichtung einer derartigen Kontroll- und Kompetenzstelle insbesondere in größeren Unternehmen anbieten. Aufgrund der sich überschneidenden Kompetenzanforderungen liegt es dabei nahe, diese Rolle mit dem Datenschutzbeauftragten nach Art. 37 DS-GVO zu koordinieren.

Fazit

Die Sicherstellung der IT-Compliance entlang des Lebenszyklus von KI-Systemen erfordert eine ganzheitliche Betrachtung der Rechtslage, die auch zukünftig neben der neuen KI-VO das Datenschutzrecht im Blick behält. Mit dem Inkrafttreten der KI-VO tritt insbesondere im Bereich der Hochrisiko-KI-Systeme ein breites Netz an Organisations- und Transparenzpflichten neben die bisherigen Anforderungen der DS-GVO. Im Rahmen der Implementierung der KI-VO können durch eine Koordination der Rechtspflichten nach beiden Verordnungen sowohl der entstehende Bürokratieaufwand reduziert als auch Sanktionsrisiken ressourcenschonend mitigiert werden.

Vor dem Hintergrund der anstehenden Ausgestaltung der KI-VO durch Standardisierungen und Leitlinien der Europäischen Kommission lässt sich erhoffen, dass durch die gebotene Abstimmung der KI-VO mit entsprechenden Vorgaben der DS-GVO auch die datenschutzkonforme Gestaltung von KI-Systemen weiter an Kontur gewinnen wird.

Published under licence CC BY-NC-ND.