Bereits seit 2021 diskutiert die Europäische Union über den Entwurf des Artificial Intelligence Act. Mitte Mai 2023 ist der europäische Gesetzgeber jedoch in die entscheidende Phase gelangt: Kommission, Rat, Mitgliedstaaten und die interessierte Fachöffentlichkeit warten auf die Position des Europäischen Parlaments. Dessen Ausschüssen war es nun möglich, auf Kritikpunkte zu reagieren und die Entwicklungen rund um generative Künstliche Intelligenz sowie die Plattformregulierung in den Entwurf zu integrieren. Unsere Redakteurin fasst die wesentlichen Änderungsvorschläge zusammen.

Ein Artikel von Chiara Streitbörger

Am 11. Mai 2023 haben der Binnenmarktausschuss und der Ausschuss für bürgerliche Freiheiten, Justiz und Inneres des Europäischen Parlaments über den Artificial Intelligence Act (im Folgenden: AI-Act), abgestimmt (84 Ja-Stimmen, 7 Nein-Stimmen und 12 Enthaltungen). Als erstes europäisches Gesetz, das den Umgang mit Künstlicher Intelligenz (im Folgenden: KI) regeln wird, will die EU – so zumindest in der Theorie – einen fundamentalen Grundstein legen. Der AI-Act könnte eine Blaupause dafür werden, wie das Recht mit bestehenden und zukünftigen disruptiven Technologien innovationsfördernd umgehen könnte. Das Timing ist gut: Die Ausschüsse konnten das politische Momentum nutzen, den bereits 2021 eingebrachten Vorentwurf dahin gehend zu ergänzen, um der Europäischen Union und ihren Mitgliedstaaten regulatorische Instrumente für generative KI sowie Social-Media-Plattformen in die Hand geben zu können. Doch was genau hat das EP entschieden? Hier die wesentlichen Änderungsvorschläge.

Kurze Erinnerung: Worum geht es?

Der AI-Act, der seinen Ursprung in der EU-Digitalisierungsstrategie findet, zielt darauf ab, das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen zu regulieren und innerhalb der Europäischen Union zu harmonisieren. Dazu soll sichere und vertrauenswürdige KI geschaffen werden, indem die in der Europäische Union geschützten Grundwerte – gemeint sind Sach- sowie Ethikwerte – bei der Entwicklung und dem Einsatz beachtet werden (sog. trustworthy AI). Aus diesem Grund sollen Unternehmen einem weitreichenden Pflichtenkatalog unterliegen und innerhalb der gesamten KI-Schöpfungskette Qualitätssicherungen gewährleisten. Dazu ist die Verordnung an sämtliche Unternehmen adressiert, die KI-Systeme in der Europäische Union in Verkehr bringen oder in Betrieb nehmen (Art. 2 Abs. 1 AI-Act-E). In der Praxis fallen unter die Definition Softwareentwickler, KI-Importeure und Händler, aber auch etwa Behörden.

Der Versuch einer Definition – Präzisierung des KI-Begriffs

Die Ausschüsse haben zunächst den Versuch gewagt, die Legaldefinition für KI-Systeme zu spezifizieren. So heißt es in Art. 3 Abs. 1 AI-Act-E, dass KI-System ein maschinelles System sei, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie arbeite und das für explizite oder implizite Ziele Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen erzeugen könne, die die physische oder virtuelle Umgebung beeinflussen würden. Dieser Änderungsvorschlag ist das Resultat heftiger Kritik hinsichtlich des zuvor weit gefassten KI-Begriffs und orientiert sich stark an der Empfehlung des Europäischen Wirtschafts- und Sozialausschusses (siehe dazu Rn. 1.4, 3.2). Nach dem Ursprungsentwurf der EU-Kommission sollten KI-Systeme unter anderem bereits dann erfasst werden, wenn sie „eine Software [darstellen], die mit einer oder mehreren […] Techniken und Konzepten entwickelt worden ist und im Hinblick auf eine Reihe von Zielen, die vom Menschen festgelegt werden, Ergebnisse […] hervorbringen kann, die das Umfeld beeinflussen, mit dem sie interagieren“. Die genauen „Techniken und Konzepte“ im Sinne der Definition wurden in einem Anhang näher konkretisiert. De facto sollten danach etwa sämtliche Deep-Learning-Systeme oder Systeme mit Such- und Optimierungsmethoden erfasst werden. Ob der Zweck einer präziseren KI-Definition bereits dadurch erreicht werden kann, dass der Anhang des Vorentwurfes gestrichen wird und man an einen „Autonomie“-Begriff anknüpfen muss, wird jedoch maßgeblich davon abhängen, wie letztere Begrifflichkeit in der Praxis tatsächlich ausgelegt wird (Näheres dazu folgt).

Verschärfung der „Schwarzen Liste“ und Präzisierung der Einstufung als Hochrisikosystem

Obwohl in der konsolidierten Fassung an dem risikobasierten Ansatz festgehalten wird (näher hierzu zum Beispiel Ebers et al., RDi 2021, 528), wurden die Einstufungen als „Systeme mit einem unannehmbaren Risiko“ (unacceptable risk) und „Hochrisiko-Systemen“ (hig-risk AI) modifiziert bzw. verschärft. Dies kann auf die vorherigen Anregungen, wie etwa die des Europäischen Ausschusses der Regionen und des Europäischen Wirtschafts- und Sozialausschusses zurückzuführen sein, die insbesondere darauf plädierten, den Verbotskatalog sowie die Auflistung der Hochrisiko-Systeme „grundrechtstauglicher“ zu gestalten und Verbraucherrechte zu wahren.

In der Neufassung ist die „Schwarze Liste“ für KI-Systeme (Art. 5 Abs. 1 AI-Act-E) erheblich ausgeweitet worden. Der Fokus liegt in erster Linie darauf, diskriminierende sowie manipulative KI-Systeme weitestgehend erfassen zu können. Daher sollen nunmehr auch etwa biometrische Kategorisierungs- sowie Emotionserkennungssysteme dem Generalverbot unterfallen. Von besonderer praktischer Bedeutung könnte ferner die neu eingefügte Kategorie sein, die solche KI-Systeme verbieten lässt, die das Verhalten einer Person bzw. einer Personengruppe erheblich beeinflussen können, indem die Fähigkeit, eine informierte Entscheidung zu treffen, spürbar beeinträchtigt wird (Art. 5 Abs. 1 lit. a) AI-Act-E).

Einige Änderungen des ohnehin schon weit gefassten Konzepts des „Hochrisiko-Systems“, der durch den Anhang III AI-Act-E konkretisiert werden soll, erfolgten durch Ergänzungen bzw. Streichungen der davon erfassten Kategorien. Exemplarisch zu nennen ist an dieser Stelle die Modifizierung des Katalogs, der die Rechtspflege und die demokratischen Prozesse betrifft: Umfasst sein sollen explizit etwa KI-Systeme, die zur Beeinflussung des Wahl- oder Abstimmungsverhalten zum Einsatz kommen (Anhang III Nr. 8 lit. aa) AI-Act-E). In der Praxis werden insbesondere Social-Media-Plattformen (dazu sogleich) sowie dort eingesetzte Meinungsroboter und Filterbubbles (zu letzterem siehe zum Beispiel Deutscher Bundestag, „Echokammern“ und „Filterblasen“ in digitalen Medien, WD 10 – 3000 – 007/22, 2022, S. 9 f.) dem damit verbundenen Pflichtenkatalog unterfallen (Art. 8 ff. AI-Act-E, zu den praktischen Umsetzungsschwierigkeiten siehe bereits Ebers, RDi 2021, 588).

Ergänzend wollen die Ausschüsse des EP nunmehr diejenigen Systeme als hochrisikoreich im Sinne des Entwurfes einstufen, die ein „erhebliches Risiko für die Gesundheit, die Sicherheit oder die Grundrechte natürlicher Personen“ darstellen (Art. 6 Abs. 2 AI-Act-E). Die Einstufung als „erhebliches Risiko“ hängt von der Schwere, Intensität, Eintrittswahrscheinlichkeit und Dauer seiner Auswirkungen sowie seiner Fähigkeit, eine Einzelperson, eine Vielzahl von Personen oder eine bestimmte Personengruppe zu beeinträchtigen, ab (Art. 3 Abs. 1b AI-Act-E).

Allerdings gab es auch Änderungen, die etwaige Bedenken hinsichtlich innovationshemmender Auswirkungen ausräumen sollen. So wurde der Anwendungsbereich des AI-Acts für bestimmte KI-Systeme ausgeschlossen, die auf sog. Open-Source-Lizenzen beruhen (Art. 2 Abs. 5d AI-Act-E). Mithilfe dieser Ergänzung soll die Entwicklung und der Einsatz von KI gefördert werden, die KMUs, Start-ups, die akademische Forschung und Einzelpersonen verwenden (Erwägungsgrund Nr. 12a AI-Act-E).

Regulierung von Social-Media-Plattformen

Wie bereits zuvor angedeutet, erfasst die konsolidierte Fassung auch Regelungen zu Social-Media-Plattformen. So sollen Plattformen sozialer Medien als Hochrisikosystem eingestuft werden, die ein Empfehlungssystem einsetzen, um dem Empfänger des Dienstes nutzergenerierte Inhalte anzubieten, die auf der Plattform verfügbar sind (Nr. 8 des Anhangs III AI-Act-E). Zwar findet der Anwendungsbereich eine Einschränkung, indem die Pflichten nur an „große Onlineplattformen“ im Sinne des Art. 33 der Verordnung (EU) Nr. 2022/2065 (sog. Digital Service Act) adressiert werden, also nur solche Online-Plattformen, die eine durchschnittliche monatliche Zahl von mindestens 45 Millionen aktiven Nutzern in der Europäischen Union haben. Gleichwohl ist die Ergänzung von erheblicher praktischer Bedeutung: Da der AI-Act, wie auch die DS-GVO, dem sog. Martortprinzip unterliegt, wonach die Verordnung auch an Unternehmen eines Drittlandes adressiert ist, die KI-Systeme in die Europäische Union importieren, haben beispielsweise auch US-amerikanische oder chinesische Plattformen die Pflichten der Verordnung zu achten. Letztendlich haben also Big-Tech-Unternehmen, wie Instagram, TikTok oder LinkedIn den technischen Anforderungen sowie den Informations- und Offenlegungspflichten Folge zu leisten.

ChatGPT und Co. – Der Umgang mit generativer KI

Die Antwort auf den immer lauter werdenden Ruf nach einer Regulierung generativer KI (z. B. ChatGPT) findet sich in Art. 3 Abs. 1 lit. c) AI-Act-E. Die Vorschrifts stellt klar, dass sog. „foundation models“ in den Anwendungsbereich des AI-Act fallen sollen. Bei “foundation models” handelt es sich laut Legaldefinition um KI-Modelle, die auf einer breiten Datenbasis in großem Umfang trainiert werden, auf eine allgemeine Ausgabe ausgelegt sind und an ein breites Spektrum unterschiedlicher Aufgaben angepasst werden können. Die Anbieter solcher Modelle unterliegen ergänzend zu dem allgemeinen Anforderungen weiteren Verpflichtungen (Art. 28b AI-Act-E). Zu nennen sei an dieser Stelle die zusätzliche Dokumentationspflicht, aus der hervorgeht, dass die Anbieter solcher foundation models vor Inverkehrbringen des Systems spezifische Risiken ermittelt, verringert und abgemildert haben. Darüber hinaus will der Parlamentsentwurf urheberrechtliche Sorgen mindern, indem die Anbieter zusammenfassend offenlegen müssen, ob sie urheberrechtlich geschützte Daten für das Training verwenden. Ob es sich bei diesen Dokumentations- und Offenlegungspflichten aber auch in der Praxis um tragfähige Anweisungen handelt, ist äußerst fragwürdig. Denn foundation models zeichnen sich gerade dadurch aus, dass sie keiner spezifischen Aufgabe unterliegen – und ihre Vorhersehbarkeit und Interpretationsmöglichkeiten daher begrenzt sind.

Einführung eines AI-Office

Gänzlich neu ist, dass der Kompromisstext eine neue EU-Einrichtung ins Feld führt: Das European Artificial Intelligence Office (AI-Office). Das AI-Office soll laut des Entwurfes eine unabhängige Einrichtung der Europäischen Union mit umfangreichen Kompetenzen sein (zur näheren Ausgestaltung siehe Art. 56 ff. AI-Act-E). Seine Kernaufgabe erstreckt sich darauf, den nationalen Aufsichtsbehörden der Mitgliedsstaaten, der Kommission und den damit verbundenen Ämtern unterstützend und beratend zur Seite zu stehen und deren Zusammenarbeit und Koordinierung zu fördern. Inwieweit die Idee eines AI-Office tatsächlich das Licht der Welt erblicken wird und auch Einfluss auf andere Bereiche zeitigen wird, die im Zusammenhang mit KI stehen, bleibt mit Spannung abzuwarten.

Fazit

Mit den Verschärfungen des Entwurfes des EU-Parlaments wird deutlich, dass sich die Ausschüsse dem Handlungsdruck beugen, der seit dem 30. November 2022, der Veröffentlichung von ChatGPT, stetig wächst. Ob mit diesem Instrument der Spagat zwischen Innovationsförderung von KI und dem Vertrauensschutz geschafft werden kann, kann zu diesem Zeitpunkt nicht abschließend beurteilt werden (hierzu wird zeitnah ein Teil II dieses Artikels folgen). Jedoch ist das letzte Wort noch nicht gesprochen: Findet der verschärfte Entwurf tatsächlich Anklang, wird das Plenum des Europäischen Parlamentes den Änderungsvorschlägen Mitte Juni zustimmen. Danach folgt der Trilog, bei dem die Kommission, der Rat und das Parlament über die Feinheiten des Entwurfes verhandeln. Je nachdem wie zielführend oder zäh die Verhandlungen laufen, könnte der AI-Act daher in diesem Jahr noch verabschiedet werden – also noch gerade rechtzeitig, bevor der Wahlkampf zur Europawahl beginnt. Diese Prognose gilt jedoch nur unter der Prämisse, dass keine weiteren disruptiven Entwicklungen zu Tage gefördert werden, die – erneut – das Bedürfnis einer nicht unerheblichen Überarbeitung wecken.