Der Entwurf des AI-Acts hat in jüngster Zeit einige bedeutende Änderungen erfahren. Zuletzt hat das EU-Parlament die Vorschläge der Ausschüsse IMCO und LIBE in eine eigene Position überführt. Mittlerweile hat der Trilog begonnen und wird im zweiten Halbjahr an Fahrt aufnehmen. Unsere Redakteurin wirft einen Blick auf einige Hauptbedenken, die mit den Änderungsvorschlägen einhergehen.
Ein Artikel von Chiara Streitbörger
Am 14. Juni 2023 hat das EU-Parlament den Entwurf der Ausschüsse IMCO und LIBE zum Artificial Intelligence Act (wir berichteten) angenommen. Nach langem Stillstand scheint es so, als wären die Kernpunkte im AI-Act nun geregelt. Mit Blick auf den zunehmenden Zeitdruck aufgrund der kommenden Europawahlen im Jahr 2024 ist zu erwarten, dass die Trilog-Verhandlungen im nächsten halben Jahr beginnen werden. Doch wird sich das Gesetz mit „Pioniercharakter“ – wie erhofft – tatsächlich als wegweisende Gesetzgebung zur Regulierung Künstlicher Intelligenz erweisen können? Der folgende Beitrag soll einen kurzen Überblick zur Beantwortung dieser Frage verschaffen.
EP folgt zahlreichen Änderungsvorschlägen
Zunächst ist festzuhalten, dass der neue Entwurf zahlreiche Änderungsvorschläge berücksichtigt: Dies betrifft etwa die Änderungen zu den vom Verbotskatalog (Art. 5 AI-Act) erfassten KI-Systemen sowie die Kategorien zur Einstufung als Hochrisikosysteme (Art. 6 AI-Act). Besonders positiv ist anzumerken, dass das EP entgegen des Vorschlags der EVP-Fraktion nahezu alle biometrische Überwachungsverfahren verbieten möchte (vgl. Art. 5 Abs. 1 lit. d) AI-Act). So sollen in öffentlichen Räumen sämtliche biometrische Fernidentifikationssysteme in Echtzeit verboten sein – also entgegen dem Kommissionsentwurf nicht nur diejenigen, die einem Strafverfolgungszweck dienen. Die Änderung hat vor allem auch symbolischen Charakter: Die EU distanziert sich damit klar von staatlich veranlassten biometrischen Massenüberwachungen, die beispielsweise in China durchgeführt werden. Ebenso wird der Verbraucherschutz stärker berücksichtigt, indem zum Beispiel nicht nur Social-Scoring-Systeme von Behörden, sondern auch von Personen bzw. Unternehmen verboten werden sollen (Art. 5 Abs. 1 lit. c) AI-Act (grundlegend kritisch zum Kommissionsentwurf zum Beispiel BEUC, Regulating AI Act to protect Consumer).
Wunsch nach einer präziseren KI-Definition sowie der Definition Risikoklassifizierungen
An einigen Stellschrauben muss jedoch noch gedreht werden: Ein wesentlicher Kritikpunkt des Entwurfs ist die Definition des Begriffs „Künstlicher Intelligenz“, welche in jedem Falle noch präziser gefasst werden sollte. Der aktuelle Entwurf definiert ein KI-System als ein maschinengestütztes System, das so konzipiert ist, dass es mit unterschiedlichem Grad an Autonomie arbeitet und das für explizite oder implizite Ziele Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die die physische oder virtuelle Umgebung beeinflussen (Art. 3 Abs. 1 AI-Act). Im Unterschied zu den Vorentwürfen (wir berichteten) wurde die Definition daher schon enger gefasst – dies mag jedoch nur auf den ersten Blick überzeugen. De facto würde die aktuelle Definition darauf hinauslaufen, dass sämtliche algorithmische Systeme erfasst würden, die nicht statisch, sondern dynamisch agieren – gemeint sind Algorithmen, die selbstständig aus ihren Vorgehensweisen lernen können. Dies ist vor allem auch dem Umstand geschuldet, dass in der Definition der Begriff der „Autonomie“ verwendet wird. Im Zusammenhang mit lernenden Systemen wird diese Begrifflichkeit sehr unterschiedlich interpretiert. So kann Autonomie beispielsweise bedeuten, dass ein algorithmisches System einen eigenen Handlungs- und Entscheidungsspielraum hat oder die (vollumfängliche) menschliche Steuerung und Kontrolle fehlt (vgl. Veith, Künstliche Intelligenz, Haftung und Kartellrecht, 2021, S. 35 f.). Alternativ könnte „Autonomie“ in diesem Sinne heißen, dass sie von menschlichem Input unabhängig sind (vgl. Hilgendorf, Verantwortungsdiffusion und selbstlernende Systeme in der Industrie 4.0 – ein Problemaufriss aus strafrechtlicher Perspektive, in: Hornung, Rechtsfragen der Industrie 4.0, 2018, S. 121 f.) oder dass das System auf unbegrenzter Lernfähigkeit beruht (vgl. Dettling/Krüger, MMR 2019, 211 [212]).
Es besteht darüber hinaus Grund zur Sorge, dass der derzeitige Regelungsstand den Unternehmen nicht hinreichend Klarheit darüber geben wird, in welche der Risikokategorien das von ihnen verwendete oder entwickelte System einzustufen ist und welchem Regelungskatalog es demnach unterfallen würde. Diese Bedenken beruhen auf den Ergebnissen der Risk Classification Database des appliedAI Institute. Die Datenbank klassifiziert KI-Anwendungen und ordnet diese den unterschiedlichen Risikostufen des AI-Acts zu. Von 119 der bisher analysierten Anwendungen wurden 42 (!) Systeme als „unclear“ eingestuft – Unternehmen, die solche Systeme entwickeln, einsetzen oder verwenden, können sich also nicht sicher sein, ob das System ein hohes oder niedriges Risiko birgt oder dies sogar als verboten gelten würde.
Gefahren von Überregulierung
Der wesentliche Kritikpunkt am AI-Act ist die potenzielle Überregulierung innovativer Systeme. Auch mit den Änderungsvorschlägen bleibt diese Befürchtung bestehen. Die Gründe dafür sind zahlreich, können aber etwa darauf zurückzuführen sein, dass einige Klassifizierungen im Annex III, dem Katalog hochrisikoreicher Systeme, sehr weit gefasst werden. Dies betrifft insbesondere die pauschale Einstufung von KI-Systemen im Bereich der allgemeinen und beruflichen Bildung oder Beschäftigung oder dem Arbeitnehmermanagement (Annex III Abs. 1 Nr. Nr. 3 und 4) als Hochrisikosysteme (ebenso KI-Verband, The EU-AI-Act, S. 13).
Die mit der Verordnung einhergehenden strikten Vorschriften und Auflagen könnten darüber hinaus vor allem Start-ups und KMUs davon abhalten, die Entwicklung von KI-Technologien fortzuführen und in sie zu investieren. Hierauf wurde bereits im Ansatz reagiert, indem Open-Source-Systeme vom Anwendungsbereich des AI-Acts ausgeschlossen werden sollen (Art. 2 Abs. 5e AI-Act). Gleichwohl bleiben Bedenken dahingehend bestehen, dass Unternehmen aufgrund der regulatorisch bedingten zusätzlichen Kosten nicht über die hinreichenden finanziellen Mittel verfügen, um KI-Technologien (weiter) zu entwickeln oder zu nutzen. Neben dem finanziellen Aspekt können weitere Aspekte für Abschreckung sorgen: So wird die Entwicklung und Nutzung von Hochrisikosystemen mit nicht unerheblichem bürokratischen Aufwand verbunden sein. Zu beachten ist hierzu auch, dass die Anforderungen daran zum Teil noch nicht präzise genug gefasst sind. So wird zum Beispiel die Einrichtung eines Risikomanagementsystems verlangt, das während des gesamten Lebenszyklus des KI-Systems aufrechterhalten werden soll (Art. 9 Abs. 1 AI-Act). Dieses darf sich zwar mit bereits bestehenden Managementverfahren überschneiden, die anderen Rechtsvorschriften geschuldet sind. Inwieweit hierzu konkrete Ergänzungen vorzunehmen sind, um den Anforderungen an ein solches System gerecht zu werden, wird im AI-Act jedoch hinreichend geklärt und wird sich vermutlich erst in der Praxis zeigen. Weiterhin könnte der kontrollierte Austausch von Daten bzw. die mit dem AI-Act verbundene Data Governance für Unternehmen einen weiteren Faktor dafür bilden, KI nicht, zumindest nicht in der EU, zu entwickeln oder auf dem Markt anzubieten.
Ein weiterer Faktor, der zu einer Überregulierung führen kann, ist die Überschneidung zu anderen Rechtsvorschriften. Zwar wird im neuen Entwurf das Verhältnis zu anderen Vorschriften klargestellt. So sollen etwa andere Regelungen, wie zum Beispiel die Produktsicherheitsrichtlinie oder die Verbraucherschutzverordnung, neben dem AI-Act weiterhin gelten (Erwägungsgrund Nr. 2c). Ferner wird festgelegt, dass Praktiken, die nach dem Unionsrecht aufgrund des Datenschutz-, Antidiskriminierungs-, Verbraucherschutz- oder dem Wettbewerbsrecht verboten sind, vom AI-Act nicht berührt werden (Erwägungsgrund Nr. 26d). Gleichwohl werden einige Überschneidungen mit Vorschriften nicht hinreichend berücksichtigt. So müsste zum Beispiel der Anbieter eines Medizinproduktes neben der Medizinprodukte-Verordnung auch Regelungen des AI-Acts achten (z. B.: Annex III Abs. 1 Nr. 5c AI-Act). Dies wiederum hätte zur Folge, dass in einigen Fällen zusätzliche unnötige bürokratische Hürden geschaffen werden, die die Flexibilität und Agilität von Unternehmen beeinträchtigen.
Bedenken hinsichtlich Regulierung von foundation models und generativer KI
Auch mit Blick auf die Regulierung von foundation models und damit auch generativer KI bestehen Widersprüche. Der Entwurf berücksichtigt, dass nicht sämtliche Systeme generativer KI als hochrisikoreich eingestuft werden dürfen. Positiv anzumerken ist auch, dass nicht nur der Entwickler oder Ursprungsanbieter von Generative AI den Regulierungsanforderungen unterfällt, sondern sämtliche Parteien der Wertschöpfungskette den Pflichten von Hochrisikosystemen unterfallen können (vgl. Art. 28 Abs. 2 AI-Act). Im Gegensatz dazu sollen die spezifischen, die foundation models betreffenden Pflichten aber nur den Anbieter („provider“) treffen. Ob dies effizient ist, ist fragwürdig, weil es gerade in der Natur der Sache liegt, dass die mit solchen Systemen verbundenen Risiken nicht vom Anbieter vorhergesehen werden können bzw. sich die Risiken erst anhand des Einsatzes von den sie nutzenden Parteien entwickeln. Zugleich wird in einigen Fällen aber auch nur der Anbieter imstande sein, Designentscheidungen zu treffen, um zu gewährleisten, dass das foundation model ein angemessenes Niveau an Leistung, Vorhersagbarkeit, Interpretierbarkeit, Korrigierbarkeit, Sicherheit und Cybersicherheit erreicht (dieser Auffassung ist Zenner von der OECD).
Zusammenfassung
Wo Licht ist, ist auch Schatten. Bis hierher ist das Bestreben des Europäischen Gesetzgebers zwar gut gemeint, einige – berechtigte – Änderungswünsche werden trotzdem zu Recht bestehen bleiben. Es ist zwar höchst wahrscheinlich, dass der AI-Act auch noch in den Trilog-Verhandlungen einige Änderungen erfahren wird. Dies betrifft insbesondere die Vorschläge zu den foundation models und der generativen KI, weil diese Modelle in dem Kommissionsentwurf keine Berücksichtigung finden konnten. Im Sinne einer innovativen EU sollte der Fokus des AI-Acts jedoch vor allem nicht nur auf der Regulierung risikoreicher KI liegen, sondern parallel darauf setzen, den Unternehmen mehr Flexibilität einzuräumen, um neue technische Ansätze (fort-) zu entwickeln und zu prüfen. Nach dem bisherigen Stand fehlt es an einigen Stellen noch an der notwendigen Klarheit, die den Unternehmen Rechtssicherheit gebieten würden. Darüber hinaus wird der Faktor „Zeit“ bei der Bewertung des AI-Acts eine nicht unerhebliche Rolle spielen: Sofern die Verhandlungen abgeschlossen sind, wird die Umsetzungsphase zwei bis drei Jahre andauern, bevor die Regulierungsansätze rechtsverbindlich werden. Insofern besteht die Befürchtung, dass eine Fortschreibung des Rechts notwendig sein wird, bevor dieses überhaupt in Kraft getreten ist.
Published under licence CC BY-NC-ND.
