Die neue KI-Verordnung: Pro consumatore?

Kein anderer europäischer Rechtsakt hat die Gemüter in den letzten Monaten so bewegt, wie die KI-Verordnung (KI-VO). Das Europäische Parlament hat den Rechtsakt am 6. März 2024 mit großer Mehrheit verabschiedet, der Rat stimmte am 21. Mai zu. Als nächstes wird der Text im EU-Amtsblatt veröffentlicht und tritt 24 Monate später vollständig in Kraft. Der Beitrag zeichnet nach, welche Auswirkungen der AI Act auf das Verbraucherrecht hat.

Ein Artikel von Prof. Dr. Martin Ebers, Tallinn (Estland)

Die KI-VO ist weltweit der erste Versuch, Künstliche Intelligenz (KI) umfassend zu regulieren, indem EU-weit harmonisierte Vorschriften für das Inverkehrbringen, die Inbetriebnahme und die Verwendung von KI-Systemen festgelegt werden. Die Verordnung wird dementsprechend erhebliche Auswirkungen auf Anbieter und (professionelle) Nutzer von KI-Systemen sowie Bürger in der Europäischen Union und darüber hinaus haben.

Auch Verbraucher sind betroffen: KI-basierte Anwendungen bergen nicht nur erhebliche Risiken für die Gesundheit, die Sicherheit und die wirtschaftlichen Interessen von Verbrauchern (z.B. in Form von algorithmischer Diskriminierung), sondern führen zugleich zu neuen Macht- und Informationsasymmetrien, da Kunden in aller Regel weder wissen, ob und zu welchem Zweck KI-Systeme eingesetzt werden, noch KI-gestützte Entscheidungen und Prognosen nachvollziehen können (Ebers, VuR 2020, 121). Das bestehende EU-Recht schützt die Verbraucher dabei bislang nur rudimentär vor diesen KI-spezifischen Risiken (Ebers, JIPTEC 2021, 204).

Wird die neue KI-VO hier Abhilfe schaffen und dazu beitragen, die Rechte von Verbrauchern zu stärken?

Die Antwort fällt auf den ersten Blick eher ernüchternd aus. Erklärter Zweck der KI-VO ist nicht der Schutz von Verbrauchern, sondern ganz allgemein, ein hohes Schutzniveau in Bezug auf Gesundheit, Sicherheit und die in der Charta der Grundrechte verankerten Grundrechte in der Union zu gewährleisten (Art. 1 Abs. 1 KI-VO). Die KI-VO folgt dabei in weiten Teilen einem produktsicherheitsrechtlichen Ansatz, der im Wesentlichen darauf abzielt, durch zwingende öffentlich-rechtliche Anforderungen sicherzustellen, dass nur sichere Produkte in den Verkehr gelangen. Die Verordnung setzt daher vorrangig auf eine Durchsetzung durch die mitgliedstaatlichen Marktüberwachungsbehörden sowie (bei KI-Modellen mit allgemeinem Verwendungszweck wie z.B. GPT-4) durch die Europäische Kommission.

Dem Einzelnen werden in der KI-VO dagegen nur an einigen wenigen Stellen individuelle Rechte eingeräumt. So sieht z.B. Art. 86 KI-VO bei Hochrisiko-KI-Systemen ein Recht des Betroffenen auf Erläuterung der Entscheidungsfindung im Einzelfall vor: Betroffene haben danach gegenüber dem Betreiber eines in Anhang III aufgelisteten Hochrisiko-KI-Systems das Recht, „eine klare und aussagekräftige Erläuterung zur Rolle des KI-Systems im Entscheidungsprozess und zu den wichtigsten Elementen der getroffenen Entscheidung zu erhalten“. Inwieweit dieses neue Recht die Rechtsstellung des Einzelnen tatsächlich verbessert, bleibt abzuwarten. Vergleicht man Art. 86 KI-VO mit den Rechten, die bereits nach der DS-GVO bestehen, so wird offensichtlich, dass das EU-Datenschutzrecht für Betroffene sehr viel günstiger ist, da das in Art. 15 Abs. 1 lit. h DS-GVO vorgesehene Auskunftsrecht nicht nur bei Hochrisiko-KI-Systemen, sondern generell bei automatisierter Entscheidungsfindung greift, und Art. 22 Abs. 3 DS-GVO zudem ein Recht auf menschliches Einwirken und Anfechtung der Entscheidung vorsieht.

Wenngleich die KI-VO nur wenige individualschützende Vorschriften enthält, hat die Verordnung das Potenzial, den Verbraucherschutz zumindest mittelbar zu stärken: Die KI-VO verdrängt gerade nicht das EU-Verbraucherrecht. Vielmehr soll die Verordnung, wie in den Erwägungsgründen (9) und (29) sowie Art. 2 Abs. 9 und Art. 5 Abs. 5 KI-VO klargestellt wird, neben das bestehende EU-Verbraucherrecht treten.

KI-VO und EU-Verbraucherrecht stehen damit in einem Komplementärverhältnis zueinander: Während die KI-VO eine ex-ante-Kontrolle von KI-Systemen bezweckt (indem bestimmte Praktiken im KI-Bereich von vornherein verboten und zwingende Anforderungen an Hochrisiko-KI-Systeme vor Inverkehrgabe aufgestellt werden), greift das EU-Verbraucherrecht ex post zu einem Zeitpunkt, zu dem sich Produkte und Dienstleistungen bereits auf dem Markt befinden. Die KI-VO entfaltet somit einen (ersten) Schutzschild, der auch Verbrauchern zugutekommt. Dazu einige Beispiele:

1. Die KI-VO verbietet KI-Systeme, die unterschwellig beeinflussen, absichtlich manipulieren oder täuschen und dadurch die „Fähigkeit, eine fundierte Entscheidung zu treffen, spürbar“ beeinträchtigen (Art. 5 Abs. 1 lit. a KI-VO) oder unter Ausnutzung der Vulnerabilität bestimmter Personengruppen eine wesentliche Verhaltensänderung bezwecken oder bewirken (Art. 5 Abs. 1 lit. b KI-VO). – Die KI-VO ergänzt damit die Richtlinie 2005/29 über unlautere Geschäftspraktiken, die unlautere, manipulativ wirkende KI-Systeme ebenfalls erfasst, diese aber nur ex post verbietet.
2. Auch die zwingenden Anforderungen an Hochrisiko-KI-Systeme könnten dazu beitragen, dass Verbraucherbelange besser als bislang geschützt werden. So könnte insbesondere die Pflicht zur Verwendung repräsentativer Daten (Art. 10 Abs. 3 S. 1 und Art. 26 Abs. 4 KI-VO) dazu genutzt werden, um algorithmischen Diskriminierungen entgegenzuwirken. Gleiches gilt für die in Art. 27 Abs. 1 KI-VO vorgesehene Grundrechte-Folgenabschätzung, die von privaten Unternehmen beim Kreditscoring sowie bei Lebens- und Krankenversicherungen durchzuführen ist, sofern bei dieser Folgenabschätzung auch dem Verbraucherschutz (Art. 38 EU Grundrechtecharta) Rechnung getragen wird.
3. Art. 50 KI-VO sieht für interaktive KI-Systeme (wie Chatbots und Q&A-Anwendungen), generative KI-Systeme (wie ChatGPT), Emotionserkennungs- und biometrische Kategorisierungssysteme sowie Deep Fakes zudem bestimmte Transparenzpflichten vor, die ebenfalls zu einer Erhöhung des Verbraucherschutzniveaus beitragen werden.

Darüber hinaus bestimmt Art. 110 KI-VO, dass die KI-VO im Anhang I der Verbandsklagen-RL 2020/1828 aufgenommen wird. Verbraucherverbände haben damit künftig die Möglichkeit, gegen Unternehmer, die gegen die KI-VO verstoßen, im Wege der Verbandsklage vorzugehen, sofern solche Verstöße die Kollektivinteressen der Verbraucher beeinträchtigen oder zu beeinträchtigen drohen.

Nicht zu vergessen ist schließlich die neue Produkthaftungs-Richtlinie (PHRL). Die neue Richtlinie stellt nicht nur klar, dass ein Hersteller nunmehr auch für fehlerhafte Software haftet. Vielmehr statuiert Art. 10 Abs. 2 lit. b PHRL, dass von der Fehlerhaftigkeit eines Produkts (einschließlich Software) dann auszugehen ist, wenn der Kläger nachweist, dass das Produkt verbindliche Anforderungen des Unionsrechts hinsichtlich der Produktsicherheit, die einen Schutz gegen das Risiko des der geschädigten Person entstandenen Schadens bieten sollen, nicht erfüllt. Ein Verstoß gegen individualschützende Normen der KI-VO begründet damit zugleich eine Vermutung für die Fehlerhaftigkeit des KI-Systems, was die Durchsetzung von Schadensersatzansprüchen erheblich erleichtert.

All dies zeigt, dass die KI-VO zwar nicht im engeren Sinne zum EU-Verbraucherrecht zählt, dennoch aber eng mit diesem verwoben ist. Inwieweit die Verordnung einen Beitrag zum Verbraucherschutz leistet, bleibt gleichwohl abzuwarten, da die KI-VO erst noch durch Leitlinien, Durchführungsrechtsakte und delegierte Rechtsakte der Europäischen Kommission sowie harmonisierte Normen konkretisiert, von den mitgliedstaatlichen Marktüberwachungsbehörden durchgesetzt und von den Gerichten ausgelegt werden muss – hoffentlich nach dem Motto „pro consumatore“!

Der Blogbeitrag erschien zuerst in VuR 2024, 161.

Published under licence CC BY-NC-ND.