Die Regulierung für Hochrisiko-KI-Systeme bildet das „Herzstück“ der KI-Verordnung und stellt zugleich Unternehmen, Regulierungsbehörden, europäische Normungsorganisationen und nicht zuletzt die Kommission vor erhebliche Herausforderungen. Der Beitrag stellt die wichtigsten Vorschriften der KI-VO zuHochrisiko-KI-Systemen vor und zeigt die in diesem Zusammenhang auftretenden praxisrelevanten Fragen auf.
Ein Artikel von Prof. Dr. Martin Ebers, Tallinn (Estland) und Dr. Chiara Streitbörger, Berlin
Die KI-VO legt das Hauptaugenmerk auf die Regulierung von KI-Systemen, von denen nach Einschätzung des EU-Gesetzgebers ein hohes Risiko für die Gesundheit, die Sicherheit und die Grundrechte ausgeht. Diese Systeme werden in Kapitel III (Art. 6-49) sowie in den Anhängen I, III-IX ausführlich reguliert. Hochrisiko-KI-Systeme dürfen nur dann auf den Markt gebracht und verwendet werden, wenn sie die zwingenden Anforderungen der Art. 8 ff. erfüllen, das in Art. 43 geregelte Konformitätsbewertungsverfahren durchlaufen haben und mit einem CE-Kennzeichen (Art. 48) versehen worden sind. Sowohl Anbieter als auch Betreiber eines Hochrisiko-KI-Systems sowie sonstige Dritte (wie z. B. Einführer und Händler) unterliegen dabei weitreichenden Pflichten.
I. Anwendungsbereich
Die KI-VO zeichnet sich durch einen weiten sachlichen Anwendungsbereich aus. Nach Art. 3 Nr. 1 ist ein KI-System ein maschinengestütztes System, das für einen „in unterschiedlichem Grade autonomen Betrieb ausgelegt“ ist, nach seiner Betriebsaufnahme anpassungsfähig sein kann und aus den Inputs ableitet, wie Outputs (z. B. Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen) erstellt werden. Da die Vorschrift offenlässt, welcher Autonomiegrad vorliegen muss, werden (zumindest dem Wortlaut nach) auch deterministische Systeme erfasst. Dies wird insofern eingeschränkt, als bei den zwingenden Anforderungen an Hochrisiko-KI-Systeme vor allem lernenden Systemen Rechnung getragen wird (z. B. durch Art. 10 I, Art. 14 III).
Für den sachlichen Anwendungsbereich ist zudem zu beachten, dass die Verordnung nach Art. 2 II nicht für Produkte gilt, die unter Vorschriften des sog. alten Konzepts fallen (z. B. Luftfahrt, Kfz), da diese Produkte bereits detaillierten gesetzlichen Sicherheitsanforderungen unterliegen. Ebenfalls ausgenommen sind KI-Systeme, die beispielsweise zu militärischen Zwecken (Art. 2 III) oder der wissenschaftlichen Forschung dienen sollen (Art. 2 VI).
Handelt es sich um ein KI-Modell oder ein KI-System mit allgemeinem Verwendungszweck i.S.d. Art. 3 Nr. 63 oder 66 (z. B. ChatGPT), unterliegt auch dieses nicht den Vorschriften für Hochrisiko-KI-Systeme, da diese Modelle bzw. Systeme aufgrund ihres allgemeinen Verwendungszwecks per definitionem keiner bestimmten Risikokategorie zugeordnet werden können.
Für den räumlichen Anwendungsbereich reicht es aus, dass die Hochrisiko-KI in der EU in Verkehr gebracht, in Betrieb genommen oder das vom KI-System erzeugte Ergebnis in der EU genutzt wird. Es ist also unerheblich, in welchem Staat der Anbieter niedergelassen ist. Damit soll verhindert werden, dass durch eine Niederlassung außerhalb der EU die Pflichten der KI-VO umgangen werden und es zu einem unregulierten Datentransfer in Drittstaaten kommt.
II. Kategorisierung von Hochrisiko-KI-Systemen
Die KI-VO unterscheidet zwischen Hochrisiko-KI-Systemen, die unter die in Anhang I.A. aufgeführten EU-Rechtsvorschriften fallen, und sog. eigenständigen KI-Systemen, die Anhang III unterfallen. In beiden Fällen hängt die Einstufung als Hochrisiko-KI-System maßgeblich von der Zweckbestimmung ab. Um die Einordnung zu erleichtern, soll die Kommission Leitlinien zur praktischen Umsetzung erlassen, die durch eine umfassende Liste von Anwendungsfällen und Praxisbeispielen ergänzt werden.
Zweckbestimmung durch den Anbieter
Der Zweck eines KI-Systems wird nach Art. 3 Nr. 12 grundsätzlich vom Anbieter bestimmt. Dabei sind die „besonderen Umstände und Bedingungen der Verwendung“ nach Maßgabe der Betriebsanleitung, dem Werbe- und Verkaufsmaterial und der technischen Dokumentation zu berücksichtigen. Der tatsächlichen Verwendung sowie der Eignung zu hochriskanter Verwendung kommt dagegen keine unmittelbare Bedeutung zu. Dies wirft die Frage auf, wie weit die Definitionsmacht des Anbieters bei KI-Systemen reicht, die für unterschiedliche Zwecke eingesetzt werden können – eine Frage, die sich auch in anderen Bereichen des (EU-)Produktsicherheitsrechts stellt. Wir sind der Meinung, dass dies so auszulegen ist, dass es dem Anbieter unbenommen ist, den Zweck auf nicht-hochriskante Verwendungen zu limitieren, solange die Bestimmung nicht willkürlich erscheint.
Anhang I-Hochrisiko-KI-Systeme
Da das Produktsicherheitsrecht im Zuge des sog. New Legislative Frameworks (NLFs) für viele Produkte bereits harmonisiert worden ist, nimmt die KI-VO in Anhang I auf die bereits geltenden EU-Vorschriften Bezug (z. B. Spielzeug, Maschinen, Medizinprodukte). Nach Art. 6 I liegt ein Hochrisiko-KI-System vor, wenn zwei Bedingungen erfüllt sind. Erstens muss das KI-System seiner Zweckbestimmung nach als Sicherheitsbauteil eines in Anhang I aufgeführten Produkts verwendet werden oder selbst ein solches Produkt sein. Zweitens müssen die betreffenden EU-Produktsicherheitsvorschriften anordnen, dass für dieses Produkt eine Konformitätsbewertung durch Dritte erfolgen muss. Trotz des Versuchs, terminologische Unklarheiten zu beheben, werden in einigen Fällen immer noch praktische Einordnungsschwierigkeiten bestehen. Zum Beispiel stellt sich die Frage, ob es sich um ein Hochrisiko-KI-System handelt, wenn ein Bilderkennungssystem, das an einem Baum befestigt ist, Schäden an Seilbahnen erkennen soll. Zwar hat das KI-System in diesem Fall eine Sicherheitsfunktion, da dadurch erhebliche Sach- und Personenschäden vermieden werden. Gleichwohl ist das System nicht integraler Bestandteil eines regulierten Produkts (der Seilbahn), das diese Schäden hervorrufen kann. Liegen die Voraussetzungen des Art. 6 I vor, so ergänzt die KI-VO die bestehenden sektorspezifischen, produktsicherheitsrechtlichen Vorschriften. Die Verordnung stellt insofern klar, dass die besonderen Anforderungen der KI-VO an Hochrisiko-KI-Systeme i.R.d. bereits bestehenden Konformitätsbewertungsverfahren geprüft werden müssen und in dieses integriert werden können.
Anhang III-Hochrisiko-KI-Systeme
Die zweite Kategorie von Hochrisiko-KI-Systemen (Art. 6 II, Anhang III) bezieht sich auf eigenständige KI-Systeme, die ein hohes Risiko für die Gesundheit und Sicherheit oder für die Grundrechte natürlicher Personen darstellen. Ist die Verwendung dieser KI-Systeme in einem der in Anhang III aufgelisteten Bereiche bezweckt, gelten die KI-Systeme grds. als Hochrisiko-KI-Systeme.
Anhang III umfasst derzeit KI-Systeme in acht Bereichen (z. B. Biometrik, kritische Infrastruktur, Rechtspflege). Da die in Anhang III aufgeführten Bereiche sehr weit gefasst sind, besteht für die Praxis erhebliche Rechtsunsicherheit. Insofern ist es zu begrüßen, dass die Kommission verpflichtet ist, bis Anfang 2026 Leitlinien für die praktische Umsetzung von Art. 6 sowie eine „umfassende“ Liste praktischer Beispiele vorzulegen.
Besonders zu beachten ist der in Art. 6 III vorgesehene sog. „additional layer“: Danach ist ein KI-System, das unter Anhang III fällt, ausnahmsweise nicht als hochriskant einzustufen, wenn von ihm kein erhebliches Risiko für die Gesundheit, Sicherheit oder die Grundrechte natürlicher Personen ausgeht, insbesondere, weil es das Ergebnis der Entscheidungsfindung nicht wesentlich beeinflusst.
IV. Anforderungen an Hochrisiko-KI-Systeme
Liegt ein Hochrisiko-KI-System vor, muss dieses System zwingende Mindestanforderungen erfüllen, bevor es in den Verkehr gebracht werden kann. Bei Erfüllung der in Art. 8-15 genannten Anforderungen sind nach Art. 8 I die Zweckbestimmung des Systems, der allgemein anerkannte Stand der Technik sowie das in Art. 9 genannte Risikomanagementsystem zu berücksichtigen. Problematisch ist insofern, dass die Unternehmen weitgehend unabhängig vom konkreten Risikopotenzial des jeweiligen KI-Systems erheblichen KI-Compliance-Maßnahmen ausgesetzt werden. In der Praxis stellen Art. 8 ff. für Unternehmen daher einen erheblichen Mehraufwand dar, obwohl die konkrete Ausgestaltung des KI-Systems u.U. gar keine weiterreichende KI-Compliance erfordert.
Wie bereits erwähnt, reguliert die KI-VO Hochrisiko-KI-Systeme im Einklang mit dem NLF. Sein prägendes Merkmal ist es, bei Harmonisierung produktsicherheitsrechtlicher Vorschriften nur die wesentlichen Anforderungen in einem EU-Rechtsakt zu regeln, während die Konkretisierung dieser Anforderungen den Anbietern sowie den europäischen Normungsorganisationen (CEN, CENELEC, ETSI) überlassen bleibt. Der entsprechende Kommissions- bzw. Durchführungsbeschluss ist diesbezüglich bereits ergangen. Insofern sind die Organisationen beauftragt, bis zum 30.4.2025 technische Normen für die zwingenden Anforderungen an Hochrisiko-KI-Systeme zu entwickeln. Die harmonisierten Normen entfalten dann zugunsten der Anbieter eine Konformitätsvermutung: Soweit das Hochrisiko-KI-System mit einer harmonisierten technischen Norm übereinstimmt, wird gem. Art. 40 I eine Konformität des Systems mit den zwingenden Anforderungen der Art. 8-15 vermutet.
Vorteilhaft an diesem Regelungsansatz ist, dass technische Fragen nicht vom EU-Gesetzgeber selbst geregelt werden, sondern von privaten Organisationen, die nicht nur über einen großen technischen Sachverstand verfügen, sondern zudem – insbesondere durch Übernahme internationaler Normen (wie z. B. ISO/IEC) – die internationale Anschlussfähigkeit und Interoperabilität von KI-Systemen gewährleisten können. Problematisch ist dieser Ansatz dagegen vor allem unter dem Gesichtspunkt demokratischer Legitimität, da mit der europäischen Normung eine Delegation von Rechtssetzungsbefugnissen an private Organisationen wie CEN/CENELEC einhergeht. Unabhängig hiervon bleibt abzuwarten, ob die von CEN/CENELEC erarbeiteten harmonisierten Normen überhaupt die gewünschte Konformitätsvermutung zugunsten der Anbieter entfalten werden.
V. Pflichten der Anbieter und Betreiber von Hochrisiko-KI-Systemen
Nach der KI-VO ist der Anbieter (Art. 3 Nr. 3) verpflichtet, die Einhaltung der Anforderungen an Hochrisiko-KI-Systeme sicherzustellen (Art. 16 lit. a), er unterliegt daher den meisten Pflichten. Zu den zentralen Pflichten eines jeden Anbieters gehört die Durchführung bzw. Sicherstellung eines internen oder externen Konformitätsbewertungsverfahrens (Art. 16 lit. f), einschließlich dem Ausfüllen einer Konformitätserklärung sowie dem Anbringen der CE-Kennzeichnung auf dem System.
Darüber hinaus werden auch den Betreibern (Art. 3 Nr. 4) nicht unerhebliche Pflichten auferlegt. Betreiber sind u.a. dazu verpflichtet, geeignete technische und organisatorische Maßnahmen zu ergreifen, um die Verwendung des Hochrisiko-KI-Systems nach Maßgabe der Betriebsanleitung sicherzustellen. Ferner haben sie Informationspflichten gegenüber natürlichen Personen und ggf. Arbeitnehmern bzw. Arbeitnehmervertreter nachzugehen. Im Falle eines möglichen Risikos ist die zuständige Marktüberwachungsbehörde in Kenntnis zu setzen.
Versieht der Betreiber das KI-System mit seinem Namen oder seiner Handelsmarke, nimmt er eine wesentliche Veränderung vor, wobei das KI-System weiterhin Art. 6 unterfällt, oder ändert er die Zweckbestimmung, so dass ein vormals nicht als hochriskant qualifiziertes KI-System nun als hochriskant i.S.d Art. 6 KI-VO einzustufen ist, gilt der Betreiber als Anbieter für dieses „neue“ KI-System und unterliegt den Anbieterpflichten (Art. 25 I). Der Erstanbieter bleibt für das ursprüngliche System verantwortlich und hat mit dem neuen Anbieter zu kooperieren, damit dieser seine Pflichten erfüllen kann. Diese Kooperationspflicht entfällt nur dann, wenn der Erstanbieter eindeutig festgelegt hat, dass sein KI-System nicht in ein Hochrisiko-KI-System umgewandelt werden darf.
Verwendet die Personalabteilung eines Unternehmens ChatGPT dazu, um eingegangene Job-Bewerbungen geordnet in Tabellenform darzustellen und nach Scores zu bewerten, so ist dieses Unternehmen nicht nur Betreiber eines KI-Systems, sondern unterliegt nach Art. 25 I lit. c zugleich den Anbieterpflichten für Hochrisiko-KI-Systeme, da in diesem Fall die Zweckbestimmung eines KI-Systems mit allgemeinem Verwendungszweck (hier: ChatGPT), das nicht als hochriskant eingestuft wurde, so verändert wird, dass das betreffende System zu einem Hochrisiko-KI-System i.S.v. Art. 6 (hier: Anhang III.4.a) wird. Rechtsfolge ist, dass das betreffende Unternehmen das gesamte Konformitätsbewertungsverfahren durchführen und in diesem Rahmen dafür sorgen muss, dass die zwingenden Anforderungen der Art. 8-15 eingehalten werden – was nicht nur erheblichen Aufwand und Kosten verursacht, sondern zudem ohne Mitwirkung von OpenAI kaum möglich sein wird.
VI. Ausblick
Die KI-VO stellt Anbieter und Betreiber von Hochrisiko-KI-Systemen sowie Regulierungsbehörden, europäische Normungsorganisationen und nicht zuletzt die Kommission vor beträchtliche Herausforderungen. Deutlich wird, dass einige praxisrelevante Fragen bislang ungeklärt sind. Aus unternehmerischer Perspektive fällt vor allem der administrative und finanzielle Aufwand ins Gewicht, der künftig für die KI-Compliance aufzuwenden ist. Kritisch zu betrachten sind zudem Zusatzbelastungen, die sich aus dem horizontalen Ansatz der KI-VO ergeben: Da die KI-VO das bestehende EU-Recht nicht verdrängt, sondern dieses lediglich ergänzt, wird es für viele Unternehmen durch die parallele Anwendbarkeit unterschiedlicher (nicht aufeinander abgestimmter) Rechtsakte sowie die (gesetzlich bislang nicht koordinierte) Tätigkeit verschiedener Aufsichtsbehörden zu erheblichen Mehrbelastungen kommen.
Der Beitrag analysiert die wichtigsten Vorschriften der KI-VO zu Hochrisiko-KI-Systemen und die in diesem Zusammenhang auftretenden praxisrelevanten Fragen. Eine ausführliche Version dieses Beitrags ist vor kurzem in RDi 2024, 393 ff. erschienen.
Published under licence CC BY-NC-ND.
