Wie Europa KI reguliert

Mit der zweiten Amtszeit von Donald Trump als Präsident der USA sieht sich Europa vor einer weiteren Zeitenwende - auch im technologischen Bereich. Es ist davon auszugehen, dass es im Sinne der Tech-Giganten in den USA zu einer Deregulierung kommt, um den technologischen Fortschritt auch hinsichtlich des Einsatzes von Künstlicher Intelligenz (KI) und Machine Learning schnell und bedingungslos voranzutreiben. Aus ­heutiger Sicht ist unklar, ob das Data Privacy Framework - eine informelle Vereinbarung zwischen EU und Vereinigten Staaten zum elektronischen Datenaustausch - weiterhin Bestand haben wird.

Die Europäische Union dagegen sieht beim Umgang mit KI ethische und ökonomische Fragestellungen, die sie über die KI-Verordnung (AI Act) zu regulieren sucht. Während also die einen Regulierung als Bremse der Entwicklung anprangern, sehen die anderen darin eine notwendige Maßnahme, um die Risiken, die aus einer intransparenten Technologie, die gewaltige auch personenbezogene Datenmengen verarbeitet, ein­zugrenzen. Für Branchen wie die Gesundheits- und Sozial­wirtschaft, bei denen naturgemäß viele sensible Daten gespeichert werden, bietet der AI Act Leitplanken im Umgang mit KI und Sicherheit bei der Implementierung von KI-basierten Anwendungen. Denn dass in KI großes Potenzial steckt, um über Automatisierung den Fachkräftemangel zu kompensieren, ist unbestritten.

Der Grat zwischen überbordender Bürokratie und einer maßvollen Regulierung ist schmal. Die EU versucht diesen Balanceakt gerade mit der Regulierung von Künstlicher Intelligenz über den AI Act, der zum 1. August 2024 in Kraft getreten ist. Nun müssen die Mitgliedstaaten bis zum 2. August dieses Jahres eine Aufsichtsstruktur zur nationalen Umsetzung festlegen. Ziele der Regulierung sind die Förderung menschenzentrierter, vertrauenswürdiger KI-Anwendungen, der Schutz der Grundrechte der EU-Bürger:innen, der ­verantwortungsvolle Einsatz von Hochrisiko-KI, die Harmonisierung des Rechtsrahmens im Binnenmarkt, die Verhinderung von Diskriminierung und die Einführung von Transparenzregeln.

Verdeckte Beeinflussung und "Social Scoring" sind verboten

Die KI-Verordnung sieht einen risikobasierten Ansatz mit vier Risikoklassen vor (siehe oben stehende Tabelle). Rechtschreibprüfungen oder Empfehlungsalgorithmen unterliegen in Risikoklasse 4 einem minimalen oder keinem Risiko. Chatbots oder KI-gestützte Tools haben ein begrenztes Risiko und stehen in Risiko­klasse 3. Anwendungen mit hohem Risiko der Klasse 2 sind solche, deren Ergebnisse Auswirkungen auf den Menschen haben - man denke nur an KI-gestützte medizinische Geräte. Hier gelten Transparenz- und Risikomanagementauflagen. Anwendungen, die gegen europäische Werte und Grundrechte verstoßen, gehörten zur Hochrisikoklasse 1 und sind in der EU verboten. Dabei geht es um Technologie, die verdeckt manipuliert oder Menschen aufgrund ihres sozialen Status, ihrer Herkunft, Reli­gion oder Ähnlichem bewertet (Social Scoring).

Der nachfolgende Zeithorizont ist bei der schrittweisen Umsetzung des AI Act zu beachten:

Seit 2. Februar dieses Jahres sind KI-Anwendungen mit unannehmbarem Risikoprofil (manipulative Systeme, Social-Scoring-Anwendungen) verboten.

Organisationen haben nun die Pflicht, KI-Kompetenz bei ihren Mitarbeitenden aufzubauen (Kapitel 1 und 2). Zum 2. August 2025 treten Regelungen zu Benachrichtigungen an Behörden und zu Sanktionen, wie zum Beispiel Geldstrafen, in Kraft. Außerdem gelten dann Governance-Regeln, Verpflichtungen und Transparenz­anforderungen für GPAI-Anbieter (also KI-Systeme mit allgemeinem Verwendungszweck - "general purpose") und breitem Anwendungsspektrum wie ChatGPT).

Bereits bis 2. August 2026 sollen die strengen An­forderungen für Hochrisiko-KI-Systeme angewendet und eingehalten werden. Als Hochrisiko-Systeme werden KI-Systeme bezeichnet, die ein bedeutendes Risiko für Gesundheit, Sicherheit oder Grundrechte bergen. Hierunter können unter anderem KI-Systeme in kritischer Infrastruktur wie Medizin oder Verkehr, im Personalmanagement, in der beruflichen Bildung oder im Bankwesen fallen. Im Jahr 2027 enden die letzten Übergangsfristen und alle Unternehmen müssen die KI-Verordnung vollständig einhalten.

KI kann viele repetitive und zeitaufwendige Aufgaben automatisieren und so Ressourcen effizient verwalten. ChatGPT hat bei der Erstellung und Verarbeitung von Texten längst in vielen Einrichtungen Einzug gehalten. Innerhalb von nur zwei Jahren sind die Zugriffszahlen von ChatGPT auf monatlich 3,7 Mil­liarden Nutzende gestiegen. Weitere Beispiele sind KI-Anwendungen, die natürliche Sprache verarbeiten (sogenanntes Natural Language Processing) und ­Pflegemaßnahmen mittels Spracherfassung dokumentieren, oder Sensoren, die Gesundheitsparameter von Klient:innen überwachen und im Notfall Alarm auslösen können.

Sobald Einrichtungen KI-gestützte Anwendungen einführen, sind sie "Betreiber" im Kontext des AI Act und "Verantwortliche" im Sinne der Datenschutz­gesetze. Diese sind übrigens weiterhin neben dem AI Act anzuwenden (die DSGVO und insbesondere das Gesetz über den Kirchlichen Datenschutz, KDG, im Bereich der Caritas). In diesem Zusammenhang stellen sich noch viele ungeklärte Rechtsfragen - zum Beispiel dazu, wie der Personenbezug von Daten einzuschätzen ist.

Noch sagen 87 Prozent der befragten Sozialeinrichtungen in einer Studie der Katholischen Universität Eichstätt-Ingolstadt in Zusammenarbeit mit dem Datenschutz-Dienstleister Althammer & Kill, dass fehlendes Fachwissen die größte Hürde sei, KI einzusetzen.¹ Das muss sich nun künftig ändern. Auch eine Branche, deren Fokus auf menschlichem Miteinander und nicht auf Technologie liegt, sollte sich der voranschreitenden Digitalisierung nicht verschließen. Mit drei Schritten kommt sie der Implementierung von KI näher:

Phase 1: Der KI-Readiness-Check

Sind Organisationen bereit für den Einsatz von KI? Die richtige Einschätzung der vorliegenden Daten und Prozesse ist essenziell, um für einen verantwortungsvollen Einsatz zu sorgen, insbesondere im Gesundheits- und Sozialwesen. Dazu gehören Analysen des Datenschutzes, der IT-Sicherheit (gerade im Hinblick auf die zunehmende Cyberkriminalität) und eine Prüfung der Kompetenzen im Haus. Das Praxis-Know-how externer Berater:innen kann diese Prozesse schnell zum Abschluss bringen.

Phase 2: KI-Projekt-Assessment

Im KI-Assessment werden für konkrete Anwendungsfälle wie ChatGPT und Microsoft Copilot oder etwa für den Einsatz von Sensorik und Robotik frühzeitig die Poten­ziale analysiert. Diese werden gegen die Risiken abgewogen und die Voraussetzungen für eine erfolg­reiche Implementierung zusammengefasst. Anhand eines Maßnahmenplans kann so bereits frühzeitig auf eine rechtskonforme Implementierung geachtet werden.

Phase 3: KI-Risikomanagement

Verschiedene KI-Lösungen sollten hinsichtlich ihrer Funktionalität, Skalierbarkeit und Kompatibilität mit vorhandenen Systemen evaluiert werden. Welche Daten nutzt die KI, wie kommt sie zu Ergebnissen, welche Kon­trollmechanismen gibt es, wer sorgt für IT-­Sicherheit und Einhaltung der Unternehmens-Compliance? Diese Fragen müssen in der Risikoanalyse geklärt und im Kontext der geltenden Rechtsvorschriften adressiert werden, zum Beispiel mit Grundrechte- und Datenschutz-Folgenabschätzungen.

Die Entwicklung und Implementierung von KI-Funktionen muss sich an wechselnde Umgebungsbedingungen anpassen und der hohen Entwicklungs­geschwindigkeit Rechnung tragen.

Es ist übrigens ein Irrglaube, dass KI zwingend personenbezogene Daten verarbeiten muss. Durch die Nutzung von Technologien wie Retrieval-Augmented Generation (RAG), die auf Informationen aus zusätzlichen externen Quellen, Datenbanken oder dem World Wide Web zugreift, ist der verantwortungsvolle Einsatz von KI in Verbindung mit personenbezogenen Daten möglich. "Halluzina­tionen", also wahrheitswidrige Hervorbringungen der KI, können begrenzt und die Verwendung bestehender Datenquellen in den Einrichtungen unter Beachtung der Vorgaben der Datenschutzgesetze integriert werden.

Welche Anforderungen haben Sozialorganisationen zu beachten?

• Transparenz: KI-erstellte Bilder für Spendenkampagnen, automatisch generierte Texte oder KI-basierte Analysen: Soziale Organisationen müssen je nach Nutzungsszenario (Risikokategorie) transparent machen, dass sie KI-generierte Inhalte nutzen.

• Risikobewertung und Dokumentation: Risiken der potenziellen Benachteiligung von Menschen müssen identifiziert und Details bei der Nutzung von KI dokumentiert werden; ebenso wie Maßnahmen zur Risikominimierung und als Nachweis für Datenschutzkonformität.

• Kategorisierung von KI-Systemen: Die genutzten KI-Systeme müssen hinsichtlich ihrer Risikoklasse evaluiert und gegebenenfalls weitere Auflagen beachtet werden. Es empfiehlt sich die Inventarisierung genutzter KI-Werkzeuge in einem KI-Kataster, um die Compliance fortlaufend im Blick zu behalten.

• Schulung von Mitarbeitenden: Es muss gewährleistet werden, dass Mitarbeitende, die mit KI-basierten Anwendungen umgehen, sich der Möglichkeiten und Risiken bewusst werden. Dies ist hinsichtlich der rasanten technologischen Entwicklung ein fortlaufender Prozess. Es empfiehlt sich, auf praxisnahe Anwendungsbeispiele zu schulen, von der Best Practice anderer zu lernen und Wissenstransfer mit Wissenschaft und Expert:innen zu fördern.

• Sich der Rollen bewusst sein: Für Betreiber und Anbieter von KI-Systemen gelten unterschiedliche Auflagen im Kontext der jeweiligen Risikostufe. Bei der Entwicklung von KI-Systemen oder der Anpassung vorhandener Lösungen können Sozialunternehmen vom Betreiber zum Anbieter werden. Damit sind zusätzliche Auflagen auf Grundlage der KI-Verordnung zu beachten.

Ähnlich wie das Internet, das anfangs belächelt wurde, werden KI-Anwendungen unseren Arbeitsalltag revolutionieren; auch in Branchen mit technikfernem Fokus. Es ist an Europa, die Balance zwischen Fortschritt und Verharren im Status quo zu halten und den Schutz der Bürgerrechte und anderer Werte gegenüber den Tech-Giganten aus den USA und Asien zu wahren. Die Umsetzung des AI Act bietet dafür den richtigen Rahmen.

1. Näheres zu der Studie im Beitrag von Helmut Kreidenweis in diesem Heft.