Pflichten für Nutzer von KI: Der neue AI-Act

Generell verboten sind KI-Systeme mit einem nicht akzeptablem Risiko. Darunter fallen Systeme, die menschliches Verhalten manipulieren und Menschen schaden können.

Dann gibt es die Gruppe mit hohem Risiko, hier sieht der AI Act eine Vielzahl von Maßnahmen vor, z.B. Dokumentationspflichten, Pflicht zur Risikobewertung, EU-Konformitätserklärungen und Pflichten zur „menschlichen Aufsicht“.

Hier gibt es 2 Untergruppen. Die erste Untergruppe erfasst KI-Systeme, die in Produkten verwendet werden oder selbst Produkt sind (z.B. in Aufzügen, Flugzeuge usw.).

Die zweite Gruppe betrifft KI-Systeme, die sich auf Grundrechte auswirken. Hierzu gibt es einen Anhang III zum AI Act mit einer langen Liste solcher KI-Systeme. Das betrifft u.a. Systeme zur Beschäftigung, zum Personalmanagement und für den Zugang zu selbstständiger Tätigkeit (z.B. zur Auswahl von Bewerbern oder zur Kontrolle von Leistung und Verhalten von Arbeitnehmern).

An dieser Stelle greift eine Gegenausnahme, d.h. solche KI-Systeme sind dann kein Hochrisiko-System, wenn mit seiner Hilfe lediglich das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit verbessert werden soll.

Wer Hochrisiko-Systeme nutzt bzw. betreibt, muss insbesondere die für das eingesetzte KI-System geltende Gebrauchsanweisung verwenden, die Eingabedaten sorgfältig auswählen, den Betrieb des KI-Systems überwachen und Protokoll- und Unterrichtungspflichten nachkommen.

Es folgt die Gruppe mit einem begrenzten Risiko, der AI Act nennt sie „bestimmte KI-Systeme“.

Das sind Systeme, die mit Menschen interagieren (z.B. Chatbots), Emotionserkennung oder biometrische Kategorisierung betreiben oder künstliche Inhalte generieren, die realen Personen, Orten oder Gegenständen ähneln (sog. Deep Fakes).

Innerhalb dieser Gruppe mit begrenztem Risiko gibt es eine Untergruppe mit sog. systemischem Risiko, die anhand großer Datenmengen durch „self-supervised learning“ nicht nur für einen speziellen Zweck trainiert wurden, sondern einem allgemeinen Verwendungszweck dienen. Hierunter fallen bspw. GPT von Open AI oder Bard von Google. Für diese gibt es zusätzliche Anforderungen hinsichtlich der Transparenz, der Einhaltung von Copyright-Anforderungen und der Veröffentlichung einer „detaillierten Zusammenfassung“ der zum Training dieser Modelle genutzten Daten.

Kennzeichnungspflichten

Der Einsatz von KI muss (spätestens ab Mai 2025) offengelegt bzw. das Material gekennzeichnet werden, wenn

• … Bild-, Ton- oder Videoinhalte erzeugt oder manipuliert werden, die wirklichen Personen, Gegenständen, Orten oder anderen Einrichtungen oder Ereignissen merklich ähneln und einer Person fälschlicherweise als echt oder wahrhaftig erscheinen würden („Deepfake“).

Ausnahme: Ist der Inhalt Teil eines offensichtlich künstlerischen, kreativen, satirischen, fiktionalen oder analogen Werks oder Programms, so beschränken sich die in diesem Absatz festgelegten Transparenzpflichten darauf, das Vorhandensein solcher erzeugten oder manipulierten Inhalte in geeigneter Weise offenzulegen, die die Darstellung oder den Genuss des Werks nicht beeinträchtigt.

• … Text erzeugt oder manipuliert wird, der veröffentlicht wird, um die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren.

Ausnahme: Diese Pflicht gilt nicht, wenn die Verwendung zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist oder wenn die durch KI erzeugten Inhalte einem Verfahren der menschlichen Überprüfung oder redaktionellen Kontrolle unterzogen wurden und wenn eine natürliche oder juristische Person die redaktionelle Verantwortung für die Veröffentlichung der Inhalte trägt.

Die vierte Gruppe betrifft KI-Systeme mit einem geringen oder mit keinem Risiko; hierzu gibt es (noch) keine Regulierung.