KI-Kompetenz – FAQ Teil 2: Wie funktioniert das neue KI-Recht?

26.08.2024

Prof. Dr. Rolf Schwartmann, Leiter der Forschungsstelle für Medienrecht an der TH Köln; Vorsitzender der Gesellschaft für Datenschutz und Datensicherheit (GDD) e.V.

Wie funktioniert der risikobasierte Ansatz der KI-VO? Die KI-VO stuft das Risiko in drei Kategorien ein. Sie lauten wie in einer Pyramide erstens risikolos und erlaubt, zweitens hochriskant und nur unter strengen Voraussetzungen zulässig und drittens verboten. Ist der Einsatzzweck hochriskant, gelten sehr strenge und spezifische Pflichten für den Betrieb eines KI-Systems.

Wann ist KI verboten? Die verbotenen Zwecke legt die KI-VO ebenso fest wie die hochriskanten Zwecke. Dazu zählt etwa sog. Social Scoring, bei dem man Menschen per KI manipuliert und klassifiziert und von dieser Klassifizierung deren Behandlung abhängig macht.

Wann ist KI hochriskant? Wann KI hochriskant ist, bestimmt das Recht selbst und benennt dafür konkrete Bereiche. So ist KI, die die Bedingungen von Arbeitsverhältnissen beeinflussen kann, oder die für die Bewertung von Lernergebnissen im Bildungsbereich, also bei Schülern, Auszubildenden oder Studierenden verwendet wird, hochriskant. Andere hochriskante Bereiche sind Gesundheit und Justiz.

Gibt es Ausnahmen von der Einordnung einer KI als hochriskant? Das Gesetz enthält Ausnahmen von dieser Einstufung als hochriskant. Das ist dann der Fall, wenn die KI nur unmaßgebliche Hilfsaufgaben übernimmt und ein zuvor gefundenes menschliches Ergebnis optimiert, aber nicht beeinflusst.

Wann darf man hochriskante KI konkret verwenden? Wenn man KI verwendet, die als hochriskant eingestuft ist, dann muss man die strengen Pflichten einhalten, die die KI-VO daran knüpft. Diese bestehen etwa darin, passende Eingabedaten auszuwählen, den Betrieb des KI-Systems zu überwachen, von dem System erzeugte Protokolle aufzubewahren und von der Verwendung des Systems betroffene Arbeitnehmer zu informieren. Zudem muss eine menschliche Aufsicht installiert werden. Behörden müssen sich schließlich mit der Frage auseinandersetzen, wie der Einsatz des KI-Systems die Grundrechte der betroffenen Personen beeinflusst.

Wo lauert das größte Risiko für Verwender von KI? Setzt man als Arbeitgeber, oder als Beschäftigter unter Missachtung betrieblicher Anweisungen GPAI ein, dann muss man genau auf die Verwendungszwecke achten. Bei ChatGPT handelt es sich um ein sog. GPAI-KI-System mit allgemeinem Verwendungszweck. Man kann es für beliebige Zwecke nutzen. Der Bot kann Liebes- und Hassgedichte schreiben. Da man GPAI für beliebige Zwecke verwenden kann, verlangt der Einsatz dieser KI jedermann, der sie verwendet eine schwierige Entscheidung ab. Er muss bei der konkreten Verwendung bewerten, ob sie im konkreten Fall hochriskant ist. Das hängt allein vom Zweck der Verwendung ab. Die KI-VO besagt, dass jeder, der GPAI eigenmächtig zu einem Zweck einsetzt, der als hochriskant einzustufen ist, Anbieter von KI wird. Er muss dann die komplexen, auf die Hersteller zugeschnittenen Pflichten erfüllen. Diese sind für Verwender aber kaum zu stemmen.

Woran erkennt man hochriskante Anwendungen? Faustformel: Immer dann, wenn der Einsatz der KI einen Menschen in Rechten betreffen kann, also etwa bei der Bewertung in Beruf oder Schule oder bei der Erbringung öffentlicher Leistungen sollte man zurückhaltend sein. Sich von der KI eine Geschichte erzählen oder einen Reisetipp geben zu lassen, ist demgegenüber unproblematisch.