Positionspapier der Datenschutzkonferenz zu empfohlenen technischen und organisatori­schen Maßnahmen bei der Entwicklung und dem Betrieb von KI-Systemen

Die DSK unterteilt den Lebenszyklus eines KI-Systems in folgende zentrale Phasen: Designphase, Entwicklungsphase, Einführungsphase sowie Betriebs- und Monitoringphase. Jede dieser Phasen erfordert spezifische technische und organisatorische Maßnahmen, um die datenschutzrechtlichen Anforderungen der DSGVO zu erfüllen. 

Zur Einhaltung der Anforderungen orientiert sie sich an den Gewährleistungszielen Datenminimierung, Verfügbarkeit, Vertraulichkeit, Integrität, Intervenierbarkeit, Transparenz und Nichtverkettung (Art. 5 und 32 DSGVO). Im Folgenden werden ausgewählte Gewährleistungsziele anhand der Lebensphasen eines KI-Systems im Überblick dargestellt.

In der Designphase werden grundlegende Entscheidungen über die Architektur des KI-Systems getroffen. Der Grundsatz „Data Protection by Design“ soll den Datenschutz von Anfang an berücksichtigen. Um der Datenminimierung gerecht zu werden, dürfen nur die für den Zweck des KI-Systems erforderlichen Daten erhoben werden. Da das Training einer KI eine Verarbeitung im Sinne der DSGVO darstellt, muss bei der Verarbeitung personenbezogener Daten eine einschlägige Rechtsgrundlage vorhanden sein. Zudem muss dokumentiert werden, wo Daten erhoben, gespeichert und verarbeitet werden. Bereits hier sollten Verschlüsselungstechniken sowie rollenbasierte Zugriffskontrollen als Sicherheitsmaßnahmen eingeplant werden, um unbefugten Zugriff auf sensible Daten zu verhindern. Bei der Auswahl der technischen Grundlage des KI-Modells ist zu beachten, dass dieses nach einer Löschanfrage entsprechend angepasst werden muss, um personenbezogene Daten zu entfernen. Hierfür sollen, sofern möglich, die personenbezogenen Daten im KI-Modell direkt identifiziert und entfernt werden. Alternativ können Techniken des Machine Unlearning oder des Fine-Tuning zum Einsatz kommen.

Die Rohdaten müssen in der Entwicklungsphase aufbereitet werden. Außerdem ist das KI-Modell zu trainieren und zu validieren. Die zuvor angedachten Schutzmechanismen sind umzusetzen. Personenbezogene Daten, die für das KI-Modell zwingend notwendig sind, sind zu anonymisieren oder zu pseudonymisieren. Der Verantwortliche hat zu dokumentieren, welche personenbezogenen Rohdaten er zu Trainingsdaten verarbeitet. Es sind Informationspflichten über Verarbeitungszwecke, Datenempfänger und Speicherfristen festzulegen, damit der Verantwortliche seine Transparenzpflicht erfüllen kann. Er muss die Integrität des trainierten KI-Modells und der Trainings-, Validierungs- und Testdaten sicherstellen. Darüber hinaus muss er die Qualität der Ausgaben prüfen und sicherstellen, dass keine Rückschlüsse auf personenbezogene Ergebnisse oder eine Identifizierung einer Person aus den zugrundeliegenden Daten möglich sind.

Die Einführungsphase umfasst die Verteilung der Software sowie deren Konfiguration für den Produktivbetrieb. Vor der Freigabe des Systems müssen datenschutzfreundliche Voreinstellungen implementiert werden - „Data Protection by Default“. Damit geht auch eine Dokumentation einher, die auch für Nicht-Entwickler verständlich sein soll. Dies betrifft insbesondere die Konfiguration von Zugriffsrechten und Protokollierungsmechanismen.

In dieser Phase wird das KI-System in seiner Produktivumgebung aktiv genutzt und ist kontinuierlich zu überwachen. Alle relevanten Aktivitäten im System sollten protokolliert werden, um die Nachvollziehbarkeit zu gewährleisten. Regelmäßige Prüfungen sind notwendig, um sicherzustellen, dass das System den definierten Standards weiterhin entspricht. Für Systeme mit hohem Risiko müssen Mechanismen zur Risikobewertung implementiert sein. Es ist auch darauf zu achten, dass nur relevante personenbezogene Daten herausgegeben werden. 

Besondere Bedeutung kommt hier der Intervenierbarkeit zu. Bei entscheidungsunterstützenden KI-Systemen sind Einwirkungsmechanismen zu implementieren, die eine fundierte menschliche Entscheidung ermöglichen. Darüber hinaus sind die Betroffenenrechte nach Art. 15, 16, 17 und 18 DSGVO zu wahren. Es muss möglich sein, unrichtige personenbezogene Trainingsdaten auf Verlangen eines Betroffenen zu berichtigen. Ein Löschungsanspruch eines Betroffenen muss mithilfe der in der Designphase implementierten technischen Lösungen umgesetzt werden, wobei der Erfolg nachgewiesen werden muss. Ein Ausgabefilter stellt keine Löschung dar.

Angesichts der meist sehr großen Datenmengen, die sowohl für die Entwicklung als auch für das laufende Training und die Aktualisierung von KI-Systemen erforderlich sind, ist es für Unternehmen unerlässlich, von Anfang an die Vorgaben des Datenschutzrechts konsequent zu beachten und „mitzudenken“. Nur so lassen sich die Rechte und Freiheiten betroffener Personen wirksam schützen und haftungsrechtliche Risiken verringern. Die Ausführungen der DSK können dabei eine wertvolle Orientierung bieten und sollten bei der Planung und Entwicklung von KI-Systemen berücksichtigt werden.