GDPR & KI Regulation: Using ChatGPT in a legally secure manner

Warum du dich mit KI-Recht beschäftigen musst

Seit dem 2. Februar 2025 gelten die ersten Bestimmungen der EU-KI-Verordnung (EU AI Act). Weitere Vorgaben folgen schrittweise bis 2027. Gleichzeitig bleibt die Datenschutz-Grundverordnung (DSGVO) vollumfänglich anwendbar. Beide Regelwerke greifen beim Einsatz von KI-Systemen ineinander.

Der EU AI Act ist das weltweit erste umfassende Regelwerk für künstliche Intelligenz und soll Vertrauen in die Technologie schaffen, während gleichzeitig Innovationen ermöglicht werden. Für Unternehmen bedeutet das konkret: Wer KI nutzt, muss verstehen, welche Gesetze wann und wie greifen. Sonst drohen nicht nur erhebliche Bußgelder, denn auch das Unternehmensimage steht auf dem Spiel, wenn Datenschutzverletzungen oder Rechtsverstöße bekannt werden.

‍

DSGVO vs. AI Act: Was ist der Unterschied?

Viele Entscheider:innen verwechseln DSGVO und AI Act oder denken, eines ersetzt das andere. Beide Regelwerke existieren jedoch parallel und haben unterschiedliche Schwerpunkte.

Die DSGVO: Datenschutz steht im Mittelpunkt

Die Datenschutz-Grundverordnung wurde bereits 2018 eingeführt und gilt für jede Verarbeitung personenbezogener Daten. Diese Daten umfassen alle Informationen, die eine Person identifizierbar machen, wie Namen, E-Mail-Adressen, IP-Adressen, aber auch Daten von Mitarbeitenden oder Kund:inneninformationen.

Wenn du ChatGPT mit Namen fütterst, E-Mails über Microsoft Copilot analysieren lässt oder KI für das Bewerber:innenmanagement einsetzt, werden personenbezogene Daten verarbeitet. Dann greift die DSGVO mit ihren Kernanforderungen:

Es wird eine Rechtsgrundlage benötigt (Einwilligung, Vertragserfüllung oder berechtigtes Interesse). Es dürfen nur so viele Daten gesammelt werden, wie tatsächlich erforderlich sind (Datenminimierung). Transparent muss sein, was mit den Daten passiert (Informationspflicht). Betroffene haben Auskunfts-, Lösch- und Widerspruchsrechte.

Die DSGVO kennt keine Ausnahme für KI-Systeme. Im Gegenteil: Gerade bei KI-Anwendungen ist besondere Vorsicht geboten, da diese oft große Datenmengen verarbeiten und intransparent arbeiten.

‍

Der AI Act: Risikoorientierte KI-Regulierung

Der EU AI Act ist seit August 2024 in Kraft und wird schrittweise umgesetzt. Sein Fokus liegt nicht primär auf Datenschutz, sondern auf der Sicherheit und Vertrauenswürdigkeit von KI-Systemen insgesamt.

Der AI Act verfolgt einen risikobasierten Ansatz und teilt KI-Systeme in Kategorien ein:

Verbotene KI-Systeme: Social Scoring, biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum oder manipulative KI-Praktiken sind seit Februar 2025 verboten. Auch Emotionserkennung am Arbeitsplatz fällt darunter.

Hochrisiko-KI-Systeme: Dazu zählen KI-Anwendungen in kritischen Bereichen wie Bewerber:innenmanagement, Kreditvergabe, kritische Infrastruktur oder Bildung. Hier gelten ab August 2026 strenge Anforderungen an Transparenz, Dokumentation, menschliche Aufsicht und Risikomanagement.

KI-Modelle mit allgemeinem Verwendungszweck (GPAI): Seit August 2025 unterliegen Tools wie ChatGPT, Gemini oder Claude besonderen Transparenz- und Urheberrechtsvorschriften. Anbieter müssen offenlegen, mit welchen Daten ihre Modelle trainiert wurden.

Geringes oder minimales Risiko: Für die meisten anderen KI-Anwendungen gelten nur Transparenzpflichten. Du musst kennzeichnen, wenn Nutzer:innen mit einem Chatbot interagieren oder Inhalte KI-generiert sind.

Der AI Act ersetzt nicht die DSGVO, sondern ergänzt sie. Beide Regelwerke müssen gleichzeitig beachtet werden.

‍

Was bedeutet das konkret für ChatGPT & Co.?

ChatGPT: Nicht automatisch DSGVO-konform

Die kostenlose Version von ChatGPT ist für Unternehmen praktisch nicht DSGVO-konform nutzbar, wenn personenbezogene Daten verarbeitet werden. OpenAI nutzt Eingaben zum Training seiner Modelle, speichert Daten auf Servern außerhalb der EU und bietet keine ausreichenden Datenschutzgarantien für die Gratis-Version.

Anders sieht es bei ChatGPT Enterprise oder ChatGPT Team aus. Hier bietet OpenAI seit 2025 EU Data Residency an – das bedeutet, Daten europäischer Kund:innen bleiben garantiert in der EU. Zudem können Unternehmen vertraglich ausschließen, dass ihre Eingaben für Modelltraining verwendet werden.

Trotzdem gilt: Auch mit Enterprise-Version muss ein Auftragsverarbeitungsvertrag (AVV) abgeschlossen, eine Datenschutz-Folgenabschätzung durchgeführt und die Mitarbeitenden geschult werden. Sensible Daten wie Gesundheitsinformationen, Finanzdaten oder besondere Kategorien personenbezogener Daten sollten grundsätzlich nicht in Cloud-KI-Tools eingegeben werden.

Microsoft Copilot: Integration mit Office 365

Microsoft Copilot für 365 ist tief in die Microsoft-Infrastruktur integriert und bietet Unternehmen eine vergleichsweise sichere Option. Microsoft hat umfassende Datenschutzverpflichtungen und stellt Standard-Vertragsklauseln für Datenübermittlungen bereit.

Dennoch: Auch hier gilt die volle DSGVO-Compliance-Pflicht. Zudem muss geprüft werden, ob der Betriebsrat bei der Einführung beteiligt werden muss – insbesondere wenn die KI zur Leistungs- oder Verhaltenskontrolle von Mitarbeitenden geeignet ist.

Europäische Alternativen: Mistral, Aleph Alpha & Co.

Für Unternehmen mit hohen Datenschutzanforderungen empfehlen sich zunehmend europäische KI-Anbieter. Mistral AI aus Frankreich oder Aleph Alpha aus Deutschland bieten leistungsstarke Sprachmodelle mit garantierter EU-Datenverarbeitung und klaren DSGVO-Garantien.

Diese Tools sind speziell für den europäischen Markt entwickelt und vermeiden viele rechtliche Grauzonen, die bei US-Anbietern bestehen. Der Nachteil: Sie sind oft weniger bekannt und haben kleinere Entwickler-Communities als ChatGPT oder Gemini.

Konkrete Praxisbeispiele helfen mehr als abstrakte Compliance-Checklisten. Auf dem data:unplugged Festival triffst du auf Unternehmen, die diese Herausforderungen bereits gemeistert haben – von der rechtssicheren Implementierung bis zur praktischen Durchführung im Alltag.

‍

Die 7 wichtigsten Schritte zur rechtssicheren KI-Nutzung

Wie wird KI nun rechtssicher im Unternehmen eingesetzt? Diese sieben Schritte geben eine Orientierung:

1. Bestandsaufnahme: Welche KI ist bereits in Benutzung?

Erstelle ein KI-Register für dein Unternehmen. Erfasse alle KI-Tools, die bereits im Einsatz sind oder geplant werden. Dokumentiere dabei:

• Welche Tools werden genutzt? (ChatGPT, Copilot, Bildgeneratoren etc.)
• Zu welchen Zwecken? (Textgenerierung, Datenanalyse, Kundenservice etc.)
• Welche Daten werden verarbeitet? (personenbezogen, geschäftsintern, öffentlich)
• Wer nutzt die Tools? (Abteilungen, einzelne Mitarbeitende)
• Wo werden Daten gespeichert? (EU, USA, andere Drittstaaten)

Diese Bestandsaufnahme ist die Grundlage für alle weiteren Schritte und zeigt, wo rechtliche Risiken lauern.

2. Risikobewertung nach AI Act

Prüfe für jedes KI-System, in welche Risikogruppe es fällt. Die meisten Unternehmens-KI-Tools werden als geringes oder minimales Risiko eingestuft. Aber Achtung: Sobald KI für Bewerbungsauswahl, die Beurteilung von Mitarbeitenden oder Kreditentscheidungen eingesetzt wird, kann sie als Hochrisiko-System gelten.

Der risikobasierte Ansatz des AI Act bedeutet: Je höher das Risiko, desto strenger die Anforderungen. Hochrisiko-Systeme müssen ab August 2026 umfassend dokumentiert, regelmäßig getestet und von Menschen überwacht werden.

3. Interne KI-Richtlinie erstellen

Mitarbeitende brauchen klare Regeln für den KI-Einsatz. Eine interne KI-Richtlinie sollte festlegen:

• Welche KI-Tools sind erlaubt?
• Zu welchen Zwecken dürfen sie genutzt werden?
• Welche Daten dürfen nicht eingegeben werden?
• Wie werden KI-Outputs geprüft?
• Wer ist verantwortlich bei Problemen?

Wichtig: Mitarbeitende sollten nur Unternehmens-Accounts mit deaktivierten Verlaufspeicherungen nutzen. So wird vermieden, dass sensible Daten unkontrolliert in Cloud-Systeme fließen.

4. Datenschutz-Folgenabschätzung durchführen

Bei KI-Systemen ist nach Artikel 35 DSGVO in den meisten Fällen eine Datenschutz-Folgenabschätzung (DSFA) erforderlich. Die Aufsichtsbehörden betonen, dass bei KI-Anwendungen häufig von einem hohen Risiko auszugehen ist.

Eine DSFA dokumentiert:

• Welche Risiken für Betroffene bestehen
• Welche Maßnahmen zum Schutz getroffen werden
• Ob die Verarbeitung verhältnismäßig ist

Die DSFA ist kein bürokratisches Hindernis, sondern hilft dir, Risiken frühzeitig zu erkennen und rechtssicher zu handeln.

5. Auftragsverarbeitungsvertrag abschließen

Wenn externe KI-Anbieter genutzt werden, ist das Unternehmen datenschutzrechtlich Verantwortlicher – der Anbieter ist Auftragsverarbeiter. Dann bedarf es einen Auftragsverarbeitungsvertrag (AVV). Dieser regelt:

• Zweck und Dauer der Datenverarbeitung
• Art der verarbeiteten Daten
• Pflichten und Rechte beider Seiten
• Technische und organisatorische Maßnahmen
• Subunternehmer und deren Standorte

Die meisten professionellen KI-Anbieter bieten Standard-AVVs an. Diese sollten sorgfältig geprüft und bei Bedarf angepasst werden. Besonders wichtig ist dabei, auszuschließen, dass Daten für Modelltraining verwendet werden.

6. Mitarbeitende schulen

Die Mitarbeitenden sind der Schlüssel zur rechtssicheren KI-Nutzung. Artikel 4 der KI-Verordnung verpflichtet Unternehmen ausdrücklich, sicherzustellen, dass Mitarbeitende über die notwendigen KI-Kompetenzen verfügen.

Teams sollten in folgenden Bereichen geschult werden:

• Welche Daten dürfen in KI-Tools eingegeben werden – und welche nicht?
• Wie erkennt man KI-Halluzinationen und Fehlinformationen?
• Wie werden Urheberrechte bei KI-generierten Inhalten gewahrt?
• Was tun bei Datenpannen oder Sicherheitsvorfällen?

Im Austausch mit anderen Unternehmen findest du wertvolle Ansätze, wie Teams erfolgreich für den KI-Einsatz qualifiziert werden. Auf dem data:unplugged Festival wird diese Wissensvermittlung gezielt gefördert – praxisnah und umsetzbar.

7. Kontinuierliches Monitoring und Anpassung

KI-Recht entwickelt sich rasant weiter. Was heute rechtssicher ist, kann morgen bereits überholt sein. Ein kontinuierliches Monitoring ist daher nach wie vor von großer Bedeutung:

• Mindestens jährlich prüfen, ob die eingesetzten KI-Systeme noch den aktuellen Anforderungen entsprechen
• Behördenvorgaben und Gerichtsurteile verfolgen
• Interne Richtlinien bei Bedarf anpassen
• Alle Änderungen sorgfältig dokumentieren

Die Europäische Kommission veröffentlicht regelmäßig Updates und Leitfäden zur Umsetzung des AI Act. Auch die Datenschutzbehörden geben fortlaufend Orientierungshilfen heraus.

‍

Further special features for SMEs

In addition to the general requirements, there are a number of challenges that affect SMEs in particular:

Works Council participation

In Germany, if AI tools are suitable for monitoring employees or affect their workplaces, the works council has the right of participation. This also applies to productivity tools such as Microsoft Copilot, when they can analyze work processes.

A works agreement provides clarity for all parties and prevents subsequent conflicts.

Unclear responsibilities

In Germany, it is still unclear which authority will be responsible for compliance with the AI Act. The Federal Network Agency, the Data Protection Conference and the BSI are discussed. This uncertainty doesn't make things easier, but it doesn't release you from the obligation to comply with laws.

lack of resources

Many medium-sized companies do not have their own data protection officer or IT security experts. Nevertheless, you must meet the legal requirements. External know-how helps here: Specialized law firms, data protection consultants or AI compliance service providers can help you implement it. Competence platforms also offer free initial consultations for companies.

‍

Conclusion: Legally secure with AI — possible and feasible

The legal requirements for AI tools are complex, but by no means insurmountable. It is crucial to have a structured approach that includes both General Data Protection Regulation (GDPR) as well as the AI Act, as both regulations apply in parallel and must be observed. Early and careful planning helps to avoid expensive improvements and fines. This does not require in-depth legal expertise, but a solid basic understanding as well as clear processes and responsibilities within the company is required.

AI offers enormous opportunities, especially for SMEs, through efficiency gains, cost reductions and better decision-making bases. In order to use this potential securely and in a legally compliant manner, investment in AI expertise and continuous training is essential. This allows your company to take full advantage of the technology while ensuring compliance with legal requirements.

You can find out how other SMEs are using AI in a legally secure and successful manner at data:unplugged festival 2026 on March 26 & 27 in Münster. Here, companies from the logistics, mechanical engineering, manufacturing or retail sectors share their implemented use cases on GDPR compliance, AI Act implementation and AI governance: from order processing contracts to data protection impact assessments to employee training. At the SME Stage and a further four stages, space will be created for exchange on well-founded practical examples of AI law and compliance in order to understand the benefits of the technology and make them legally secure.

AI compliance affects all areas of the company: For effective implementation, it is crucial to involve key people in your company, train them and positively prepare them for deployment. data:unplugged stands for a broad and well-founded transfer of knowledge — from which the entire business team benefits. Get a ticket for yourself and your core team now!