EU AI Act Unterlagen: Was der Mittelstand mindestens bereithalten muss

Einleitung

Niemand wacht morgens auf und denkt: Heute prüfe ich, ob meine AI-Act-Dokumentation steht. Wenn die Behörde anfragt, sollte aber zumindest klar sein, in welchem Ordner die Antwort liegt.

AI-Act-Prüfungen kommen anlassbezogen. Eine Beschwerde, ein Vorfall, eine Marktbeobachtung, schon liegt eine Anfrage im Postfach. Wer dann erst sortieren muss, welche KI im Haus überhaupt läuft, ist im Nachteil. Dieser Artikel zeigt, welche EU AI Act Unterlagen ein mittelständisches Unternehmen mindestens bereithalten sollte und wie sich das schlank organisieren lässt.

TL;DR

Eine AI-Act-Prüfung läuft primär über Dokumentation. Die Aufsicht will sehen, dass das Unternehmen seine KI kennt, einordnet und kontrolliert.

Sechs Dokumentenblöcke decken den Standardfall ab: KI-Inventar, Risikoklassifizierung, Rollenmatrix, KI-Richtlinie, Anbieterunterlagen, Schulungsnachweise.
Pro KI-System gehört eine kompakte KI-Akte mit Zweck, Datenarten, Rolle und Risikoeinstufung dazu.
Bei Hochrisiko-Systemen kommen technische Dokumentation, Risikomanagement, Logging und menschliche Aufsicht obendrauf.
Eine sechsteilige Ordnerstruktur reicht, um morgen prüffähig zu sein.

Was ist eine AI-Act-Prüfung?

Eine AI-Act-Prüfung ist eine behördliche Kontrolle der Pflichten aus der EU-KI-Verordnung. Zuständig sind zwei Ebenen: das AI Office der EU-Kommission für Modelle mit allgemeinem Verwendungszweck (General-Purpose AI), und die nationalen Marktüberwachungsbehörden für KI-Systeme im Einsatz. In Deutschland nennen IHK-Informationen die Bundesnetzagentur als zentrale Stelle, andere Übersichten verweisen auf den laufenden Umsetzungsprozess.

Schematischer Ablauf einer AI-Act-Prüfung von Anfrage bis Maßnahmen

Geprüft wird typischerweise so: Die Behörde fordert Unterlagen an, bewertet die Konformität, vertieft bei Verdacht und kann bei Nichtkonformität Korrekturmaßnahmen oder Marktbeschränkungen anordnen. Der Hebel liegt also auf der vorhandenen Dokumentation, nicht auf der Vor-Ort-Inspektion.

Damit ist die operative Frage klar: Welche Unterlagen müssen vorliegen, wenn die Anfrage kommt?

Lehre aus dem DORA-Kontext

Wer aus dem Finanz- oder Versicherungssektor DORA-Prüfungen kennt, weiß, was passiert, wenn Strukturen nicht stehen: Konzerne ziehen ganze Abteilungen monatelang aus dem operativen Geschäft, um Nachweise zu rekonstruieren. Diese Eskalation kann der Mittelstand vermeiden, wenn das Mindestset früh und schlank aufgebaut wird. Der Aufwand bei der Vorbereitung ist um Größenordnungen kleiner als der Aufwand bei einer Anfrage ohne Vorbereitung.

Das Mindestpaket an EU AI Act Unterlagen: sechs Blöcke

Die folgenden sechs Blöcke decken den Standardfall in einem KMU ab. Wer sie sauber pflegt, ist auf eine erste Behördenanfrage besser vorbereitet als der Branchendurchschnitt.

Das Mindestpaket an EU AI Act Unterlagen für mittelständische Unternehmen

KI-Inventar / Systemliste: Zeigt, welche KI-Systeme eingesetzt, getestet oder bereitgestellt werden, in welchem Bereich und mit welchen Daten.
Risikoklassifizierung je Use Case: Belegt, ob das System verboten, hochriskant, mit begrenztem oder minimalem Risiko eingestuft wurde und warum.
Rollen- und Verantwortlichkeitsmatrix: Zeigt, wer fachlich, technisch, rechtlich und operativ verantwortlich ist.
Interne KI-Richtlinie / Policy: Beschreibt zulässige Nutzung, Verbote, Freigaben, Datenumgang und Pflichten der Mitarbeitenden.
Anbieter- und Vertragsunterlagen: Belegt, welcher Anbieter genutzt wird, wo Daten verarbeitet werden und welche Compliance-Zusicherungen vorliegen.
Schulungs- und KI-Kompetenznachweise: Zeigt, dass betroffene Mitarbeitende zu Nutzung, Risiken und Regeln geschult wurden.

Diese sechs Blöcke beantworten die fünf Kernfragen einer Aufsicht: Welche KI? Welche Risikostufe? Wer ist verantwortlich? Welche Regeln gelten? Welche Nachweise liegen vor?

Die KI-Akte pro System

Pro relevantem KI-System sollte eine eigene Kurzakte existieren. Sie muss am Anfang nicht 100 Seiten umfassen, aber mindestens diese Felder enthalten:

Beispiel einer kompakten KI-Akte pro System mit den wichtigsten Prüffeldern

Name des Systems und Anbieter
Zweck und Einsatzbereich, etwa Support, Vertrieb, Recruiting, Qualitätsprüfung, interne Textassistenz
Betroffene Datenarten: Kundendaten, Mitarbeiterdaten, Bewerberdaten, interne Dokumente
Rolle des Unternehmens: reine Nutzung, eigener Betrieb oder wesentliche Veränderung des Systems
Begründete Risikoeinstufung mit Datum und interner Freigabe
Bekannte Grenzen und typische Fehlerrisiken

Die KI-Akte ist das Dokument, auf das die Behörde meist zuerst schaut. Sie zeigt, dass das Unternehmen seine KI-Landschaft kennt und sie nicht blind einsetzt.

Governance-Nachweise

Neben den Systemakten will eine Behörde sehen, wie KI organisatorisch gesteuert wird. Vier Belege reichen für den Anfang:

Benannter KI-Verantwortlicher oder Owner pro System
Freigabeprozess für neue Use Cases: Fachbereich, IT, Datenschutz/Compliance, Freigabe
Änderungsprozess für neue Modellversionen, neue Prompts, neue Datenquellen, neue Anbieterfunktionen
Incident- und Beschwerdeprozess für Fehlentscheidungen, Datenabflüsse, diskriminierende Ergebnisse, sonstige Auffälligkeiten

Das muss nicht bürokratisch sein. Ein schlanker, schriftlich freigegebener Ablauf mit Verantwortlichen und Prüfschritten reicht.

Anbieter- und Vertragsmappe

Die meisten KMU entwickeln keine KI selbst, sondern nutzen SaaS-Produkte oder APIs. Damit verschiebt sich der Compliance-Schwerpunkt auf die Lieferanten. Folgende Inhalte gehören in die Anbietermappe:

Vertrag bzw. Bestellunterlagen und Leistungsbeschreibung
Datenschutznachweise: AVV/DPA, Verarbeitungsorte, Unterauftragsverarbeiter
Sicherheitsunterlagen wie TOMs, Zertifizierungen, Security-Whitepaper, Trust-Center-Inhalte
Compliance-Zusicherungen zur AI-Act-Relevanz, Dokumentation, Audit-Unterstützung, Konformitätserklärung
Versions- und Änderungsinformationen zur eingesetzten Modell- oder Produktversion

Wenn diese Unterlagen fehlen, sollten sie aktiv beim Anbieter angefordert werden. Bei einer Prüfung wird genau dieser Punkt häufig zum Engpass, weil SaaS-Anbieter oft Wochen für Compliance-Dokumente brauchen.

Schulung und KI-Kompetenz nach Artikel 4

Artikel 4 des AI Act verlangt KI-Kompetenz bei den Mitarbeitenden, gibt aber kein starres Nachweisformat vor. Empfohlen sind diese Mindestbelege:

Liste der Mitarbeitenden oder Rollen, die mit KI arbeiten
Kurzes Kompetenz-Assessment oder rollenbasierte Zuordnung
Schulungsunterlagen oder Agenda
Teilnehmerlisten mit Datum, Thema, Dauer
Versionierte interne KI-Nutzungsrichtlinie

Pflichtblock, kein Nice-to-have. Es ist der schnellste Nachweis, dass KI nicht unkontrolliert an beliebige Mitarbeitende verteilt wurde.

Wenn ein Hochrisiko-System im Spiel ist

Sobald ein Hochrisiko-System eingesetzt oder bereitgestellt wird, reicht das Sechserpaket nicht mehr. Zusätzlich erforderlich sind:

Zentrale Bausteine eines Hochrisiko-Systems unter dem EU AI Act

Technische Dokumentation des Systems mit Zweck, Design, Daten, Metriken, Tests, Grenzen, Restrisiken
Dokumentiertes Risikomanagementsystem
Logging- und Überwachungsnachweise
Konzept zur menschlichen Aufsicht
Nachweise zu Robustheit, Genauigkeit, Cybersicherheit
Gegebenenfalls Konformitätsbewertung, EU-Konformitätserklärung, CE-Kennzeichnung, Registrierung

Das eigentliche Risiko für KMU liegt häufig im Selbstverständnis. Sie glauben, „nur ein Tool zu nutzen", obwohl der konkrete Anwendungsfall regulatorisch deutlich sensibler ist. Typische Beispiele: HR-Auswahlentscheidungen, Bewertungs- und Zugangsentscheidungen, Sicherheitskontexte, kritische Geschäftsentscheidungen mit Außenwirkung.

Eine pragmatische Ordnerstruktur für deine EU AI Act Unterlagen

Wer schlank starten will, kann genau diese sechs Ordner anlegen:

Pragmatische Ordnerstruktur für EU AI Act Unterlagen im Mittelstand

01_KI-Inventar/ mit der Systemliste, etwa als Excel oder Tabelle
02_Risikobewertungen/ mit einer kurzen Bewertung pro Use Case
03_Policies/ mit KI-Richtlinie, Freigabeprozess, Incident-Prozess
04_Anbieter/ mit Verträgen, DPA, Sicherheits- und Compliance-Unterlagen
05_Schulungen/ mit Schulungsfolien, Teilnehmerlisten, Datumsnachweisen
06_Hochrisiko/ nur falls relevant, mit technischer Dokumentation, Logs, Konformität, Monitoring

Sechs Ordner, jeweils ein klarer Zweck. Damit beantwortest du eine erste Anfrage in der Regel innerhalb weniger Tage.

Häufige Fehler und wichtige Hinweise

Schatten-KI ignorieren: Mitarbeitende nutzen ChatGPT, Copilot oder Übersetzungs-APIs, ohne dass das Inventar das abbildet. Die Behörde unterscheidet nicht zwischen offizieller und inoffizieller Nutzung.
Risikoklassifizierung ohne Datum und Freigabe: Eine Einstufung ohne Zeitpunkt und Verantwortlichen ist im Streitfall wenig wert.
Anbieterunterlagen erst im Prüfungsfall anfordern: Die Antwortfrist einer Behörde verträgt sich nicht mit Wochen-Wartezeiten beim Anbieter.
Schulungsnachweise ohne Teilnehmerlisten: Eine Schulung ohne Datum und Namen ist faktisch nicht nachweisbar.
Hochrisiko unterschätzen: Recruiting-Tools, Bonitätsprüfungen oder Zugangssteuerung fallen schneller in die Hochrisiko-Klasse, als viele Mittelständler annehmen.

FAQ

Wie schnell muss ein Unternehmen Unterlagen vorlegen?

Konkrete Fristen variieren je nach Anlass und Behörde. In der Praxis sollte ein Unternehmen so aufgestellt sein, dass es innerhalb weniger Tage zeigen kann, welche KI im Einsatz ist, in welcher Risikoklasse, wer verantwortlich ist und welche Nachweise vorliegen.

Reicht ein einzelnes Compliance-Dokument?

Nein. Ein einzelnes Policy-PDF beantwortet keine der zentralen Aufsichtsfragen. Mindestens nötig sind Inventar, Risikoklassifizierung, Rollen, Anbieterunterlagen und Schulungsnachweise.

Gilt der AI Act auch, wenn das Unternehmen nur ChatGPT oder vergleichbare Tools nutzt?

Ja. Auch reine Nutzung fällt unter den AI Act, je nach Use Case mit unterschiedlichen Pflichten. Insbesondere Artikel 4 zur KI-Kompetenz und die internen Governance-Pflichten greifen unabhängig von der Eigenentwicklung.

Was passiert bei festgestellter Nichtkonformität?

Die Behörde kann Korrekturmaßnahmen anordnen, die Nutzung einschränken, das System vom Markt nehmen oder Verbote aussprechen. Bei grenzüberschreitender Relevanz werden Kommission und andere Mitgliedstaaten informiert.

Welche Behörde ist in Deutschland zuständig?

Für klassische KI-Systeme die nationale Marktüberwachungsstruktur, nach IHK-Informationen die Bundesnetzagentur als zentrale Stelle. Für Modelle mit allgemeinem Verwendungszweck zusätzlich das AI Office der EU-Kommission. Bei Datenschutz-, Grundrechte- oder Produktsicherheitsfragen können Fachbehörden parallel beteiligt sein.

Fazit

Die EU AI Act Unterlagen, die ein mittelständisches Unternehmen mindestens bereithalten sollte, sind sechs Blöcke: Inventar, Risikoklassifizierung, Rollen, Policy, Anbieter, Schulungen. Pro System kommt eine kompakte KI-Akte hinzu, bei Hochrisiko-Einsatz ein erweitertes Dokumentationspaket. Wer diese Struktur sauber pflegt, beantwortet eine Behördenanfrage in Tagen statt in Monaten.

Konkreter nächster Schritt: Lege heute die sechs Ordner an. Trage die KI-Systeme ein, die du kennst. Frag im Team nach denen, die du nicht kennst. Die Lücke zwischen diesen beiden Listen ist das eigentliche Compliance-Risiko.

Hilfreiche Links

Autor: Erik Weber