Der Algorithmus als Richter: Artikel 22 DSGVO, das SCHUFA-Urteil und das Recht auf eine menschliche Entscheidung

Der Aufhänger: Eine Zahl, die niemand getroffen hat

Stell dir vor, du willst ein Auto finanzieren, einen Mobilfunkvertrag abschließen oder eine Wohnung mieten. Du füllst ein Formular aus, drückst auf „Absenden", und Sekunden später kommt die Antwort: abgelehnt. Kein Sachbearbeiter hat dein Gesuch gelesen, kein Mensch hat über dich nachgedacht. Zwischen deinem Antrag und der Ablehnung stand eine einzige Zahl – ein Wahrscheinlichkeitswert, berechnet von einer Auskunftei, die du nie kontaktiert hast, auf Grundlage von Daten, deren Herkunft du nicht kennst, nach einer Formel, die als Geschäftsgeheimnis gehütet wird.

Die Bank sagt dir: „Wir haben nicht entschieden, das war der Score." Die Auskunftei sagt dir: „Wir haben nicht entschieden, wir liefern nur eine Zahl. Entschieden hat die Bank." Zwischen diesen beiden Aussagen klafft eine Lücke, in der du als betroffene Person verschwindest. Niemand will die Entscheidung getroffen haben, und doch ist sie gefallen. Genau in diese Lücke hat der Gerichtshof der Europäischen Union am 7. Dezember 2023 hineingegriffen – mit einem Urteil, das die Frage neu beantwortet, wer eigentlich entscheidet, wenn eine Maschine rechnet.

Für jemanden wie Sven – Senior AI Engineer zwischen Cloud-Architektur, Softwaredesign und IT-Sicherheit – ist das keine Frage für das Verbraucherschutzressort. Es ist eine Architekturfrage. Jedes System, das Menschen automatisiert bewertet, filtert, priorisiert oder ablehnt – Kreditscoring, Betrugserkennung, Bewerber-Vorauswahl, dynamische Preisgestaltung, Risikoklassifizierung – bewegt sich potenziell im Anwendungsbereich von Artikel 22 der Datenschutz-Grundverordnung. Und seit den Luxemburger Urteilen von 2023 und 2025 ist der Anwendungsbereich dieser Norm deutlich weiter, als die meisten Entwickler annehmen. Dieser Artikel nimmt dich mit auf die ganze Strecke: von der stillen, oft übersehenen Verbotsnorm des Artikels 22 über die drei SCHUFA-Urteile und das Recht auf Erklärung bis zu der Frage, was das konkret für den Bau automatisierter Systeme bedeutet – und wie sich das alles mit dem EU AI Act verzahnt.

Teil 1: Das stille Verbot – was Artikel 22 DSGVO wirklich sagt

Eine Norm, die anders funktioniert als der Rest der DSGVO

Die meisten Vorschriften der Datenschutz-Grundverordnung (DSGVO, englisch GDPR, Verordnung (EU) 2016/679) folgen einem Erlaubnisprinzip: Eine Verarbeitung ist verboten, es sei denn, es liegt eine Rechtsgrundlage vor (Einwilligung, Vertrag, berechtigtes Interesse und so weiter, Artikel 6). Artikel 22 ist anders gebaut. Er lautet in seinem ersten Absatz:

„Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt."

Auf den ersten Blick klingt das wie ein Widerspruchsrecht, das die betroffene Person aktiv geltend machen müsste. Doch der Europäische Datenschutzausschuss hat schon in seinen Leitlinien zu automatisierten Entscheidungen (WP251, übernommen 2018) klargestellt und der EuGH hat es 2023 bestätigt: Artikel 22 Absatz 1 enthält kein bloßes Widerspruchsrecht, sondern ein grundsätzliches Verbot. Eine ausschließlich automatisierte Entscheidung mit erheblichen Auswirkungen ist prinzipiell unzulässig – es sei denn, einer der engen Ausnahmetatbestände des Absatzes 2 greift. Die betroffene Person muss nicht erst „Nein" sagen; die Verarbeitung ist von vornherein untersagt. Das ist ein juristisch bedeutsamer Unterschied, denn es dreht die Beweislast um: Nicht der Mensch muss sich gegen die Maschine wehren, sondern der Betreiber muss rechtfertigen, warum die Maschine überhaupt allein entscheiden durfte.

Die vier Bedingungen des Tatbestands

Damit das Verbot greift, müssen vier Voraussetzungen zusammenkommen. Es muss (1) eine Entscheidung geben, die (2) ausschließlich (3) auf automatisierter Verarbeitung einschließlich Profiling beruht und die (4) rechtliche Wirkung entfaltet oder die Person in ähnlicher Weise erheblich beeinträchtigt. Jedes dieser vier Tatbestandsmerkmale ist ein Einfallstor für juristischen Streit – und genau an diesen Stellen setzten die Auskunfteien an, um sich dem Verbot zu entziehen.

Das Wort „ausschließlich" bedeutet: Es darf keine bedeutsame menschliche Beteiligung geben. Ein Mensch, der eine algorithmisch vorbereitete Entscheidung nur pro forma abnickt – ein „Gummistempel", ohne die Fähigkeit und Befugnis, sie tatsächlich zu ändern – hebt die Ausschließlichkeit nicht auf. Die menschliche Beteiligung muss inhaltlich sein: eine echte Prüfung durch jemanden, der die Kompetenz und die Autorität hat, das Ergebnis zu überstimmen.

„Rechtliche Wirkung" meint einen Eingriff in die Rechtsposition der Person – etwa die Kündigung eines Vertrages, die Verweigerung einer Sozialleistung, die Ablehnung eines Einreise- oder Staatsbürgerschaftsantrags. „In ähnlicher Weise erheblich beeinträchtigt" erweitert das auf faktische Nachteile von vergleichbarem Gewicht: die Ablehnung eines Kredits, die Aussteuerung einer Bewerbung, der Ausschluss von einem Dienst. Nicht jede automatisierte Bagatelle fällt darunter – aber alles, was den Zugang einer Person zu wesentlichen Gütern und Chancen bestimmt, sehr wohl.

Die drei Ausnahmen und die Schutzgarantien

Absatz 2 nennt drei Konstellationen, in denen die automatisierte Entscheidung ausnahmsweise doch zulässig ist: wenn sie für den Abschluss oder die Erfüllung eines Vertrages erforderlich ist, wenn sie durch Rechtsvorschriften der Union oder eines Mitgliedstaats erlaubt wird, oder wenn sie mit ausdrücklicher Einwilligung der betroffenen Person erfolgt. Doch selbst dann ist der Betreiber nicht frei: Absatz 3 verlangt „angemessene Maßnahmen", um die Rechte und Freiheiten der Person zu wahren – mindestens das Recht auf Erwirkung des Eingreifens einer Person, das Recht auf Darlegung des eigenen Standpunkts und das Recht auf Anfechtung der Entscheidung. Und bei besonders sensiblen Daten (Gesundheit, ethnische Herkunft, politische Meinung und so weiter, Artikel 9) sind die Hürden noch höher.

Man kann Artikel 22 also als ein dreistufiges Bauwerk lesen: ein grundsätzliches Verbot, drei enge Türen, und hinter jeder Tür ein Katalog von Schutzpflichten. Der ganze Streit um das SCHUFA-Scoring drehte sich um die Frage, ob die Auskunfteien überhaupt vor dem Gebäude standen – oder ob sie, wie sie behaupteten, gar nicht „entscheiden" und die Norm sie deshalb nichts angehe.

Teil 2: Die Vorgeschichte – Scoring, § 31 BDSG und das Gericht in Wiesbaden

Was ein Score ist – und was er verschweigt

Ein Kreditscore ist ein Wahrscheinlichkeitswert. Er drückt aus, mit welcher statistischen Wahrscheinlichkeit eine Person ihren Zahlungsverpflichtungen nachkommen wird, verdichtet auf eine Zahl oder eine Buchstabenklasse. Die deutsche SCHUFA (Schutzgemeinschaft für allgemeine Kreditsicherung) ist die bekannteste unter mehreren Auskunfteien, die solche Werte für nahezu die gesamte erwachsene Bevölkerung berechnen und Banken, Vermietern, Mobilfunkanbietern und Versandhändlern zur Verfügung stellen. Die zugrunde liegenden Modelle sind proprietär; welche Merkmale mit welchem Gewicht einfließen, gilt als Geschäftsgeheimnis.

Deutschland hatte in § 31 des Bundesdatenschutzgesetzes (BDSG) eine eigene Vorschrift zum Scoring geschaffen, die Voraussetzungen für die Zulässigkeit der Verwendung von Scorewerten festlegt. Diese Norm ging in gewisser Weise davon aus, dass Scoring erlaubt und lediglich zu regulieren sei – eine Perspektive, die mit dem strengen Verbotsansatz des Artikels 22 in Spannung steht. Genau diese Spannung sollte der EuGH klären.

Der Fall OQ und die Vorlage des VG Wiesbaden

Eine Bürgerin – im Verfahren anonymisiert als OQ – hatte bei einer Bank einen Kredit beantragt und war abgelehnt worden. Grundlage war ein von der SCHUFA gelieferter, ungünstiger Scorewert. OQ verlangte von der SCHUFA Auskunft über die einbezogenen Daten und die Löschung eines aus ihrer Sicht falschen Eintrags. Die zuständige hessische Datenschutzbehörde sah keinen Handlungsbedarf; OQ klagte dagegen vor dem Verwaltungsgericht (VG) Wiesbaden.

Das VG Wiesbaden setzte das Verfahren aus und legte dem EuGH am 1. Oktober 2021 die entscheidende Frage vor (Rechtssache C-634/21): Stellt bereits die Erstellung eines Scorewerts durch eine Auskunftei eine „automatisierte Entscheidung im Einzelfall" im Sinne des Artikels 22 Absatz 1 dar – mit der Folge, dass die Auskunftei selbst dem Verbot unterliegt? Und falls nein: Ist § 31 BDSG mit der DSGVO überhaupt vereinbar? Es war die erste Gelegenheit für den Gerichtshof, den Anwendungsbereich des Artikels 22 grundsätzlich zu bestimmen.

Teil 3: Das Urteil C-634/21 – wenn Vorbereiten schon Entscheiden ist

Die Verteidigung der Auskunftei

Die SCHUFA argumentierte scheinbar überzeugend: Sie treffe keine Entscheidung. Sie berechne lediglich einen Score und übermittle ihn an ihre Vertragspartner. Ob ein Kredit gewährt werde, entscheide allein die Bank. Der Score sei eine Vorbereitungshandlung, kein Entscheid; folglich sei Artikel 22 auf die SCHUFA nicht anwendbar, sondern allenfalls auf die Bank. Formal betrachtet lag darin eine gewisse Logik: Die letzte, rechtlich wirksame Handlung – die Ablehnung des Kredits – nahm tatsächlich die Bank vor.

Die Antwort des Gerichtshofs

Am 7. Dezember 2023 wies der EuGH diese Argumentation zurück. Der Gerichtshof entschied: Die Erstellung des Scorewerts durch die Auskunftei ist selbst eine „automatisierte Entscheidung im Einzelfall" im Sinne des Artikels 22 Absatz 1 – sofern von diesem Scorewert die Entscheidung des Dritten (etwa der Bank) über die Begründung, Durchführung oder Beendigung eines Vertragsverhältnisses maßgeblich abhängt. Das entscheidende Wort ist „maßgeblich": Wenn die Bank dem Score in der Praxis eine so ausschlaggebende Bedeutung beimisst, dass er das Ergebnis faktisch determiniert, dann verlagert sich die eigentliche Entscheidung auf denjenigen, der den Score erzeugt.

Der Gerichtshof begründete das teleologisch – vom Schutzzweck her. Läge die maßgebliche Bewertung außerhalb des Anwendungsbereichs von Artikel 22 und nur die formale Endabsegnung darin, entstünde eine Schutzlücke: Die betroffene Person könnte ihre Auskunfts-, Erklärungs- und Anfechtungsrechte gegenüber der Bank geltend machen, die aber die Logik des Scores gar nicht kennt; und gegenüber der Auskunftei, die die Logik kennt, hätte sie keine Rechte, weil diese ja angeblich nicht „entscheidet". Der EuGH schloss diese Lücke, indem er die Substanz über die Form stellte: Wer die faktisch ausschlaggebende Bewertung vornimmt, unterliegt dem Verbot – unabhängig davon, wer formal den letzten Knopf drückt.

Die Konsequenz für § 31 BDSG

Damit war die zweite Vorlagefrage praktisch beantwortet. Wenn das SCHUFA-Scoring unter Artikel 22 fällt, ist es grundsätzlich verboten und bedarf einer Öffnungsklausel nach Artikel 22 Absatz 2 Buchstabe b – also einer nationalen Rechtsvorschrift, die die Ausnahme trägt und die vorgeschriebenen Schutzmaßnahmen enthält. Der EuGH überließ es dem VG Wiesbaden zu prüfen, ob § 31 BDSG diese Anforderungen erfüllt, formulierte aber so strenge Maßstäbe, dass erhebliche Zweifel an der Unionsrechtskonformität der deutschen Norm blieben. Der deutsche Gesetzgeber war damit gehalten, das Scoring-Recht neu zu justieren – eine Aufgabe, die weit über den Einzelfall hinausreicht.

Teil 4: Die Schwester-Urteile C-26/22 und C-64/22 – das Recht auf einen Neuanfang

Am selben Tag entschied der EuGH zwei verbundene Verfahren, die eine andere, ebenso existenzielle Frage betrafen: Wie lange darf eine private Auskunftei belastende Daten speichern?

Die beiden Kläger, UF und AB, hatten Insolvenzverfahren durchlaufen und waren durch Gerichtsbeschlüsse (vom 17. Dezember 2020 beziehungsweise 23. März 2021) vorzeitig von den Restschulden befreit worden. Diese Restschuldbefreiung ist ein bewusster Neuanfang: Sie soll es überschuldeten Menschen ermöglichen, wieder am Wirtschaftsleben teilzunehmen. Im öffentlichen Insolvenzregister wurde die Bekanntmachung nach nur sechs Monaten gelöscht (§ 3 InsBekV). Die SCHUFA jedoch speicherte die Information – gestützt auf einen von der Aufsichtsbehörde gebilligten Verhaltenskodex der Auskunfteien – drei Jahre lang.

Der EuGH hielt das für unvereinbar mit der DSGVO. Es sei widersprüchlich, wenn eine private Stelle Daten länger vorhalte als das öffentliche Register, aus dem sie stammen. Die Restschuldbefreiung sei für die betroffene Person von existenzieller Bedeutung; ihr Zweck – die Rückkehr ins Wirtschaftsleben – würde vereitelt, wenn Auskunfteien die überwundene Vergangenheit noch jahrelang weitertragen dürften. Zugleich stärkte der Gerichtshof die Verfahrensrechte der Betroffenen: Datenschutzbehörden müssen einer Beschwerde nachgehen, und ihre Entscheidungen unterliegen der vollen gerichtlichen Kontrolle, nicht nur einer formalen Prüfung, ob die Behörde tätig geworden ist.

Die drei Urteile vom 7. Dezember 2023 bilden zusammen eine Zangenbewegung: Das eine verschiebt die Zurechnung der Entscheidung hin zur Auskunftei, die beiden anderen begrenzen die Zeit, in der belastende Daten überhaupt wirken dürfen. Beide Male gewinnt die betroffene Person Boden zurück – gegenüber einer Infrastruktur, die sie zuvor kaum greifen konnte.

Teil 5: Dun & Bradstreet C-203/22 – das Recht auf Erklärung gegen das Geschäftsgeheimnis

Der Kern des Konflikts

Das SCHUFA-Urteil beantwortete das Ob: Auskunfteien fallen unter Artikel 22. Es beantwortete aber nicht das Wie tief der Transparenzpflicht. Genau hier setzte der nächste Fall an. Eine Frau in Österreich – im Verfahren CK genannt – wurde ein Mobilfunkvertrag verweigert, gestützt auf eine automatisierte Bonitätsbewertung der Dun & Bradstreet Austria GmbH. CK verlangte zu erfahren, wie diese Bewertung zustande kam. Die Auskunftei berief sich auf ihr Geschäftsgeheimnis: Die genaue Logik des Modells sei schützenswertes Betriebswissen.

Damit standen sich zwei fundamentale Interessen gegenüber: das Recht der betroffenen Person auf „aussagekräftige Informationen über die involvierte Logik" (Artikel 15 Absatz 1 Buchstabe h in Verbindung mit Artikel 22) und der Schutz von Geschäftsgeheimnissen (Richtlinie (EU) 2016/943). Wie viel Einblick schuldet ein Betreiber – und wo endet die Pflicht am Betriebsgeheimnis?

Die Antwort vom 27. Februar 2025

Der EuGH entschied am 27. Februar 2025 (Rechtssache C-203/22) und bestätigte damit faktisch ein Recht auf Erklärung. „Aussagekräftige Informationen über die involvierte Logik" bedeutet nach dem Urteil: Die betroffene Person muss in präziser, transparenter, verständlicher und leicht zugänglicher Form über das tatsächlich angewandte Verfahren und die Prinzipien informiert werden, mit denen ihre personenbezogenen Daten automatisiert genutzt wurden, um zu einem bestimmten Ergebnis – etwa einem Bonitätsprofil – zu gelangen. Sie muss die Tragweite und die vorgesehenen Folgen der Verarbeitung nachvollziehen können, idealerweise anhand konkreter, greifbarer Beispiele: Welche Daten wurden herangezogen? Wie hätte sich das Ergebnis verändert, wenn diese Daten anders gelegen hätten?

Wichtig ist, was das Gericht nicht verlangt: die Offenlegung des Algorithmus selbst, des Quellcodes oder der kompletten mathematischen Formel. Eine bloße Herausgabe eines komplexen Rechenverfahrens wäre ohnehin nicht „verständlich" im Sinne der Norm. Verlangt wird eine Erklärung der Logik, keine Kopie des Modells.

Der Ausgleich mit dem Geschäftsgeheimnis

Für das Spannungsverhältnis zum Geschäftsgeheimnis wählte der EuGH einen abgestuften Weg. Der Schutz von Geschäftsgeheimnissen ist anerkannt, aber er verdrängt die Grundrechte der betroffenen Person nicht automatisch. Beruft sich ein Betreiber auf ein Geschäftsgeheimnis, darf er die Auskunft nicht schlicht verweigern; er muss die – aus seiner Sicht geschützten – Informationen der zuständigen Aufsichtsbehörde oder dem Gericht vorlegen, die dann die widerstreitenden Interessen abwägen und den Umfang des Auskunftsanspruchs bestimmen. Wo immer möglich, sollen Mittel gewählt werden, die die Rechte der Person wahren, ohne die Rechte Dritter zu verletzen. Das Geschäftsgeheimnis wird so zum Gegenstand einer Abwägung – nicht zu einem Freibrief für Intransparenz.

Teil 6: Das Zusammenspiel mit dem EU AI Act – zwei Regime, eine Bewertung

Zwei Rechtsrahmen übereinander

Kreditscoring und ähnliche Bewertungssysteme sind heute doppelt reguliert. Die DSGVO adressiert über Artikel 22 die Entscheidung über einen Menschen: Wer darf allein automatisiert entscheiden, und welche Rechte hat die betroffene Person? Der EU AI Act (Verordnung (EU) 2024/1689) adressiert das System selbst: Er behandelt KI-Systeme, die die Kreditwürdigkeit natürlicher Personen bewerten oder deren Kredit-Score bilden, in Anhang III (Nummer 5 Buchstabe b) als Hochrisiko-Systeme – mit Ausnahme von Systemen zur Aufdeckung von Finanzbetrug. Für Hochrisiko-Systeme verlangt der AI Act ein ganzes Bündel produktbezogener Pflichten: Risikomanagement, Daten-Governance, technische Dokumentation, Protokollierung (Logging), menschliche Aufsicht und eine Konformitätsbewertung.

Die beiden Regime stapeln sich – sie ersetzen einander nicht. Wer die Anforderungen des AI Act erfüllt, hat damit nicht automatisch Artikel 22 DSGVO genügt, und umgekehrt. Die DSGVO fragt nach Rechtsgrundlage, Betroffenenrechten und Schutzmaßnahmen der einzelnen Entscheidung; der AI Act fragt nach der Qualität, Nachvollziehbarkeit und Beherrschbarkeit des Systems über seinen gesamten Lebenszyklus.

Konvergenz beim Recht auf Erklärung

Interessant ist, dass beide Regime an unterschiedlichen Stellen dieselbe Idee tragen: die Erklärbarkeit einer maschinellen Entscheidung. Artikel 22 in der Auslegung des Dun-&-Bradstreet-Urteils gibt der betroffenen Person einen Anspruch auf verständliche Erklärung der Logik. Der AI Act enthält in Artikel 86 ein Recht auf Erläuterung der Entscheidungsfindung im Einzelfall: Wer von einer Entscheidung betroffen ist, die auf Grundlage eines Hochrisiko-Systems aus Anhang III getroffen wurde – wozu die Bonitätsbewertung zählt –, hat Anspruch auf eine klare, aussagekräftige Erläuterung. Zwei Gesetzestexte, unterschiedliche Herkunft, dasselbe Ziel: Der Mensch soll die Maschine nicht nur erleiden, sondern verstehen und in Frage stellen können.

Teil 7: Was das für den Bau von Systemen bedeutet

Ein Framework für die Praxis

Für Ingenieurinnen und Ingenieure, die automatisierte Bewertungssysteme entwerfen, lässt sich die Rechtslage in eine Reihe konkreter Prüf- und Gestaltungsfragen übersetzen. Die folgende Tabelle fasst die Tatbestandsmerkmale des Artikels 22 und die daraus folgenden Konstruktionsentscheidungen zusammen.

Aus dem Recht auf Erklärung (Dun & Bradstreet) folgt eine weitere, technisch anspruchsvolle Anforderung: Das System muss erklärbar sein, ohne das Geschäftsgeheimnis preiszugeben. Das verlangt eine Trennung zwischen dem Modell (das geschützt bleiben darf) und einer Erklärungsschicht, die in konkreten Fällen sagen kann, welche Merkmale mit welcher Richtung zum Ergebnis beigetragen haben und wie eine Änderung dieser Merkmale das Ergebnis verschoben hätte. Ich bin der Meinung, dass genau hier die Methoden der erklärbaren KI – etwa merkmalsbasierte Attributionsverfahren und kontrafaktische Erklärungen – von einer angenehmen Kür zu einer regulatorischen Pflicht werden: Sie liefern das Vokabular, in dem sich ein Modell rechtskonform gegenüber der betroffenen Person verantworten lässt.

Drei Gestaltungsprinzipien

Erstens: Menschliche Aufsicht muss echt sein. Ein Freigabeknopf, den ein überlasteter Sachbearbeiter im Sekundentakt drückt, hebt die „Ausschließlichkeit" nicht auf. Wer sich auf menschliche Beteiligung berufen will, muss dem Menschen Zeit, Information und Autorität geben, das maschinelle Ergebnis wirklich zu überprüfen.

Zweitens: Datensparsamkeit und Speicherbegrenzung sind Teil der Architektur. Die Schwester-Urteile zeigen, dass nicht nur die Entscheidung, sondern auch die Haltbarkeit der Daten justiziabel ist. Löschfristen, an öffentliche Referenzen gekoppelt, gehören ins Datenmodell, nicht in eine vergessene Betriebsanweisung.

Drittens: Erklärbarkeit ist eine Schnittstelle, kein Nachgedanke. Wenn eine betroffene Person eine verständliche Erklärung verlangen kann, muss das System diese Erklärung produzieren können – reproduzierbar, fallbezogen und in einer Form, die ein Nicht-Fachmensch nachvollziehen kann. Das lässt sich nachträglich kaum aufsetzen; es muss von Anfang an mitgedacht werden.

Die Erkenntnis zum Mitnehmen

Der rote Faden durch alle drei Luxemburger Urteile ist ein einziger Gedanke: Substanz vor Form. Wer die faktisch ausschlaggebende Bewertung vornimmt, entscheidet – ganz gleich, wer formal den letzten Knopf drückt. Wer belastende Daten hält, muss sie loslassen, sobald ihr Zweck erfüllt ist. Und wer über einen Menschen mit einer Maschine urteilt, schuldet ihm eine verständliche Erklärung, hinter der er sich nicht mit dem Verweis auf ein Geschäftsgeheimnis verstecken kann.

Für die tägliche Ingenieursarbeit heißt das: Die Frage „Fällt mein System unter Artikel 22?" sollte am Anfang eines Entwurfs stehen, nicht am Ende. Denn die Antwort bestimmt nicht nur die Rechtsgrundlage, sondern die Architektur – die Existenz einer echten menschlichen Prüfinstanz, die Löschlogik, die Erklärungsschicht. Diese Anforderungen im Nachhinein einzuziehen ist teuer und oft nur unvollständig möglich. Von Anfang an mitgedacht, werden sie zu dem, was sie eigentlich sein sollen: nicht eine Fessel für die Technik, sondern die Bedingung dafür, dass eine automatisierte Entscheidung überhaupt gerecht sein kann.

Der Praktiker-Impuls lautet also: Nimm dein am stärksten automatisiertes Bewertungssystem und stelle ihm drei Fragen. Determiniert sein Ergebnis faktisch eine Entscheidung über einen Menschen? Könnte ein Mensch dieses Ergebnis realistisch überstimmen? Und könntest du einer betroffenen Person in verständlichen Worten erklären, warum sie dieses und kein anderes Ergebnis erhalten hat? Wo eine dieser Antworten unsicher ausfällt, liegt deine nächste Aufgabe.

Eine Frage zum Nachdenken

Der EuGH hat entschieden, dass derjenige „entscheidet", dessen Bewertung faktisch den Ausschlag gibt – auch wenn ein Mensch formal noch dazwischensteht. Doch je besser maschinelle Empfehlungen werden, desto schwerer fällt es jedem Menschen, sie zu überstimmen: Wer trägt die Verantwortung, wenn er sich gegen eine statistisch überlegene Maschine stellt und irrt? Wo verläuft die Grenze zwischen einer menschlichen Aufsicht, die echten Schutz bietet, und einer, die nur noch die Illusion von Kontrolle aufrechterhält, während die Maschine längst entscheidet?

Querverweise im Vault

Dieser Artikel steht im Zusammenhang mit mehreren früheren Texten aus dem Ordner. Der EU AI Act, dessen Hochrisiko-Einstufung und Erklärungsrecht hier eine zentrale Rolle spielen, wird ausführlich behandelt in Die Pyramide des Risikos: Wie der EU AI Act künstliche Intelligenz bändigt – und warum das die ganze Welt betrifft. Die verwandte Frage, wie personenbezogene Daten über Grenzen hinweg geschützt bleiben und wie der EuGH als Hüter der Grundrechte auftritt, entfaltet Der Mann, der drei Abkommen kippte: Max Schrems, der transatlantische Datentransfer und das Rätsel der Angemessenheit. Zum weiteren Compliance-Umfeld gehören NIS2 und was sie für mittelständische IT-Beratungsunternehmen in Deutschland wirklich bedeutet, Sicherheit ab Werk: Der EU Cyber Resilience Act und das Ende des unsicheren Produkts und Wenn die IT nicht ausfallen darf: DORA und die digitale operationale Resilienz des Finanzsektors. Wer verstehen will, wie moderne KI-Systeme überhaupt lernen, sich an menschlichen Vorgaben auszurichten, findet den technischen Hintergrund in Lob und Tadel für die Maschine: RLHF und die Kunst, der KI beizubringen, was wir wollen.

Quellen

• EuGH, Urteil vom 7.12.2023, C-634/21 (SCHUFA Holding, Scoring) – Zusammenfassung und Analyse: Bird & Bird, A&O Shearman, CMS
• EuGH, Urteile vom 7.12.2023, C-26/22 und C-64/22 (SCHUFA Holding, Restschuldbefreiung) – GDPRhub, PwC Legal
• EuGH, Urteil vom 27.2.2025, C-203/22 (CK gegen Dun & Bradstreet Austria) – Stibbe, Inside Privacy (Covington), Bird & Bird
• Zusammenschau der EuGH-Rechtsprechung zu automatisierten Entscheidungen – IAPP
• EU AI Act, Anhang III (Hochrisiko-Systeme) und Artikel 86 (Recht auf Erläuterung) – artificialintelligenceact.eu, Annex III; Einordnung Kreditscoring: regulatoryai.eu
• Hintergrund § 31 BDSG, Vorlage des VG Wiesbaden und deutsche Einordnung – Verfassungsblog, LfD Niedersachsen

← All articles