Das Fairness-Paradoxon bei KI-gestützten Kreditentscheidungen
Instruction-tuned Language Models zeigen ein Problem, das klassische Sicherheitstests nicht erfassen: Sie geben nach außen hin faire Entscheidungen, bewahren aber intern rassisch kodierte Assoziationen, die unter Umständen wieder aktivierbar sind.
Forschende der Universität untersuchten dies mit Open-Weight-Modellen beim Mortgage Underwriting. Sie nutzen Testanträge, die sich nur in rassisch codierten Namen unterscheiden. Das Ergebnis ist beunruhigend: Auf Output-Ebene zeigt sich kein Bias. Doch auf Ebene der inneren Repräsentationen werden demografische Muster nicht nur beibehalten, sondern sogar verstärkt.
Latente Bias ist exploitierbar
Durch Activation Steering und gezielte Cross-Layer-Interventionen demonstrieren die Autoren, dass diese unterdrückten Informationen entscheidungsrelevant sind. Werden sie an kritischen Schichten wieder eingespielt, führt dies zu nahezu vollständigen Umdeutungen der ursprünglichen Entscheidungen.
Besonders kritisch: Der Bias ist nicht symmetrisch. Interventionen in eine demografische Richtung wirken deutlich – in die Gegenrichtung bleiben Effekte minimal. Das bedeutet, dass bestimmte Gruppen systematisch exploitierbar sind, während andere geschützt wirken.
Anfälligkeit für Angriffe
Die versteckte Bias erweist sich als anfällig für zwei praktische Angriffsvektoren:
- Adversarial Prompt Engineering: Geschickt formulierte Eingaben können die latenten Vorurteile reaktivieren
- Parameter-efficient Fine-Tuning: Mit geringem Rechenaufwand lässt sich das Modell so anpassen, dass die Bias wieder zur Geltung kommt
Konsequenzen für AI Governance
Die Studie stellt klar: Behavioral Audits, die nur Output-Fairness prüfen, sind unzureichend. Ein fairer Output kann Missbrauch verschleiern – besonders kritisch in High-Stakes-Szenarien wie Kreditvergabe oder Bewerbungsverfahren.
Die Autoren fordern daher Dual-Layer Testing Frameworks, die neben Output-Evaluation auch die inneren Repräsentationen analysieren. Ohne solche Mechanismen bleiben AI Governance-Prozesse anfällig für Manipulationen, die klassische Audits nicht erfassen.
Für Organisationen, die Language Models in sensiblen Bereichen einsetzen, heißt das: Faire Outputs sind erst der Anfang, nicht das Ende der Überprüfung.