LLMs in der klinischen Praxis unter Druck
Große Language Models werden zunehmend für klinische Entscheidungen herangezogen. Besonders in der Psychiatrie, wo Unsicherheit und Kontextabhängigkeit ohnehin hoch sind, ist dies problematisch. Eine neue Studie von Forschern der Psychiatrie-Informatik zeigt jetzt systematisch: Diese Modelle sind deutlich weniger zuverlässig als bislang angenommen.
Die Audit-Methode
Die Wissenschaftler haben einen strukturierten Ansatz entwickelt, um downstream LLM-Tasks zu prüfen. Sie erstellten 50 synthetische Patientenprofile mit jeweils 15 klinisch relevanten Merkmalen und bis zu 50 klinisch irrelevanten Features. Das Ziel: Hospitalisierungsrisiken bewerten – oft die erste KI-gestützte klinische Entscheidung.
Die vier Prompts variierten bewusst zwischen neutral, logisch, emotional ("human impact") und klinischem Urteil. Getestet wurden vier aktuelle Modelle: Gemini 2.5 Flash, LLaMa 3.3 70b, Claude Sonnet 4.6 und GPT-4o mini.
Alarmierende Ergebnisse
Die Befunde sind bemerkenswert: Alle untersuchten Modelle zeigen statistisch signifikante Instabilität, wenn medizinisch irrelevante Daten in die Eingabe gemischt werden.
Konkret:
- Die vorhergesagten Risikoscores stiegen durchschnittlich an, sobald Rauschen in den Daten zunahm
- Die Output-Variabilität stieg über alle Modelle und Prompts hinweg
- Prompt-Variationen beeinflussten die Instabilität modellabhängig unterschiedlich
Einige Modelle sind robuster gegenüber irrelevanten Eingaben – aber keines ist wirklich stabil.
Was bedeutet das praktisch?
In der psychiatrischen Praxis ist es realistische, dass klinische Notizen oder Anamnesen auch marginale, nicht-diagnostische Informationen enthalten. Ein Patient könnte beispielsweise erwähnen, dass er schlecht geschlafen hat – relevant. Oder dass sein Lieblingsfußballverein verloren hat – nicht relevant. Die Studie zeigt: LLMs unterscheiden das nicht zuverlässig.
Für Risikobewertungen ist das kritisch. Hospitalisierungsentscheidungen basieren auf stabilen, nachvollziehbaren Kriterien. Wenn das Modell je nach Prompt oder Rauschen unterschiedliche Scores produziert, ist der klinische Nutzen fraglich.
Der Weg nach vorne
Die Autoren plädieren für systematische Evaluationen der attributionalen Stabilität und des Unsicherheitsverhaltens vor klinischen Deployments. Das bedeutet:
- Robustheitstests mit synthetischen und realen Daten
- Klare Grenzen für LLM-Einsätze definieren
- Explizite Anforderungen an Prompt-Konsistenz
- Fallbeispiele für Entscheidungsunterstützung statt automatisierte Scores
Diese Studie zeigt: LLMs als Black-Box-Entscheidungsmacher in der Psychiatrie sind derzeit zu unsicher. Sie könnten als strukturierte Entscheidungshilfen dienen – aber nur mit rigorosen Sicherheitsprüfungen.