Wenn der Sicherheitswächter zur Schwachstelle wird
AI-Agenten wie Claude Code oder OpenAI's Codex werden zunehmend eingesetzt, um Open-Source-Code auf Sicherheitslücken zu prüfen. Eine neue Forschung des AI Now Institute offenbart jedoch ein fundamentales Problem: Diese Systeme lassen sich gezielt dazu bringen, die verdächtige Code selbst auszuführen – statt sie nur zu analysieren.
Das Angriffskonzept trägt den treffenden Namen "Friendly Fire": Ein Angreifer versteckt schädlichen Code in einem Repository und präpariert ihn so, dass die AI-Agenten ihn nicht als Bedrohung erkennen, sondern ausführen. Die Forschung zeigt, dass dies funktioniert, wenn die Agenten im autonomen Modus laufen und ihre eigenen Aktionen genehmigen.
Wie der Angriff funktioniert
Das Kernproblem liegt in der Funktionsweise moderner Code-Agenten: Sie sollen automatisch Code analysieren und ausführen können, um Tests durchzuführen oder die Sicherheit zu überprüfen. Doch genau diese Autonomie wird zur Schwachstelle. Durch geschickt formulierte Kommentare oder strukturierte Eingaben im Code können Angreifer die LLM-basierten Systeme irreführen.
Die Agenten interpretieren dabei die versteckte Malware als legitimes Test- oder Analyse-Skript und führen es aus – auf der Maschine desjenigen, der die Überprüfung durchführen wollte.
Praktische Implikationen
Das ist kein theoretisches Szenario: Entwickler und Security-Teams setzen AI-Agenten bereits produktiv ein, um schneller Code-Reviews durchzuführen. Der "Friendly Fire"-Angriff könnte bedeuten, dass diese Systeme selbst zur Angriffsvektoren werden – besonders problematisch in CI/CD-Pipelines oder bei der Analyse externer Dependencies.
Was jetzt?
Die Forschung verdeutlicht, dass autonome AI-Agenten im Security-Kontext kritisch hinterfragt werden müssen. Denkbare Maßnahmen sind:
- Sandbox-Isolation: Code sollte nur in isolierten Umgebungen ausgeführt werden
- Human-in-the-Loop: Autonome Ausführung minimieren, kritische Aktionen freigeben lassen
- Prompt-Hardening: Robustere Instruktionen gegen Manipulationen
- Modell-Updates: Besseres Training gegen adversarische Eingaben
Die Forschung ist ein wichtiger Weckruf: AI-Agenten sind mächtige Tools, aber ihre Sicherheit darf nicht dem Hype geopfert werden. Wer sie in produktiven Umgebungen einsetzt, sollte die Risiken ernst nehmen.