Strategien statt Prompts optimieren
Automated Red-Teaming hat sich als wichtiges Werkzeug zur Sicherheitsprüfung von Large Language Models etabliert. Bisherige Ansätze konzentrieren sich jedoch auf die Optimierung einzelner Angriffs-Prompts innerhalb einer festen, von Menschen definierten Strategie. AutoRISE dreht diese Perspektive um: Statt Prompts zu verbessern, werden ganze Attack-Strategien systematisch weiterentwickelt.
Wie AutoRISE funktioniert
Das System sucht nicht im Raum einzelner Textbefehle, sondern über ausführbare Attack-Programme. Der Prozess läuft iterativ ab: Ein Coding-Agent modifiziert eine Strategie, eine Evaluation Harness bewertet die resultierende Attacks. Das Feedback ist zweistufig—neben einem Skalar-Score erhalten die Agenten auch granulare Per-Example-Diagnostiken, die gezielte Anpassungen leiten.
Dieser Ansatz ermöglicht strukturelle Veränderungen, die reine Prompt-Optimierung nicht erfasst: neue Attack-Komponenten, geänderte Control-Flow-Logik und Komposition von Angriffsmustern. Der Agent kann beispielsweise entscheiden, dass eine sequenzielle Abfolge verschiedener Manipulationstechniken effektiver ist als einzelne starke Prompts.
Messbare Verbesserungen
Die Evaluierung erfolgte auf 11 Modellen aus fünf verschiedenen Familien und gegen sieben etablierte Jailbreak-Datasets. AutoRISE zeigt substanzielle Gewinne: Im Durchschnitt steigt die Attack-Success-Rate um 17 Prozentpunkte gegenüber dem stärksten Baseline-Verfahren. Besonders bemerkenswert sind die Verbesserungen auf Frontier-Modellen mit ursprünglich niedriger Erfolgsquote—hier erreicht AutoRISE bis zu 16 Punkte Steigerung.
Ablation-Studies deuten darauf hin, dass diese Erfolge speziell aus der unrestriktiven Program-Suche resultieren, insbesondere durch Komposition und Control-Flow-Edits.
Praktische Anwendbarkeit
AutoRISE arbeitet vollständig Black-Box und benötigt keine Fine-Tuning, manuelles Labeling oder GPU-Compute. Das System läuft inference-only ab und kann damit leicht gegen verschiedene Modelle eingesetzt werden. Dies macht es für Red-Teaming-Teams praktikabel, die begrenzte Ressourcen haben.
Die Veröffentlichung umfasst auch zwei neue Benchmark-Suites, entwickelt auf disjunkten Target-Sets, was robustere Vergleiche zukünftiger Methoden ermöglicht.