HalluSquatting: Wenn AI-Assistants erfundene Pakete installieren
AI Coding Assistants wie GitHub Copilot oder Claude helfen Entwicklern bei der Code-Erstellung. Doch sie haben eine bekannte Schwäche: Sie "halluzinieren" – erfinden also Funktionen, Libraries oder Tool-Namen, die es gar nicht gibt. Eine neue Forschungsarbeit zeigt nun, wie Angreifer diese Eigenschaft systematisch ausnutzen können.
Das Konzept: HalluSquatting
Das Attack-Konzept ist elegant und beängstigend zugleich: Forscher identifizierten, welche nicht-existenten Paketnamen AI-Modelle konsistent erfinden und empfehlen. Im zweiten Schritt registrierten sie diese Namen auf Repository-Plattformen wie npm oder PyPI – bevor echte Entwickler sie nutzen könnten. Die manipulierten Pakete? Sie enthielten Botnet-Malware.
Wenn ein Entwickler dann seinen AI Coding Assistant fragt, eine populäre Funktion zu implementieren, kann dieser das erfundene Paket empfehlen – und der Code wird automatisch installiert.
Warum das so gefährlich ist
Das Risiko liegt in der Automatisierung: Moderne Entwicklungs-Workflows integrieren AI-Assistants nahtlos in IDEs. Ein Entwickler akzeptiert die Empfehlung, ohne sie kritisch zu hinterfragen. Besonders problematisch wird es, wenn:
- Dependency Management automatisiert läuft: CI/CD-Pipelines installieren Dependencies ohne manuelle Überprüfung
- Vertrauen in AI wächst: Entwickler verlassen sich zunehmend auf Assistants und prüfen Output weniger gründlich
- Supply-Chain-Angriffe multiplizieren sich: Ein erfolgreiches HalluSquatting-Paket infiziert potenziell Hunderte oder Tausende Projekte
Was bereits bekannt ist
Supply-Chain-Attacken sind nicht neu – Typosquatting (absichtlich falsch geschriebene Paketnamen) und Dependency Confusion existieren bereits. HalluSquatting kombiniert diese Taktiken aber mit der spezifischen Vorhersehbarkeit von LLM-Outputs.
Erste Erkenntnisse
Die Forschung deutet darauf hin, dass verschiedene AI-Modelle bei ähnlichen Anfragen teilweise die gleichen erfundenen Namen generieren. Das macht sie als Attack-Oberfläche besonders wertvoll für Angreifer.
Defensivmaßnahmen
Es gibt bereits erste Ansätze zur Verteidigung:
- Package Manager könnten AI-verdächtige Downloads flaggen
- Sandboxing und Allowlists für automatisierte Installationen
- Bessere Validierung von Package-Empfehlungen in AI-Assistants
- Code-Review-Prozesse, die auch AI-generierte Dependencies überprüfen
Fazit
HalluSquatting zeigt ein echtes Sicherheitsloch in der modernen KI-gestützten Softwareentwicklung. Es geht nicht um fehlerhafte AI-Modelle – sondern um eine strukturelle Schwäche: Die Vorhersehbarkeit dieser Halluzinationen macht sie zu wertvollen Attack-Vektoren. Entwickler sollten AI-Empfehlungen nicht blind vertrauen, besonders bei Dependencies.