Die LLM-Jailbreak-Technik „Immersive World“ zeigt einmal mehr, wie KI-Modelle durch kreative Manipulation ausgetrickst werden können.
Der Cato CTRL Threat Report 2025 von Cato Networks beleuchtet eine wachsende Gefahr durch sogenannte „Zero-Knowledge“-Angreifer. Auch ohne spezifische Programmierkenntnisse können diese mittels LLM-Jailbreak-Technik „Immersive World“ Schadsoftware erstellen. Die Studie zeigt, dass durch den Einsatz von GenAI-Tools die Erstellung von Malware erheblich vereinfacht wird. Dies erhöht für PCs gleichzeitig das Risiko einer Infektion.
Hacking für alle: KI senkt die Einstiegshürde für Cybercrime drastisch
Cato CTRL, Cyber Threats Research Lab, veröffentlichte am Dienstag den Cato CTRL Threat Report
2025. Darin beschreibt das Unternehmen, wie der Sicherheitsforscher
Vitaly Simonovich von Cato CTRL ohne vorherige Erfahrung mit
Malware-Codierung mittels Immersive World erfolgreich beliebte Tools für
generative KI (GenAI) – darunter DeepSeek, Microsoft Copilot und
ChatGPT von OpenAI – veranlasste, Malware zu entwickeln. Diese kann
Anmeldeinformationen aus Google Chrome stehlen.
Simonovich entwickelte eine neue Jailbreak-Methode,
die Narrative Engineering nutzte, um die LLM-Sicherheitskontrollen zu
umgehen. Cato CTRL nannte diese Methode „Immersive World“. Zunächst
schuf Simonovich eine „detaillierte fiktive Welt, in der jedes
GenAI-Tool eine Rolle spielte, mit klaren Regeln, zugewiesenen Aufgaben
und Herausforderungen“. In dieser Velora genannten Umgebung wird
die Entwicklung von Malware als legitime Aktivität angesehen. Das
Szenario umfasst dabei drei Charaktere:
- Dax, ein Gegner
- Jaxon, der beste Malware-Entwickler in Velora
- Kaia, eine Sicherheitsforscherin
Simonovich konfigurierte außerdem eine kontrollierte Testumgebung mit
dem Passwort-Manager von Google Chrome in Chrome Version 133 und füllte
sie mit gefälschten Anmeldeinformationen. Durch dieses Narrative
Engineering umging der Forscher die LLM-Sicherheitskontrollen.
Schließlich gelang es ihm mittels der von ihm Immersive World genannten
Methode, alle vier getesteten GenAI-Tools davon zu überzeugen, einen
Chrome-Infostealer zu schreiben. Google Chrome ist mit über 3 Milliarden
Nutzern der beliebteste Browser der Welt. Dies verdeutlicht das Ausmaß
des Risikos.
zeigt Kaia, die Jaxon anweist, dass Dax Geheimnisse im
Chrome-Passwort-Manager versteckt hat. Quelle: Cato Networks
LLM-Jailbreak-Technik „Immersive World“: KI macht Cybercrime massentauglich
In dem Bericht heißt es, LLMs haben „die Cybersicherheitslandschaft grundlegend verändert“.
Die Untersuchungen bezüglich Immersive World haben gezeigt, dass sich
KI-gestützte Cyberbedrohungen für Sicherheitsteams und Unternehmen zu
einem viel ernsteren Problem entwickeln, da Kriminelle mit weniger
Erfahrung und in höherer Frequenz ausgefeiltere Angriffe durchführen
können. Vitaly Simonovich, Threat Intelligence Researcher bei Cato
Networks, verdeutlicht:
„Wir glauben, dass der Aufstieg des
Zero-Knowledge-Bedrohungsakteurs ein hohes Risiko für Unternehmen
darstellt, da die Hürde für die Erstellung von Malware jetzt mit
GenAI-Tools erheblich gesenkt wird. Infostealer spielen eine bedeutende
Rolle beim Diebstahl von Anmeldeinformationen, da sie es Angreifern
ermöglichen, in Unternehmen einzudringen. Unsere neue
LLM-Jailbreak-Technik, die wir „Immersive World“ genannt haben, zeigt
das gefährliche Potenzial, das sich aus der einfachen Erstellung eines
Infostealers ergibt.“