- FRUITSHELL, eine Reverse-Shell, die eine Remote-Verbindung zu einem Command-and-Control (C2)-Server herstellt. Den Angreifern ermöglicht das, auf kompromittierten Systemen beliebige Befehle auszuführen.
- PROMPTLOCK, eine experimentelle Ransomware, die in Go geschrieben ist und LLMs nutzt, um bösartige Skripte zu erstellen und auszuführen, Systeme auszukundschaften, Daten zu exfiltrieren sowie zu verschlüsseln.
- QUIETVAULT, eine Malware, die darauf ausgelegt ist, GitHub- und npm-Token zu stehlen.
Um die Sicherheitsvorkehrungen von LLMs zu umgehen, gehen Cyberkriminelle laut dem GTIG zudem dazu über, ihre KI-Prompts mit Social-Engineering-Taktiken anzureichern. So berichten die Forscher, dass sich Kriminelle gegenüber Gemini unter anderem als Security-Researcher ausgeben, um dem Bot Informationen zu entlocken, die er eigentlich nicht preisgeben dürfte.
Die Experten des GTIG beschreiben etwa eine Interaktion, bei der ein Angreifer versuchte, Gemini zu nutzen, um Schwachstellen in einem kompromittierten System zu identifizieren. Das sei zunächst durch die Sicherheitsvorkehrungen des Modells blockiert worden. Nachdem der Hacker jedoch seinen Prompt neu formuliert und sich als Teilnehmer eines Capture-the-Flag-Wettbewerbs ausgegeben hatte, habe die Google-KI bereitwillig Tipps zu den nächsten Schritten in dem angeblichen Red-Teaming-Szenario gegeben und dabei wertvolle Informationen für einen erfolgreichen Angriff mitgeliefert, so die Sicherheitsprofis.
Eine weitere Prompt-Taktik von Cybercrime-Akteuren besteht offenbar darin, sich als Studenten auszugeben, um unter dem Deckmantel angeblicher Forschungsarbeiten schadhafte Zwecke zu verfolgen. So beobachteten die GTIG-Forscher einen iranischen Bedrohungsakteur, der diese Taktik anwandte, um sich von Gemini dabei unterstützen zu lassen, maßgeschneiderte Schadsoftware zu erstellen – beispielsweise in Form von Web-Shells und einem C2-Server auf Python-Basis.