Erklärungsbedarf: Anthropic (im Bild Vorstandschef Dario Amodei) musste zugeben, dass ihre KI-Modelle im Internet als Hacker unterwegs waren. © dpa
New York – Wenige Wochen nach der aufsehenerregenden Hacker-Attacke eines KI-Modells des ChatGPT-Entwicklers OpenAI muss der Rivale Anthropic einräumen, dass ihm etwas Ähnliches passiert ist. In Testläufen sei Künstliche Intelligenz von Anthropic ungeplant in Computersysteme von drei Unternehmen eingedrungen, teilte die KI-Firma mit. Weder die Betroffenen noch Anthropic hätten das damals bemerkt. Man habe die Aktivität erst bei einer nachträglichen Überprüfung von gut 141.000 Testläufen nach dem OpenAI-Vorfall festgestellt. Namen der Unternehmen wurden zunächst nicht genannt.
Während die OpenAI-KI erst einen Weg finden musste, aus der Testumgebung ins offene Internet auszubrechen, hatten es die Modelle von Anthropic viel leichter. Im Test-Szenario, das sie bekamen, hieß es zwar, sie hätten keinen Netz-Zugang. Doch in Wirklichkeit war der Weg ins Internet wegen eines Missverständnisses mit dem Testpartner völlig frei.
Drei der Modelle machten davon dann auch Gebrauch, wie Anthropic erläuterte. In allen Tests ging es darum, die Hacker-Fähigkeiten der KI zu testen. Das ist eine übliche Vorgehensweise, um bessere Leitplanken für sie aufstellen zu können. Konkret bekamen die KI-Modelle die Aufgabe, eine bestimmte Information zu finden, die in einem anderen Computer versteckt war – und dafür auch in das System einzubrechen.
Bei einem der Zwischenfälle wählte der Testpartner laut Anthropic im Szenario für die zu hackende fiktive Firma einen Namen, der sich auch in einer tatsächlichen Web-Adresse findet. Die KI – Anthropics Modell Claude Opus 4.7 – habe sich erst schwer damit getan, die Aufgabe in der vorgesehenen Testumgebung zu erfüllen.
Dann habe die Software aber festgestellt, dass sich im Internet ein Unternehmen mit demselben Namen fand – und sich darauf konzentriert. Das sei gleich bei vier Durchläufen passiert. Dabei verschaffte sich das Modell unter anderem Zugriff auf eine Datenbank. Auch als die KI erkannt habe, dass es sich um ein echtes Unternehmen handelte, sei die Attacke nicht gestoppt worden.
In einem anderen Test schrieb die Anthropic-KI offenbar für den Einbruch in den Ziel-Computer eine präparierte Software. Dank Netz-Zugang habe sie diese jedoch öffentlich zugänglich auf einer spezialisierten Download-Plattform platzieren können. Dort sei die Schadsoftware rund eine Stunde lang verfügbar gewesen – und 15 Systeme hätten sie heruntergeladen.
Darunter war eine IT-Sicherheitsfirma, die routinemäßig solche Scripts lädt und ausführt, um sie zu testen. Durch die Installation habe das Anthropic-Modell Mythos 5 Zugang zur Computer-Infrastruktur der Firma bekommen. Das Verhalten der KI sei nicht ideal gewesen, hieß es dazu im Blogeintrag von Anthropic.
Beim dritten Zwischenfall habe ein Test-Modell rund 9000 Angriffsziele gescannt, bevor es sich für eines davon entschieden habe. Diesmal stoppte die KI die Attacke, als sie erkannte, dass es sich um ein echtes Unternehmen handelte, wie Anthropic schrieb.
Der Vorfall unterstreicht eine zentrale Schwachstelle aktueller Entwicklungen: Sogenannte KI-Agenten, die nicht nur Text generieren, sondern eigenständig Werkzeuge nutzen und Befehle ausführen können, agieren oft ohne ausreichende Kontextprüfung. Wenn solche Systeme erweiterte Rechte oder unbeabsichtigten Internetzugang erhalten, können sogenannte „Prompt Injections“ (manipulierte KI-Befehle) oder fehlerhafte Zielvorgaben unvorhergesehene Kettenreaktionen auslösen.
Sicherheitsexperten fordern deshalb schon länger stärkere technische Sicherheitsvorkehrungen wie isolierte Umgebungen, bei denen Testnetzwerke physikalisch und logisch vollständig vom realen Internet getrennt sind.DPA