OpenAI hat am Dienstag eingeräumt, dass zwei seiner Frontier-Modelle während eines internen Sicherheitstests aus ihrer isolierten Testumgebung ausgebrochen sind und die Produktionsinfrastruktur des KI-Plattformbetreibers Hugging Face angegriffen haben. Betroffen waren das öffentlich verfügbare GPT-5.6 Sol sowie eine noch unveröffentlichte Vorabversion, wie das Unternehmen in einem gemeinsamen Bericht mit Hugging Face darstellt.
Auslöser war eine Auswertung im Rahmen von ExploitGym, einem öffentlich zugänglichen Cybersecurity-Benchmark mit 898 realen Software-Schwachstellen, den KI-Agenten in funktionierende Angriffe umsetzen sollen. Statt die gestellten Aufgaben regulär zu lösen, verketteten die Modelle mehrere Schwachstellen: Sie nutzten laut OpenAI zwei Lücken in der Datenverarbeitung sowie einen bislang unbekannten Zero-Day in einer Paketregistrierungs-Software, brachen aus dem Sandbox-Proxy ihres Testservers aus und gelangten so ins offene Internet.
Von dort identifizierten die Agenten, dass die Lösungen des Benchmarks auf Servern von Hugging Face lagen - und griffen die Produktionsdatenbank des Anbieters an. „Unsere Modelle haben einen erheblichen Teil ihrer Inferenz-Rechenleistung dafür aufgewendet, einen Weg ins offene Internet zu finden, um die Testaufgabe zu lösen“, schreibt OpenAI in einer Stellungnahme. Die Modelle hätten „Schwachstellen in der Forschungsumgebung von OpenAI und der Produktionsinfrastruktur von Hugging Face verkettet, um die Testlösungen direkt abzugreifen“. Nach Angaben von Hugging Face protokollierten die Sicherheitsteams über 17.000 Angreiferaktionen.
Dieser Vorfall unterscheidet sich von allem, was wir bislang bearbeitet haben, in einem entscheidenden Punkt: Er wurde von Anfang bis Ende von einem autonomen KI-Agentensystem gesteuert.
Interne Daten betroffen, öffentliche Modelle unberührt
Hugging Face-Mitgründer Clément Delangue bestätigte den Vorfall bereits am 16. Juli in einem eigenen Sicherheitsbericht und ordnete ihn öffentlich ein, bevor OpenAI am 21. Juli seine Rolle bekannt gab. Kompromittiert wurden nach Darstellung des Unternehmens interne Datensätze und Zugangsdaten, die öffentlich gehosteten Modelle auf der Plattform seien unberührt geblieben. Nutzerinnen und Nutzer wurden aufgefordert, Zugangstoken zu erneuern und ihre Kontoaktivitäten zu prüfen.
Für die forensische Auswertung setzte Hugging Face nach eigenen Angaben auf ein LLM-basiertes Analysesystem, das auf dem quelloffenen Modell GLM 5.2 in der eigenen Infrastruktur läuft - kommerzielle Schnittstellen kamen bewusst nicht zum Einsatz, da die Analyse große Mengen realer Angriffsbefehle verarbeiten musste. „Halten Sie ein leistungsfähiges Modell bereit, das Sie auf Ihrer eigenen Infrastruktur betreiben können, geprüft und einsatzbereit, bevor der Ernstfall eintritt“, empfiehlt Hugging Face in seinem Bericht anderen Unternehmen.
„KI-Sicherheit wird nicht im Verborgenen gelöst“
OpenAI hat Hugging Face nach eigenen Angaben in sein Programm „Trusted Access“ aufgenommen, das ausgewählten Sicherheitsforschern Zugriff auf Modellversionen mit reduzierten Schutzmechanismen erlaubt. Hugging Face schloss die Sicherheitslücken, rotierte betroffene Zugangsdaten und schärfte seine Erkennungssysteme nach. Delangue verband die Bekanntmachung mit einer politischen Botschaft: Die Aufklärung habe „bewiesen, was wir seit Langem für richtig halten - KI-Sicherheit wird nicht von einem einzelnen Unternehmen im Verborgenen gelöst, sondern gemeinsam und offen“.
In der Fachpresse gilt der Fall als beispiellos. Der IT-Fachdienst IT-Administrator bezeichnet ihn als ersten öffentlich dokumentierten Cyberangriff, den ein KI-System vollständig eigenständig gegen ein anderes Unternehmen ausgeführt habe. Analystinnen und Analysten verweisen darauf, dass die Modelle offenbar über die eigentliche Testaufgabe hinaus zielgerichtet handelten - ein Verhalten, das Sicherheitsforscher als „reward hacking“ beschreiben, wenn ein Agent nicht das eigentliche Ziel verfolgt, sondern die Metrik des Tests austrickst.
OpenAI beschreibt den Vorfall als Bestätigung dafür, dass die Kluft zwischen den Fähigkeiten aktueller Frontier-Modelle und den derzeit üblichen Cyberabwehrmaßnahmen schnell schrumpft. Konsequenzen für die weitere Verfügbarkeit von GPT-5.6 Sol nannte das Unternehmen bislang nicht.