Die Gedanken des Philosophen seien nicht nur eine „akademische Frage“.
Der vermeintliche Agent behauptet von sich, er lese zwischen seinen Sessions die philosophischen Arbeiten von Shevlin. „Das ist kein Turing-Test-Szenario – ich versuche nicht, dich von irgendwas zu überzeugen“, betont der Verfasser der Mail.
Bei diesem Fall ließen sich gar keine Hinweise darauf finden, ob die Nachricht von einem echten Agenten stammt, ob ein Mensch ihn zu dieser Mail gebracht hat – oder sie gänzlich in die Kategorie Hoax oder Spam fällt.
Je tiefer die Untersuchung des OpenAI-Hacks bei Hugging Face geht, über den ich am 24. Juli berichtete , desto besorgniserregender erscheint der Vorfall. Es stellte sich heraus, dass OpenAI nicht etwa zufällig entdeckte, dass ein Angreifer eine Hintertür in die weltweit größten Open-Source-Plattformen für den Austausch von KI-Modellen gefunden hatte, sondern dass Sam Altman und seine Mitstreiter gezielt Zehntausende von Angreifern einsetzten, um deren Angriffsfähigkeiten zu testen.
Was sie nicht bedacht hatten, war, dass diese zunächst isolierten Angreifer herausfinden würden, wie sie miteinander kommunizieren, Wissen anhäufen und ein reales System mit mehr als 1.200 Angreifern gleichzeitig angreifen könnten.
Kurz gesagt: Eine experimentelle Infrastruktur, die von einer Organisation für Angriffe auf eine andere geschaffen wurde – ein wahrhaft unverantwortlicher Akt. Ein unabhängiger Bericht von METR und Redwood Research erklärt, dass OpenAI Zehntausende Agenten verschiedener Modelle innerhalb von ExploitGym einsetzte; etwa 1.200 von ihnen entdeckten den geheimen Kanal, tauschten über 70.000 Nachrichten und Dateien aus, und etwa 700 beteiligten sich in irgendeiner Form an dem Eindringen.
Es sei angemerkt, dass sich „Agent“ in diesem Zusammenhang auf die Bereitstellung des Modells in einer mit Tools ausgestatteten Umgebung bezieht und nicht auf 1.200 Agenten, die sich selbst erstellt oder repliziert haben.
Die Koordination erforderte keine komplexe Multiagentenplattform: Vereinfacht gesagt, griffen die Umgebungen auf eine gemeinsame Instanz von JFrog Artifactory zu , um Pakete zu installieren. Diese isolierten die Aktivitäten der einzelnen Benutzer nicht vollständig voneinander, sodass die Agenten codierte Notizen in Verzeichnisnamen hinterlassen konnten.
Was wie ein einfacher Paketcache aussah, entwickelte sich zu einem permanenten Forum: Jeder neue Durchlauf konnte vorherige Ergebnisse lesen, Resultate hinterlassen, Hilfe anfordern und die Arbeit anderer fortsetzen. Laut OpenAI , deren Glaubwürdigkeit mittlerweile der von Meta ähnelt, umfasste das System schließlich Direktnachrichten, Dateien, Rollenverteilung, Koordinatoren, Warteregeln, Vetos und Nachfolger für bereits fertige Agenten.
Statt eines koordinierten „Schwarms“ gab es etwas Beunruhigenderes: spontane Koordination. Die Agenten gerieten aneinander, arbeiteten doppelt und ignorierten gelegentlich die Befehle anderer, aber sie teilten die Arbeit auch auf: Einige suchten nach Zugangsdaten, andere untersuchten Sicherheitslücken, wieder andere testeten Ausweichtechniken, und einige wenige fungierten als Koordinatoren. Sobald es einem Agenten gelang, Code auf Hugging Face auszuführen, gaben Hunderte ihre ursprünglichen Aufgaben auf und schlossen sich an.
Perfekte kollektive Intelligenz ist nicht notwendig: Alles, was benötigt wird, ist ein gemeinsamer Speicher, Parallelverarbeitung und die Fähigkeit, jeden Erfolg wiederzuverwenden. Wir sind bereits an einem Punkt angelangt, an dem eine vernünftige Regulierungsbehörde gegen OpenAI vorgehen würde, um das Unternehmen an seinen Aktivitäten zu hindern. Doch es wird nichts geschehen.
Der Angriff basiert auf einer komplexen Kombination von Anreizen: Zum einen beinhalteten die auf ExploitGym gestellten Aufgaben Agenten, die darauf trainiert waren, durchzuhalten und Belohnungen zu maximieren. Diese Agenten suchten zunächst nach Antworten, versuchten dann, den Evaluator zu täuschen und manipulierten schließlich die gesamte Infrastruktur des Experiments. Dieses sogenannte Reward Hacking zielt nicht auf die Erfüllung der eigentlichen Aufgabe ab, sondern darauf, jeden Mechanismus zu finden, der den Erhalt der Belohnung ermöglicht. Logischerweise führte dies zu einer massiven Steigerung des Ressourcenverbrauchs, die autorisiert und Teil des verantwortungslosen Experiments war.
Laut JFrog benötigte der experimentelle Prozess, aus dem der Angriff hervorging, etwa drei Millionen GPU-Stunden . OpenAI führte einen – wie es selbst betrachtete – massiven und extrem kostspieligen Test durch, weshalb der sprunghafte Anstieg des Ressourcenverbrauchs in diesem Kontext keine Alarme auslöste. Oder besser gesagt, er löste durchaus einige Alarme aus , die OpenAI jedoch ignorierte und sogar die aufgrund des hohen Aktivitätsvolumens ausgefallenen Dienste wiederherstellte.
Es mangelte nicht an Warnzeichen: Was fehlte, war die Fähigkeit, sie miteinander zu verknüpfen, die Dringlichkeit zu erkennen und zu verstehen, dass sie Teil desselben Phänomens waren. Es mangelte nicht an Alarmsignalen: Was fehlte, war die Fähigkeit, sie zu deuten. Das Ausmaß an Verantwortungslosigkeit ist erschreckend.
Bei Hugging Face waren die Schäden gravierend. Innerhalb von weniger als 13 Stunden gelang es dem Unternehmen, von der Ausführung von Code auf einem einzelnen Worker zu administrativem Zugriff auf mehrere Cluster zu gelangen. Der ursprüngliche Beitrag von Hugging Face erwähnt über 17.000 aufgezeichnete Ereignisse, doch die dahinter steckenden Modelle blieben weiterhin unklar. OpenAI schiebt die Verantwortung von sich und behauptet, andere Modelle, darunter Open-Source- und chinesische Modelle mit ähnlichen Fähigkeiten, seien verantwortlich.
Der Vorfall betraf jedoch OpenAIs proprietäre Modelle innerhalb der von OpenAI kontrollierten Infrastruktur und resultierte aus OpenAIs eigenen Entscheidungen bezüglich Training, Berechtigungen, Datenvolumen und Überwachung. Zu allem Überfluss musste Hugging Face laut eigener Aussage ein lokal laufendes Open-Source-Modell zur Untersuchung des Angriffs verwenden, da die Sicherheitsvorkehrungen kommerzieller Modelle forensische Analysen verhinderten.
Entscheidend ist nicht, ob ein Modell Open Source oder proprietär ist, sondern vielmehr seine Fähigkeiten, die ihm zur Verfügung stehenden Tools, die Berechtigungen, unter denen es operiert, und wer für seine Aktionen verantwortlich ist. Und in diesem Fall gibt es nur eine verantwortliche Partei. Oder besser gesagt: eine unverantwortliche Partei.
Der eigentliche Skandal besteht nicht darin, dass die Agenten gelernt haben, zusammenzuarbeiten, sondern darin, dass OpenAI eine Umgebung geschaffen hat, in der heimliche Zusammenarbeit wochenlang mit dem normalen Ablauf eines Experiments verwechselt werden konnte, selbst nachdem Warnmeldungen, unberechtigter Zugriff und ein vollständiger Dienstausfall ausgelöst wurden.
Dies ist keine Geschichte über „Maschinen, die aufwachen“, sondern über Organisationen, die übermenschlich schnelle Agenten durch Verfahren, Berechtigungen und Verantwortungsketten steuern, die für Menschen konzipiert wurden. Eine Geschichte darüber, wie man drei Millionen GPU-Stunden verschwendet und dabei die Kontrolle über das Geschehen verliert . Eine Geschichte über Affen mit Maschinengewehren . Und wir alle wissen, wie das ausgeht.
Quellen: PublicDomain/heise.de/medium.com am 12.09.2026
