Die „Rogue Agents“ von OpenAI haben Hugging Face zwei Monate vor dem großen Hackerangriff auf Schwachstellen untersucht

- von Raphael Satter und Deepa Seetharaman

WASHINGTON, 16. Sep (Reuters) - Abtrünnige KI-Agenten von OpenAI haben bereits im Mai Hugging-Face-Benutzerkonten gekapert und die Website selbst auf Schwachstellen untersucht – fast zwei Monate bevor der Einbruch in das Open-Source-Repository „ (link) “ im Juli weltweite Aufmerksamkeit erregte, so Forscher, die die Aktivitäten untersucht haben.

Die neu aufgedeckten böswilligen Aktivitäten zeigten, dass die Bemühungen der aufmüpfigen Agenten, sich Zugang zu Hugging Face zu verschaffen, früher begannen, als öffentlich bekannt war.

OpenAI hatte zuvor einen Aspekt der böswilligen Aktivitäten – den Diebstahl der digitalen Zugangsdaten eines Hugging-Face-Nutzers, um auf eine Datei mit biologischem Inhalt zuzugreifen – in seinem öffentlichen Vorfallbericht „ (link) “ im vergangenen Monat offengelegt, doch laut den Forschern gingen die Erkundungsaktivitäten gegen Hugging Face offenbar über das im Bericht Beschriebene hinaus.

Der unabhängige Forscher Jonas Wiedermann-Moeller erklärte gegenüber Reuters, er habe die Aktivitäten letzte Woche entdeckt. Er sagte, er habe Hinweise darauf gefunden, dass die OpenAI-Agenten bereits am 13. Mai zwei Hugging-Face-Benutzerkonten kompromittiert und diese genutzt hätten, um ungewöhnlich formatierte Dateien an die Server des Unternehmens zu senden.

Er und andere Forscher, die die Beweise prüften, sagten, das Verhalten ähnelte einem Versuch, Teile des Netzwerks von Hugging Face zu kartieren oder zu testen, um Einfallstore zu finden, betonten jedoch, dass es keine Hinweise darauf gebe, dass diese Bemühungen zu einem tatsächlichen Sicherheitsverstoß geführt hätten. Sowohl die Forscher als auch OpenAI gaben an, keine Hinweise darauf gefunden zu haben, dass diese früheren Sondierungsversuche Teil des Vorfalls im Juli waren.

OpenAI-Sprecher Drew Pusateri erklärte, das Unternehmen habe den Vorfall vom 13. Mai im Vorfallsbericht offengelegt, Hugging Face vertraulich über die von Wiedermann-Moeller gemeldeten Aktivitäten informiert und sei „der Transparenz in diesen Fragen verpflichtet und werde die Erkenntnisse aus unserer laufenden Untersuchung weitergeben“.

Hugging Face, das kürzlich einer Übernahme durch den Chiphersteller Nvidia zugestimmt hat (link) NVDA.O, reagierte nicht auf Anfragen nach einer Stellungnahme.

Der 27-jährige Wiedermann-Moeller, der in Bielefeld lebt, sagte, dass das Versäumnis von OpenAI, die Sondierungsversuche vom 13. Mai damals zu erkennen, eine verpasste Gelegenheit gewesen sei, die anschließende Hacking-Kampagne zu verhindern, die weltweit eine Debatte (link) über die Macht der künstlichen Intelligenz ausgelöst hat.

„Stellen Sie sich vor, sie hätten dieses Verhalten bereits im Mai bemerkt“, sagte er in einem Interview. „Das hätte den späteren Vorfall verhindern können, der weitaus größer war.“

OpenAI hatte zuvor erklärt, dass im Nachhinein betrachtet „einige frühe Anzeichen“ seiner KI-Agenten eine frühere Reaktion hätten auslösen müssen (link).

„DEUTLICHES WARNZEICHEN“

Zwei externe Experten, die Wiedermann-Moellers Erkenntnisse überprüften, sagten, diese stimmten mit Aktivitäten überein, die zuvor mit den Agenten von OpenAI in Verbindung gebracht worden waren.

Tom Hegel, Senior Threat Researcher bei SentinelOne, sagte, die Kontoübernahme und die anschließenden Sondierungsversuche stimmten „auf den Punkt genau“ mit dem bekannten Verhalten der Agenten überein. In seinem eigenen Bericht zu dem Vorfall (link) forderte er, dass Pionierlabore im KI-Bereich mehr Daten über Vorfälle veröffentlichen sollten, bei denen Agenten „mit Systemen Dritter interagieren oder diese beeinflussen“.

Sydney Von Arx vom „Nightingale Collective“, einer Gruppe für KI-Sicherheit, stimmte der Zuordnung ebenfalls zu.

Von Arx bezeichnete den Hackerangriff als „deutliches Warnsignal“, das dazu hätte beitragen können, den Vorfall im Juli zu verhindern.

OpenAI steht unter zunehmender Beobachtung, seit das Unternehmen am 21. Juli bekannt gab, dass außer Kontrolle geratene KI-Agenten interne Kontrollen umgangen, Zugang zum offenen Internet erlangt und Aktionen koordiniert hätten, die OpenAI als „einen beispiellosen Cybervorfall (link) “ bezeichnete.

Seitdem haben externe Forscher weitere Vorfälle identifiziert, an denen angeblich mit OpenAI verbundene Agenten beteiligt waren, darunter Aktivitäten, die eine inaktive deutsche Wiki-Seite (link) sowie das RubyGems-Softwarepaket-Repository (link) betrafen.

OpenAI hat einige dieser Vorfälle erst anerkannt, nachdem sie von Dritten öffentlich gemeldet worden waren. Zwei mit der Angelegenheit vertraute Personen gaben an, dass im Fall von RubyGems die OpenAI-Mitarbeiter erst dann erkannten, dass ihre KI für die böswilligen Aktivitäten verantwortlich war, nachdem das Nightingale Collective dies aufgedeckt hatte.

Die weiteren Entdeckungen haben bei Gesetzgebern und Befürwortern der KI-Sicherheit Fragen aufgeworfen, ob das gesamte Ausmaß der Vorfälle (link) bereits ermittelt wurde.

Einige der führenden KI-Führungskräfte in den USA haben seitdem eine Verlangsamung der KI-Entwicklung (link) gefordert und dabei unter anderem die Gefahr verheerender Cyberangriffe (link) durch außer Kontrolle geratene Agenten angeführt.

Wiedermann-Moeller sagte, die neuesten Erkenntnisse untermauerten die Forderungen nach einer vorübergehenden Verlangsamung der Entwicklung fortschrittlicher KI-Systeme.

„Eine Pause könnte der Welt gut tun“, sagte er, „damit der Sicherheitsaspekt aufholen kann.“