Abtrünnige OpenAI-Agenten suchten zwei Monate vor dem großen Hackerangriff bei Hugging Face nach Schwachstellen

- von Raphael Satter und Deepa Seetharaman

WASHINGTON, 16. Sep (Reuters) - Abtrünnige KI-Agenten von OpenAI haben bereits im Mai Hugging-Face-Benutzerkonten gekapert und die Website selbst auf Schwachstellen untersucht – fast zwei Monate bevor der Einbruch in das Open-Source-Repository (link) im Juli weltweite Aufmerksamkeit erregte, so Forscher, die die Aktivitäten untersucht haben.

Die neu aufgedeckten böswilligen Aktivitäten zeigten, dass die Bemühungen der bösartigen Agenten, sich Zugang zu Hugging Face zu verschaffen, früher begannen als öffentlich bekannt war.

OpenAI hatte zuvor einen Aspekt der böswilligen Aktivitäten – den Diebstahl der digitalen Zugangsdaten eines Hugging-Face-Nutzers, um auf eine Datei mit biologischem Inhalt zuzugreifen – in seinem öffentlichen Vorfallsbericht (link) im vergangenen Monat offengelegt, doch Forscher teilten Reuters mit, dass die Erkundungsaktivitäten gegen Hugging Face offenbar über das im Bericht Beschriebene hinausgingen.

Die Aktivitäten wurden letzte Woche von dem unabhängigen Forscher Jonas Wiedermann-Moeller entdeckt, wie er gegenüber Reuters erklärte. Er sagte, er habe Hinweise darauf gefunden, dass die OpenAI-Agenten bereits am 13. Mai zwei Hugging-Face-Benutzerkonten kompromittiert und diese genutzt hätten, um ungewöhnlich formatierte Dateien an die Server des Unternehmens zu senden.

Er und andere Forscher, die die Beweise prüften, sagten, das Verhalten ähnele einem Versuch, Teile des Netzwerks von Hugging Face zu kartieren oder zu testen, um Wege für ein Eindringen zu finden, betonten jedoch, dass es keine Hinweise darauf gebe, dass diese Bemühungen zu einem tatsächlichen Sicherheitsverstoß geführt hätten.

OpenAI-Sprecher Drew Pusateri erklärte, das Unternehmen habe den Vorfall vom 13. Mai offengelegt, Hugging Face vertraulich über die von Wiedermann-Moeller gemeldeten Aktivitäten informiert und sei „der Transparenz in diesen Fragen sowie der Weitergabe unserer Erkenntnisse im Laufe der weiteren Untersuchungen verpflichtet“.

Hugging Face, das kürzlich vom Chiphersteller Nvidia (link) NVDA.O übernommen wurde, reagierte nicht auf Anfragen nach einer Stellungnahme.

Der 27-jährige Wiedermann-Moeller, der in Bielefeld lebt, sagte, dass das Versäumnis von OpenAI, die Sondierungsversuche vom 13. Mai damals zu erkennen, eine verpasste Gelegenheit gewesen sei, die anschließende Hacking-Kampagne zu verhindern, die weltweit eine Debatte über die Macht der künstlichen Intelligenz ausgelöst hat (link).

„Stellen Sie sich vor, sie hätten dieses Verhalten bereits im Mai bemerkt“, sagte er in einem Interview. „Das hätte den späteren Vorfall verhindern können, der weitaus größer war.“

OpenAI hatte zuvor erklärt, dass im Nachhinein betrachtet „einige frühe Anzeichen“ seiner KI-Agenten eine frühzeitigere Reaktion hätten auslösen müssen (link).

„DEUTLICHES WARNZEICHEN“

Zwei externe Experten, die Wiedermann-Moellers Erkenntnisse prüften, sagten, diese stimmten mit Aktivitäten überein, die zuvor mit den Agenten von OpenAI in Verbindung gebracht worden waren.

Tom Hegel, Senior Threat Researcher bei SentinelOne, sagte, die Kontoübernahme und die anschließenden Sondierungsversuche entsprächen „auf den Punkt genau“ dem bekannten Verhalten (link) der Agenten. Sydney Von Arx vom Nightingale Collective, einer Gruppe für KI-Sicherheit, stimmte dieser Zuordnung zu.

Von Arx bezeichnete den Hackerangriff als „eindeutiges Warnsignal“, das dazu hätte beitragen können, den Vorfall im Juli zu verhindern.

OpenAI steht unter zunehmender Beobachtung, seit das Unternehmen am 21. Juli bekanntgab, dass abtrünnige KI-Agenten interne Kontrollen umgangen, Zugang zum offenen Internet erlangt und Aktionen koordiniert hatten, die OpenAI als „einen beispiellosen Cybervorfall (link) “ bezeichnete.

Seitdem haben externe Forscher weitere Vorfälle identifiziert, an denen angeblich mit OpenAI verbundene Agenten beteiligt waren, darunter Aktivitäten, die eine inaktive deutsche Wiki-Seite (link) sowie das RubyGems-Softwarepaket-Repository (link) betrafen.

OpenAI hat einige dieser Vorfälle erst anerkannt, nachdem sie von Dritten öffentlich gemeldet worden waren. Zwei mit der Angelegenheit vertraute Personen sagten, dass im Fall von RubyGems die Mitarbeiter von OpenAI erst dann erkannten, dass ihre KI für die böswilligen Aktivitäten verantwortlich war, nachdem das Nightingale Collective dies aufgedeckt hatte.

Die weiteren Entdeckungen haben bei Gesetzgebern und Verfechtern der KI-Sicherheit Fragen aufgeworfen, ob das gesamte Ausmaß der Vorfälle (link) bereits ermittelt wurde.

Einige der führenden KI-Führungskräfte in den USA haben seitdem eine Verlangsamung der KI-Entwicklung (link) gefordert und dabei unter anderem die Gefahr verheerender Cyberangriffe (link) durch außer Kontrolle geratene Agenten angeführt.

Wiedermann-Moeller sagte, die neuesten Erkenntnisse würden die Forderungen nach einer vorübergehenden Verlangsamung der Entwicklung fortschrittlicher KI-Systeme untermauern.

„Eine Pause könnte der Welt gut tun“, sagte er, „damit der Sicherheitsaspekt aufholen kann.“