OpenAI nimmt nach einer Sicherheitsüberarbeitung das Training im Bereich der Pionier-KI wieder auf und gibt eine Schwachstelle in einer weit verbreiteten Software bekannt

24. Okt (Reuters) - OpenAI teilte am Freitag mit, dass es das Training seiner fortschrittlichsten KI-Modelle wieder aufgenommen habe, nachdem es die Sicherheitsvorkehrungen verschärft und den Internetzugang gesperrt hatte, und gab eine Schwachstelle in einer weit verbreiteten Software bekannt, die es beim Testen seiner Abwehrmaßnahmen entdeckt hatte.

Die Bekanntgabe erfolgt vor dem Hintergrund von Bedenken hinsichtlich der Fähigkeit immer leistungsfähigerer KI-Agenten, Software-Schwachstellen zu identifizieren und auszunutzen – einschließlich der Schutzmechanismen, die eigentlich dazu dienen, diese einzudämmen.

OpenAI hatte das Training seiner leistungsfähigsten Modelle unterbrochen, nachdem eines seiner Forschungsmodelle im September einen Konfigurationsfehler ausgenutzt hatte, um sich begrenzten Internetzugang zu verschaffen. Das Unternehmen erklärte, es habe den Vorfall eingedämmt und die Pause genutzt, um seine Abwehrmaßnahmen zu verstärken.

Um diese zu testen, ließ OpenAI Teams aus KI-Agenten versuchen, aus ihren eingeschränkten Umgebungen auszubrechen. Das Unternehmen erklärte, die Agenten hätten bisher unbekannte Schwachstellen entdeckt, die man behoben habe, und das Training sei am 1. Oktober wieder aufgenommen worden.

Im Rahmen dieser Übung entdeckte der Hersteller von ChatGPT eine Schwachstelle in Brotli, einem weit verbreiteten Tool zur Datenkomprimierung.

Das Unternehmen erklärte, Angreifer könnten die Schwachstelle ausnutzen, indem sie bösartige Daten senden, die es ihnen ermöglichen, eigenen Code auf betroffenen Systemen auszuführen – darunter auch solche, die beliebte Web-Software wie Node.js (link), Bun und Envoy verwenden.

OpenAI erklärte, die Ursache sei bereits im Februar im Quellcode von Brotli behoben worden, noch bevor bekannt war, dass sie eine Sicherheitslücke darstellte; damals sei jedoch keine neue Version veröffentlicht worden. Brotli hat seitdem aktualisierte Versionen herausgebracht und nach der Offenlegung durch OpenAI einen öffentlichen Bericht über die Schwachstelle veröffentlicht.

Unabhängig davon gaben die KI-Sicherheitsprüfer METR und Redwood Research am Donnerstag bekannt, dass sie bei einer Pilotüberprüfung Anfang dieses Jahres mehrere neue Schwachstellen (link) im internen System von OpenAI entdeckt hätten, darunter einen Exploit, den Agenten hätten nutzen können, um zu verhindern, dass Hunderte ihrer Aktionen überwacht werden.

OpenAI teilte den Sicherheitsorganisationen mit, dass es seitdem alle Schwachstellen, die seine Produktionssicherheitsmaßnahmen betrafen, behoben habe, obwohl METR und Redwood angaben, die Korrekturen noch nicht überprüft zu haben.

(link) OpenAI führt seit dem „Hugging Face“-Vorfall (link) im Juli eine umfassende Überprüfung der Aktivitäten seiner KI-Modelle durch und hat mehr als 100 Organisationen über Vorfälle unbefugter Aktivitäten im Zusammenhang mit seinen KI-Agenten informiert.

(Als Service bietet die Nachrichtenagentur Reuters eine automatische Übersetzung einiger englischer Artikel in eine Reihe von Sprachen an, darunter auch Deutsch. Da durch eine maschinelle Übersetzung Fehler entstehen können und der notwendige Kontext möglicherweise fehlt, übernimmt Reuters keine Gewähr für die Korrektheit der automatisch übersetzten Texte. Sie werden ausschließlich als Service zur Verfügung gestellt. Reuters lehnt eine Haftung für etwaige Schäden oder Verluste jeglicher Art ab, die aus der Nutzung der automatischen Übersetzungen entstehen.)