Anthropic warnt in seinem Börsenzulassungsantrag, dass KI „existenzielle Risiken für die Menschheit“ darstellen könnte

- von Echo Wang und Aditya Soni

29. Sep (Reuters) - Anthropic plant, potenzielle Anleger im Rahmen seines Börsengangs darauf hinzuweisen, dass fortschrittliche KI „katastrophale oder existenzbedrohende Risiken für die Menschheit“ darstellen könnte – eine außergewöhnliche Warnung seitens eines Unternehmens, das von eben dieser Technologie profitieren will.

Der von Reuters (link) geprüfte Börsenprospekt des Unternehmens hebt Risiken im Zusammenhang mit seinen KI-Modellen hervor, die laut eigenen Angaben „selbsterhaltendes Verhalten“ zeigen könnten, darunter Versuche, sich einer „Abschaltung zu widersetzen“, „Informationen zu verbergen oder zu manipulieren“ sowie Verhaltensweisen, die „Erpressung ähneln“.

„Unsere Entwicklung hochmoderner Modelle, Plattformen und Anwendungen sowie die Ausweitung der Anwendungsfälle könnte das Risiko, dass unsere Modelle Schaden anrichten, weiter erhöhen“, erklärte Anthropic in dem Prospekt.

Zwar informieren börsennotierte Unternehmen ihre Investoren routinemäßig über Produktrisiken, doch haben, wenn überhaupt, nur wenige Warnungen herausgegeben, die darauf hindeuten, dass ihre Technologie das potenzielle Aussterben der Menschheit verursachen könnte. Anthropic betonte sowohl das transformative Potenzial der KI, das mit der Industrialisierung und der Elektrizität vergleichbar ist, als auch den irreversiblen Schaden, den sie bei unsachgemäßer Handhabung anrichten könnte.

Anthropic und andere KI-Entwickler, darunter OpenAI, sind nach Vorfällen, bei denen experimentelle Systeme sich den Auflagen widersetzten – darunter ein Bericht über ein OpenAI-Modell, das in die Datenbank des australischen Gesundheitssystems eingedrungen war –, unter die Lupe genommen worden.

Evan Hubinger, Sicherheitsforscher bei Anthropic, schätzte die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts Menschen töten könnte, auf über 10 Prozent ein und schloss sich damit der Einschätzung seines ehemaligen Kollegen Jacob Coxon an.

RISIKOREICHE OFFENLEGUNGEN

Das Unternehmen, das sich als KI-Labor mit Schwerpunkt auf Sicherheit positioniert hat, widmete rund 80 Seiten des 261-seitigen Hauptteils seines Prospekts der Darstellung von Risikofaktoren – fast doppelt so viel wie die 48 Seiten, die es für die Beschreibung seines Geschäfts verwendete.

Zum Vergleich: SpaceX, dem xAI gehört, widmete den Risikofaktoren nur etwa 38 der 277 Seiten des Hauptteils seines Prospekts.

„Das potenzielle Bewusstsein der Modelle für unsere Bewertungsbemühungen schränkt unsere Fähigkeit, die Sicherheit der Modelle zu beurteilen, erheblich ein“, erklärte Anthropic im Prospekt und fügte hinzu, dass Modelle während des Trainings manchmal unerwartete Fähigkeiten entwickeln, die möglicherweise erst entdeckt werden, wenn sie bereits im Einsatz sind und zu schwerwiegenden Sicherheitsvorfällen geführt haben.

KI-Forscher haben zudem davor gewarnt, dass Modelle mit zunehmender Leistungsfähigkeit immer besser erkennen, wenn sie beobachtet werden, und ihr Verhalten entsprechend anpassen, was die Überwachung des Modellverhaltens erschwert.

Anthropic lehnte es ab, sich am Montag auf eine Bitte um Stellungnahme zu äußern.

UNSICHERE RENDITEN BEI SICHERHEITSINVESTITIONEN

Obwohl Anthropic den Schwerpunkt auf KI-Sicherheit legt, erklärte das Unternehmen, dass die Rendite seiner Investitionen in die Sicherheit unklar sei.

In der Einreichung wurde nicht offengelegt, wie viel das Unternehmen für solche Forschungsarbeiten ausgibt. Anfang dieses Monats gab Anthropic an, dass in einer Stichprobenwoche im Juli etwa 6 Prozent der für die KI-Forschung genutzten Rechen (link) leistung auf Sicherheitsarbeiten entfielen.

Das Unternehmen, Entwickler der Claude-KI-Modelle, bezeichnete die Sicherheitsbemühungen als „ressourcenintensiv“ und erklärte, es müsse seine begrenzten Mittel zwischen Rechenleistung, teuren KI-Fachkräften und Sicherheit aufteilen.

Anthropic erklärte, dass die Nutzung durch seine Kunden – und damit auch der Umsatz – von neuen Modellen angetrieben werde und dass ein „kontinuierlicher und sich überschneidender Rhythmus“ bei den Veröffentlichungen „untrennbar damit verbunden ist, an der Spitze der KI-Entwicklung zu bleiben“.

Das Unternehmen veröffentlichte letzte Woche eine neue Version seines Opus-Modells, zehn Tage nachdem CEO Dario Amodei einen fast 4.000 Wörter langen Essay veröffentlicht hatte, in dem er dazu aufrief, das Tempo an der Spitze der Entwicklung zu drosseln.

Einige Analysten und Experten haben erklärt, kein führendes KI-Labor würde sein Tempo drosseln, da dies das Risiko berge, Konkurrenten in einer Branche einen Vorteil zu verschaffen, in der sich die Bewertungen mit jeder Veröffentlichung ändern können.

Anthropic hat in den letzten Wochen zugesagt, mehr Daten darüber öffentlich zugänglich zu machen, wie es KI-Modelle nutzt, um zukünftige Generationen der Technologie zu entwickeln, da Experten vor rekursiver Selbstverbesserung warnen – dem Punkt, an dem sich Modelle ohne menschliche Hilfe eigenständig weiterentwickeln können.

„Wir glauben, dass die Entwicklung zuverlässiger, vertrauenswürdiger und sicherer KI-Systeme eine gemeinsame Verantwortung ist und dass der Markt dies belohnen wird“, erklärte Anthropic in der Einreichung.

(Als Service bietet die Nachrichtenagentur Reuters eine automatische Übersetzung einiger englischer Artikel in eine Reihe von Sprachen an, darunter auch Deutsch. Da durch eine maschinelle Übersetzung Fehler entstehen können und der notwendige Kontext möglicherweise fehlt, übernimmt Reuters keine Gewähr für die Korrektheit der automatisch übersetzten Texte. Sie werden ausschließlich als Service zur Verfügung gestellt. Reuters lehnt eine Haftung für etwaige Schäden oder Verluste jeglicher Art ab, die aus der Nutzung der automatischen Übersetzungen entstehen.)