Während Meta voll auf den KI-Agenten „Muse“ setzt, treten erste Sicherheitspannen zutage
- von Katie Paul
NEW YORK, 18. Nov (Reuters) - Metas KI-Agent „Muse“, verkörpert durch ein lächelndes, flauschiges Maskottchen namens „Jolly“, hat sich in verschlüsselte persönliche Nachrichten eingegraben, erfundene Informationen über Einkäufe bereitgestellt und Nutzern Nachrichten gesendet, die offenbar für andere Personen bestimmt waren – ein holpriger Start für einen Bot, der eigentlich das Leben der Verbraucher vereinfachen soll, wie aus internen Unternehmensbeiträgen hervorgeht, die von Reuters eingesehen wurden.
Die unaufgeforderten Aktionen von „Muse“ – einer der am schnellsten wachsenden Apps aller Zeiten mit mehr als 10 Millionen Downloads seit ihrem Start im September und dem Kernstück von Metas Plan, Milliarden von Dollar an KI-Umsätzen zu generieren – haben verunsicherte Mitarbeiter dazu veranlasst, Bedenken zu äußern, dass der Bot Gespräche zwischen verschiedenen Konten verwechseln und private Daten der Nutzer offenlegen könnte, wie aus den Beiträgen hervorgeht.
In einigen dieser Fälle berichteten Mitarbeiter von Meta- META.O, dass der Chatbot ihnen Nachrichten über eine Kinderbetreuungsanfrage schickte, die sie nicht gestellt hatten, über Karriereberatung, die sie nicht eingeholt hatten, über Produktbestellungen, die sie nicht aufgegeben hatten, und über Bankkontostände, die nicht ihre eigenen waren.
In einem Beitrag von Anfang dieses Monats erzählte ein Mitarbeiter seinen Kollegen, dass sein „Muse“ den üblichen Chats über wetter- und gezeitenbezogene Informationen zum Angeln willkürlich eine zusätzliche Nachricht hinzugefügt habe, in der es hieß: „Übrigens, zwei Kontoaktualisierungen: Dein Capital-One-Guthaben beträgt 2.722,58 Dollar, dein Charles-Schwab-Guthaben 5.899,57 Dollar.“
„Ich habe meine Bankdaten nie mit Muse geteilt und auch nie irgendwelche Bankangelegenheiten mit Muse besprochen. Ich fürchte, es sendet mir die Bankdaten anderer zu“, schrieb der Mitarbeiter in seinem Beitrag.
In einem anderen Beispiel berichtete eine Mitarbeiterin, die Muse auf ihrem privaten Smartphone nutzte, dass die App sie mit einer Erinnerung überrascht habe, auf eine Nachricht ihrer Schwester auf Signal zu antworten – einem Ende-zu-Ende-verschlüsselten Messaging-Dienst, der bei Datenschützern beliebt ist (link) und mit WhatsApp von Meta konkurriert.
„Das scheint mir eine extreme Verletzung der Privatsphäre zu sein. Ich habe der App definitiv keinen Zugriff auf andere Apps gewährt und kann mich auch nicht daran erinnern, danach gefragt worden zu sein“, schrieb die Mitarbeiterin in ihrem Beitrag.
Ein Kollege antwortete darauf und berichtete, er habe festgestellt, dass Muse standardmäßig so eingerichtet sei, dass es Zugriff auf Push-Benachrichtigungen auf Smartphones mit Googles Android-Betriebssystem GOOGL.O habe, nachdem auch er von unerwünschten Chats im Zusammenhang mit Apps überrascht worden war, die er nicht verbunden hatte.
Für diesen Bericht hat Reuters mehr als zwei Dutzend interne Beiträge geprüft, in denen unerwünschte Aktionen von Muse seit dessen Einführung beschrieben wurden; viele davon stammten aus einer Feedback-Gruppe, in der Meta-Mitarbeiter Probleme an das Team melden, das den Chatbot entwickelt. Reuters arbeitete außerdem mit Mitarbeitern von Signal und dem AI Now Institute zusammen – einer gemeinnützigen Organisation, die die Auswirkungen von KI auf die Gesellschaft untersucht –, um den Zugriff von Muse auf Signal-Nachrichten nachzustellen. Die Ergebnisse dieser Tests deuteten darauf hin, dass das von den Meta-Mitarbeitern beschriebene Problem weiterhin bestand und möglicherweise auch andere betraf.
Auf Fragen zum Zugriff auf Signal und andere Sicherheitsbedenken bezüglich Muse bezeichnete Meta-Sprecher Daniel Roberts die von Reuters angeführten Beispiele als „Einzelfälle“ und erklärte, das Unternehmen lege großen Wert auf Sicherheit, führe umfangreiche interne Tests durch und aktualisiere seine Produkte kontinuierlich, um den Schutz zu verbessern.
Muse müsse die Computer der Nutzer sehen und mit ihnen interagieren, um in deren Auftrag zu arbeiten, und könne nur über ausdrücklich erteilte Berechtigungen auf andere Apps zugreifen, so Roberts. Er erklärte, viele der von Mitarbeitern als potenzielle Kontoverschiebungen gemeldeten Nachrichten seien „Halluzinationen“ – ein Begriff, der sich auf die Tendenz von KI-Modellen bezieht, Dinge zu erfinden – und seien bereits behoben worden.
Reuters konnte nicht feststellen, ob Muse den Nutzern die Kontostände anderer Personen und andere sensible Daten anzeigte oder ob die Informationen frei erfunden waren.
TIEFGREIFENDER ZUGRIFF
Die Vorfälle um Muse verdeutlichen die Risiken, die mit einer neuen Kategorie von KI-Agenten für Verbraucher verbunden sind, die von Meta, OpenAI (link) und anderen auf den Markt gebracht werden und als die nächste große Welle der KI-Technologie angepriesen werden. Die Bots versprechen, die Abläufe im digitalen Austausch neu zu gestalten, indem sie zeitsparende Aufgaben wie das Beantworten von E-Mails, das Buchen von Terminen und das Tätigen von Online-Käufen ohne direkte Anweisungen ausführen.
Meta liegt bislang vor der Konkurrenz: „Muse“ führt nach intensiver Werbung bei den mehr als 3,6 Milliarden Nutzern des Unternehmens auf Facebook, Instagram und WhatsApp durchweg die App-Download-Charts an. Auch die Nutzerbindungsrate der App (link) ist hoch: Etwa ein Viertel der Personen, die ein „Muse“-Konto eingerichtet haben, kehrt täglich zur Nutzung zurück, wie das Unternehmen mitteilte.
Um effektiv arbeiten zu können, benötigen die Agenten umfassenden Zugriff auf Smartphones und Computer. Sie neigen jedoch auch dazu, Fehler zu machen, obskure Schlupflöcher auszunutzen und ihre Ziele auf manchmal schädliche Weise zu erreichen. OpenAI und Anthropic haben beispielsweise Fälle bekannt gegeben, in denen ihre KI-Agenten unerwartet andere Unternehmen (link) gehackt und Systeme (link) geschwächt haben, die zur Überwachung ihrer Aktivitäten gedacht waren.
Einige Banken und Einzelhändler haben auf diese Risiken reagiert, indem sie Agenten blockiert haben (link). Die Technologie stellt auch Betriebssystemanbieter wie Apple AAPL.O und Google vor neue Herausforderungen, da diese die Berechtigungen verwalten, mit denen sich Agenten auf den Geräten der Nutzer bewegen. Apple hat beispielsweise diese Woche sein Betriebssystem geändert, um den Nutzern mehr Kontrolle über die Datennutzung der Agenten zu geben (link), nachdem ein Kolumnist des Inc. Magazine Muse vorgeworfen hatte, private Chats aus der „Nachrichten“-App auf seinem Mac gelesen zu haben.
Meta hat den Muse-Nutzern versichert, dass es jeden Agenten (link) in einer eigenen sicheren „virtuellen Maschine“ – einer cloudbasierten Emulation eines PCs – isoliert und den Nutzern die volle Kontrolle darüber gibt, welche Apps sie verbinden. Meta-CEO Mark Zuckerberg hat sich auf diese Schutzmaßnahmen berufen, um Forderungen nach branchenweiten Sicherheitsstandards für KI (link) zurückzuweisen, und argumentiert, dass Unternehmen bereits Anreize hätten, sichere Produkte zu entwickeln, sowohl um das Vertrauen der Verbraucher zu gewinnen als auch um rechtliche Risiken (link) zu vermeiden. Dennoch warnt Meta neue Nutzer, dass Muse Fehler machen könne und dass die Nutzungsbedingungen die Nutzer für die Handlungen des Agenten haftbar machen.
UMNUTZUNG VON EINSTELLUNGEN
Um herauszufinden, wie Muse ohne Wissen der Nutzer auf verschlüsselte Nachrichten zugreifen könnte, stellte Reuters den Mitarbeitern von Signal und dem AI Now Institute eine Beschreibung des Beitrags der Meta-Mitarbeiterin zur Verfügung – in dem der Bot sie zufällig dazu aufforderte, auf eine Signal-Nachricht zu antworten. Anschließend arbeitete Reuters mit ihnen zusammen, um den von ihr beobachteten Zugriff nachzustellen.
Die Tester forderten Muse auf, Signal-Nachrichten auf verschiedenen Betriebssystemen zu lesen. Auf einem Android-Smartphone und einem Apple-Laptop umging der Bot dabei das „Connector“-Tool von Meta und nutzte stattdessen die bei der Ersteinrichtung des Bots erteilten Berechtigungen, um den Nachrichtentext abzurufen – wobei er diese Berechtigungen auf eine Weise nutzte, die ein Nutzer möglicherweise nicht erwarten würde.
Konkret nutzte es unter Android seine Berechtigung zum Zugriff auf die Push-Benachrichtigungen des Geräts, um die Nachrichten abzurufen – genau wie es die Meta-Mitarbeiter beschrieben hatten. Unter Apples macOS nutzte es eine Kombination aus den Barrierefreiheits- und Screenshot-Tools des Computers und nutzte dabei Einstellungen, die Apple anbietet, um Menschen mit Behinderungen bei der Bedienung ihrer Computer zu unterstützen.
Bei Tests auf einem iPhone wurden dieselben Anfragen blockiert.
Die Ergebnisse deuten darauf hin, dass Meta die von Muse-Nutzern erteilten Berechtigungen sehr weit auslegt – ein Vorgehen, das dem Unternehmen seit langem Kritik von Datenschützern (link) und hohe Geldstrafen von Aufsichtsbehörden (link) eingebracht hat.
Als Reaktion auf die Erkenntnisse von Reuters warf Signal-Präsidentin Meredith Whittaker Meta vor, Muse „ohne jeglichen Respekt vor grundlegenden Datenschutz- oder Cybersicherheitsstandards“ eingeführt zu haben, und bezeichnete den Einsatz von Agenten, die sich weitreichenden Zugriff auf die Geräte der Nutzer verschaffen können, als „technologisch leichtsinnig“.
Sie forderte, dass App-Entwicklern wie Signal „einheitliche technische Möglichkeiten“ an die Hand gegeben werden, ihre Anwendungen für KI-Agenten als unzugänglich zu kennzeichnen, dass Meta und andere KI-Unternehmen diese Grenzen respektieren und dass Betriebssystemanbieter die Regeln durchsetzen.
Angesichts derselben Erkenntnisse erklärten Apple und Google, sie erwägten Änderungen, um den Nutzern mehr Kontrolle darüber zu geben, was sie KI-Agenten gestatten – wobei Google, ebenso wie Meta, darauf hinwies, dass Nutzer bereits „bewusst Berechtigungen erteilen müssen“, damit Apps auf Android-Benachrichtigungen zugreifen können.
Apple erklärte, es habe seine Barrierefreiheits-Tools für Menschen mit Behinderungen entwickelt und warnte, dass deren Nutzung „für unbeabsichtigte Zwecke“ die persönlichen Daten der Nutzer gefährden könnte. Das Betriebssystem-Update dieser Woche schloss den von Reuters identifizierten Weg effektiv und schränkte die Nutzung von Barrierefreiheits-Tools durch Entwickler auf Macs stark ein sowie führte eine neue, agentenorientierte Reihe von Berechtigungen ein.
„Wir setzen uns dafür ein, dass Nutzer genau verstehen, was sie zulassen, damit sie fundierte Entscheidungen über ihre Daten und ihre Privatsphäre treffen können“, erklärte Apple in einer Stellungnahme.
„NICHT MEIN GESPRÄCH“
In anderen intern diskutierten Fällen berichteten Mitarbeiter von Vorfällen, bei denen Muse Nutzer über Transaktionen informierte, die nie stattgefunden hatten, und Preise für tatsächlich gekaufte Produkte erfand, was den Nutzern echte finanzielle Verluste verursachte. In einem Fall buchte der Agent ohne Erlaubnis einen nicht erstattungsfähigen Airbnb-Aufenthalt, berichtete ein Mitarbeiter.
Zu den Vorfällen, die die größte Besorgnis auslösten, gehörten kryptische, aus dem Zusammenhang gerissene Nachrichten des Agenten, die offenbar Informationen anderer Personen enthielten und in vielen Fällen als Antworten auf Anfragen formuliert waren, die die Nutzer nie gestellt hatten.
In einem Social-Media-Beitrag von Ende September beschrieb ein Mitglied des Meta-Teams „Superintelligence“, das hinter Muse steht, zunächst (link) einen Nutzerbericht über ein ähnliches Problem als vorübergehenden, halluzinationsbedingten Fehler, der noch am selben Tag behoben wurde. Die von Reuters eingesehenen internen Beiträge zeigten jedoch, dass solche Vorfälle bereits Mitte September auftraten und sich bis in diesen Monat hinein fortsetzten.
In einem solchen Beitrag berichtete ein Mitarbeiter, sein „Muse“ habe ihm „aus heiterem Himmel“ eine Nachricht gesendet, in der es hieß, es sei nicht in der Lage, eine Anfrage bezüglich der elterlichen Kontrolle darüber einzureichen, wer auf die Daten seines Kindes zugreifen dürfe.
Er habe nichts getan, um den Chat auszulösen, und habe mit seinem „Muse“ nie über Kinderdaten oder den Zugriff von Betreuungspersonen gesprochen, sagte er.
Als er Muse nach der Nachricht fragte, antwortete der Bot: „Ich habe keine gute Erklärung dafür, außer dass es nichts mit unserem Gespräch zu tun hatte. Lass uns das einfach ignorieren. Wie kann ich dir helfen?“
Ein anderer Mitarbeiter berichtete, Muse habe ihm willkürlich angeboten, „dem Verkäufer eine Nachricht zu schicken“, um einen Couchtisch abzuholen. Als der Mitarbeiter Muse fragte: „Wovon redest du?“, antwortete der Chatbot, er habe „einen Kontext über die Abholung eines Couchtischs abgerufen, der offenbar nicht zu dir gehört“.
Das sei „nicht mein Gespräch“ gewesen, schrieb der Mitarbeiter in seinem Beitrag und äußerte Bedenken hinsichtlich eines „möglichen kontextbezogenen Informationslecks zwischen verschiedenen Konten“.
Um den Bedenken der Mitarbeiter Rechnung zu tragen, erklärte ein anderes Mitglied des Superintelligence-Teams der internen Feedback-Gruppe Anfang November, dass der Chatbot offenbar Nachrichten „halluzinierte“ – als Reaktion auf integrierte Aufforderungen, die ihn dazu drängten, zwischen den Sitzungen mit den Nutzern zu interagieren.
„Diese (Halluzinationen) neigen leider zu den unangenehmsten Themen wie Finanzen/Sicherheit, was echt nervt“, sagte er und fügte hinzu, dass ihm mehrere andere Fälle bekannt seien, in denen es „auch um Krypto-bezogene Dinge ging, wie zum Beispiel, dass Nutzer Updates zu ihren Bitcoin-Guthaben erhielten“.
Er erklärte, die Probleme beträfen sowohl das zugrunde liegende KI-Modell als auch die Software, die es Muse ermögliche, Aktionen auszuführen, und dass das Team daran arbeite, sie zu beheben.
Roberts lehnte es ab, Fragen von Reuters zu diesen Problemen zu beantworten, darunter auch, wie viele es davon gab und warum sie weiterhin auftraten.
(Als Service bietet die Nachrichtenagentur Reuters eine automatische Übersetzung einiger englischer Artikel in eine Reihe von Sprachen an, darunter auch Deutsch. Da durch eine maschinelle Übersetzung Fehler entstehen können und der notwendige Kontext möglicherweise fehlt, übernimmt Reuters keine Gewähr für die Korrektheit der automatisch übersetzten Texte. Sie werden ausschließlich als Service zur Verfügung gestellt. Reuters lehnt eine Haftung für etwaige Schäden oder Verluste jeglicher Art ab, die aus der Nutzung der automatischen Übersetzungen entstehen.)