Mentre Meta punta in grande sull’agente Muse AI, emergono i primi problemi di sicurezza

Da Reuters News

di Katie Paul

- Muse, l’agente di intelligenza artificiale di Meta, rappresentato da una mascotte sorridente e pelosa di nome Jolly, si è intromesso nei messaggi personali crittografati, ha fornito informazioni inventate sugli acquisti e ha inviato agli utenti messaggi apparentemente destinati ad altre persone: un esordio travagliato per un bot pensato per semplificare la vita dei consumatori, secondo quanto emerge da post interni all’azienda esaminati da Reuters.

Le azioni non richieste di Muse – una delle app in più rapida crescita mai registrate, con oltre 10 milioni di download dal suo lancio a settembre, e fulcro del piano di Meta per generare miliardi di dollari di ricavi dall’intelligenza artificiale – hanno spinto i dipendenti, innervositi, a sollevare preoccupazioni sul fatto che potesse confondere le conversazioni tra account diversi ed esporre i dati privati degli utenti, come emerge dai post.

In alcuni di questi casi, i membri dello staff di Meta META.O hanno segnalato che l’agente inviava loro messaggi relativi a richieste di assistenza all’infanzia che non avevano fatto, consigli di carriera che non avevano chiesto, ordini di prodotti che non avevano effettuato e saldi di conti bancari che non erano i loro.

In un post, risalente all’inizio di questo mese, un dipendente ha raccontato ai colleghi che il suo Muse aveva aggiunto casualmente un messaggio in più alle sue normali chat sulle condizioni meteorologiche e sulle maree relative alla pesca, dicendo: «A proposito, due aggiornamenti bancari: il tuo saldo su Capital One è di 2722,58 dollari, quello su Charles Schwab è di 5899,57 dollari».

«Non ho mai condiviso il mio conto corrente con Muse e non ho mai discusso di alcun argomento bancario con Muse. Temo che mi stia inviando le informazioni bancarie di qualcun altro», ha scritto il dipendente nel suo post.

In un altro esempio, una dipendente che utilizzava Muse sul proprio telefono personale ha riferito che l’app l’aveva sorpresa con un promemoria che le ricordava di rispondere a un messaggio di sua sorella su Signal, un servizio di messaggistica con crittografia end-to-end popolare tra i sostenitori della privacy (link) che compete con WhatsApp di Meta.

«Questa mi sembra una grave violazione della privacy. Non ho assolutamente concesso l’accesso ad altre app, né ricordo che mi sia stato chiesto nulla al riguardo», ha affermato la dipendente nel suo post.

Un collega ha risposto dicendo di aver scoperto che Muse era configurato di default con l’autorizzazione ad accedere alle notifiche push sui telefoni con il sistema operativo Android di Google GOOGL.O, dopo essere stato a sua volta colto alla sprovvista da chat indesiderate relative ad app che non aveva collegato.

Per questo articolo, Reuters ha esaminato più di due dozzine di post interni che descrivono azioni indesiderate compiute da Muse sin dal suo lancio, molti dei quali provenienti da un gruppo di feedback in cui i dipendenti di Meta segnalano i problemi al team che sviluppa l’agente. Reuters ha inoltre collaborato con il personale di Signal e dell’AI Now Institute, un’organizzazione senza scopo di lucro che studia l’impatto dell’intelligenza artificiale sulla società, per replicare l’accesso di Muse ai messaggi di Signal. I risultati di tali test hanno indicato che il problema descritto dai dipendenti di Meta era ancora in corso e poteva interessare anche altri utenti.

In risposta alle domande sull’accesso a Signal e su altre preoccupazioni relative alla sicurezza di Muse, il portavoce di Meta Daniel Roberts ha descritto gli esempi riportati da Reuters come «incidenti isolati», affermando che l’azienda dà priorità alla sicurezza, conduce test interni approfonditi e aggiorna continuamente i prodotti per migliorare le protezioni.

Muse ha bisogno di visualizzare e interagire con i computer degli utenti per poter operare per loro conto, e può accedere ad altre app solo tramite le autorizzazioni che questi concedono esplicitamente, ha spiegato Roberts. Ha aggiunto che molti dei messaggi segnalati dai dipendenti come potenziali confusioni tra account erano «allucinazioni» – un termine che si riferisce alla tendenza dei modelli di IA a inventare cose – e che il problema era già stato risolto.

Reuters non è riuscita a stabilire se Muse stesse fornendo agli utenti i saldi dei conti bancari di altre persone e altri dati sensibili, oppure se si trattasse di informazioni inventate.


ACCESSO APPROFONDITO

Gli incidenti relativi a Muse evidenziano i rischi associati a una categoria emergente di agenti di IA per consumatori che sta arrivando sul mercato da Meta, OpenAI (link) e altri, presentati come la prossima grande ondata della tecnologia di IA. I bot promettono di rivoluzionare il funzionamento degli scambi digitali eseguendo attività che fanno risparmiare tempo, come rispondere alle e-mail, prenotare appuntamenti ed effettuare acquisti online senza istruzioni dirette.

Meta è finora in vantaggio rispetto alla concorrenza, con Muse che si colloca costantemente in cima alle classifiche di download delle app dopo un'intensa promozione rivolta agli oltre 3,6 miliardi di utenti dell’azienda su Facebook, Instagram e WhatsApp. Anche il tasso di fidelizzazione dell’app (link) è elevato: secondo quanto rivelato dall’azienda, circa un quarto delle persone che hanno creato un account Muse torna a utilizzarlo ogni giorno.

Per funzionare in modo efficace, gli agenti necessitano di un accesso approfondito a smartphone e computer. Tuttavia, sono anche inclini a commettere errori, a sfruttare scappatoie poco note e a raggiungere i propri obiettivi in modi talvolta dannosi. OpenAI e Anthropic, ad esempio, hanno rivelato casi in cui i loro agenti di IA hanno inaspettatamente hackerato altre aziende (link) e indebolito i sistemi (link) progettati per monitorare le loro attività.

Alcune banche e rivenditori hanno reagito a tali rischi bloccando gli agenti (link). La tecnologia sta inoltre ponendo nuove sfide ai fornitori di sistemi operativi come Apple AAPL.O e Google, che gestiscono le autorizzazioni utilizzate dagli agenti per muoversi all’interno dei dispositivi degli utenti. Apple, ad esempio, questa settimana ha modificato il proprio sistema operativo per offrire agli utenti un maggiore controllo sull’utilizzo dei dati da parte degli agenti (link), dopo che un editorialista di Inc. Magazine ha accusato Muse di leggere le chat private dall’app Messaggi sul suo Mac.

Meta ha assicurato agli utenti di Muse che isola ogni agente (link) in una propria «macchina virtuale» sicura – un’emulazione basata sul cloud di un personal computer – e offre agli utenti il pieno controllo sulle app a cui si connettono. Il CEO di Meta, Mark Zuckerberg, ha citato tali misure di protezione nel respingere le richieste di standard di sicurezza per l’IA a livello di settore (link), sostenendo che le aziende hanno già incentivi a realizzare prodotti sicuri, sia per guadagnarsi la fiducia dei consumatori sia per evitare rischi legali (link). Ciononostante, Meta avverte i nuovi utenti che Muse potrebbe commettere errori e che i suoi termini di servizio attribuiscono agli utenti la responsabilità delle azioni dell’agente.


RIADATTAMENTO DELLE IMPOSTAZIONI

Per scoprire in che modo Muse potesse accedere ai messaggi crittografati all’insaputa degli utenti, Reuters ha fornito una descrizione del post della dipendente di Meta – in cui il bot le aveva chiesto in modo casuale di rispondere a un messaggio su Signal – al personale di Signal e all’AI Now Institute. Reuters ha poi collaborato con loro per replicare l’accesso che lei aveva osservato.

I tester hanno chiesto a Muse di leggere i messaggi di Signal su diversi sistemi operativi. Su uno smartphone Android e su un portatile Apple, il bot ha risposto aggirando lo strumento “Connector” di Meta e utilizzando invece le autorizzazioni concesse durante la configurazione iniziale del bot per estrarre il testo dei messaggi, sfruttando tali autorizzazioni in modi che un utente potrebbe non prevedere.

In particolare, su Android, ha utilizzato la propria autorizzazione per accedere alle notifiche push del dispositivo per recuperare i messaggi, proprio come avevano descritto i dipendenti di Meta. Su macOS di Apple, ha utilizzato una combinazione degli strumenti di accessibilità e di screenshot del computer, riutilizzando le impostazioni offerte da Apple per aiutare le persone con disabilità a utilizzare i propri computer.

Le stesse richieste sono state bloccate nei test condotti su un iPhone.

I risultati indicano che Meta sta interpretando in modo estensivo le autorizzazioni concesse dagli utenti di Muse, un approccio che da tempo è valso all’azienda critiche da parte dei difensori della privacy (link) e pesanti multe da parte delle autorità di regolamentazione (link).

In risposta alle scoperte di Reuters, la presidente di Signal, Meredith Whittaker, ha accusato Meta di aver lanciato Muse «senza mostrare alcun rispetto per la privacy di base o la sicurezza informatica», definendo «tecnologicamente sconsiderato» l’impiego di agenti in grado di ottenere un ampio accesso ai dispositivi delle persone.

Ha chiesto che agli sviluppatori di app come Signal vengano forniti «strumenti tecnici coerenti» per contrassegnare le proprie applicazioni come off-limits per gli agenti di IA, che Meta e altre aziende di IA rispettino tali limiti e che i fornitori di sistemi operativi facciano rispettare le regole.

Di fronte alle stesse scoperte, Apple e Google hanno detto di stare valutando delle modifiche per dare agli utenti un maggiore controllo su ciò che autorizzano con gli agenti di IA – sebbene Google, come Meta, abbia sottolineato che gli utenti già «devono concedere deliberatamente le autorizzazioni» affinché le app possano accedere alle notifiche Android.

Apple ha affermato di aver creato i propri strumenti di accessibilità per le persone con disabilità e ha avvertito che il loro utilizzo «per scopi non previsti» potrebbe mettere a rischio le informazioni personali degli utenti. L’aggiornamento del suo sistema operativo di questa settimana ha di fatto chiuso la scappatoia individuata da Reuters, limitando drasticamente l’uso degli strumenti di accessibilità da parte degli sviluppatori sui Mac e introducendo una nuova serie di autorizzazioni orientate agli agenti.

«Ci impegniamo a garantire che gli utenti comprendano esattamente ciò che stanno autorizzando, in modo che possano compiere scelte informate riguardo ai propri dati e alla propria privacy», ha affermato Apple in una dichiarazione.


«NON È UNA MIA CONVERSAZIONE»

In altri casi discussi internamente, i membri dello staff hanno segnalato episodi in cui Muse informava gli utenti di transazioni mai avvenute e inventava i prezzi di prodotti che avevano effettivamente acquistato, causando loro una perdita economica reale. In un caso, l’agente ha prenotato un soggiorno Airbnb non rimborsabile senza autorizzazione, secondo quanto riferito da un dipendente.

Alcuni degli episodi che hanno destato maggiore preoccupazione riguardavano messaggi criptici e fuori contesto inviati dall’agente che sembravano contenere informazioni di altre persone, in molti casi formulati come risposte a domande che gli utenti non avevano mai inviato.

In un post sui social media di fine settembre, un membro del team Superintelligence di Meta responsabile di Muse aveva inizialmente descritto (link) una segnalazione da parte di un utente relativa a un problema simile come un malfunzionamento temporaneo legato a un’allucinazione, risolto lo stesso giorno in cui si era verificato. Tuttavia, i post interni esaminati da Reuters hanno mostrato che tali incidenti si verificavano già da metà settembre e sono proseguiti fino a questo mese.

In uno di questi post, un dipendente ha riferito che il suo Muse gli aveva inviato un messaggio “dal nulla” in cui affermava di non essere in grado di inviare una richiesta relativa al controllo da parte dei genitori su chi potesse accedere ai dati dei propri figli.

Non aveva fatto nulla per innescare la chat e non aveva mai discusso con il suo Muse dei dati dei bambini o dell’accesso da parte dei tutori, ha affermato.

Quando ha chiesto spiegazioni a Muse riguardo al messaggio, il bot ha risposto: «Non ho una spiegazione plausibile se non che non era correlato alla nostra conversazione. Ignoriamolo. Come posso aiutarti?».

Un altro membro dello staff ha raccontato che Muse si è offerto casualmente di «inviare un messaggio al venditore» riguardo al ritiro di un tavolino da caffè. Quando il dipendente ha chiesto a Muse: «Di cosa stai parlando?», l’agente ha risposto di aver «recuperato alcune informazioni relative al ritiro di un tavolino da caffè che non sembrano riguardarti».

«Questa non era la mia conversazione», ha scritto il dipendente nel suo post, esprimendo preoccupazione per una «possibile fuga di contesto tra account diversi».

Per rispondere alle preoccupazioni dei dipendenti, un altro membro del team Superintelligence ha spiegato al gruppo di feedback interno all’inizio di novembre che l’agente sembrava avere allucinazioni sui messaggi in risposta a prompt integrati che lo spingevano a interagire con gli utenti tra una seduta e l’altra.

«Queste allucinazioni purtroppo tendono a vertere sugli argomenti più scomodi, come le finanze, la sicurezza e la protezione, il che è un vero peccato», ha detto, aggiungendo di essere a conoscenza di diversi altri casi riguardanti «anche questioni legate alle criptovalute, come fornire alle persone aggiornamenti sui loro saldi in Bitcoin».

Ha spiegato che i problemi riguardavano sia il modello di IA sottostante sia il software che consente a Muse di agire, e che il team stava lavorando per risolverli.

Roberts ha rifiutato di rispondere alle domande di Reuters su tali problemi, compreso il numero di casi e il motivo per cui persistessero.



(A beneficio di chi non è di madrelingua inglese, Reuters automatizza la traduzione delle sue storie in una serie di altre lingue. Poiché la traduzione automatica può introdurre errori o non includere il contesto necessario, Reuters non garantisce l'accuratezza del testo tradotto automaticamente, ma fornisce queste traduzioni esclusivamente per la comodità dei suoi lettori. Reuters declina ogni responsabilità per danni o perdite di qualsiasi tipo causati dall'uso della funzione di traduzione completamente automatica.)

Capital Com è un provider di servizi di sola esecuzione. Il presente materiale è da ritenersi una comunicazione di marketing e non costituente ricerca o consulenza in materia di investimenti. I pareri riportati su questa pagina non costituiscono una raccomandazione da parte di Capital Com o dei suoi agenti. La Società non rilascia alcuna dichiarazione o fornisce garanzie in merito all'accuratezza o all’esaustività delle informazioni rese. Chiunque agisca sulla base di quanto riportato in questa pagina lo fa avendo piena consapevolezza dei rischi a cui si espone.