Mientras Meta apuesta fuerte por el agente de IA Muse, surgen los primeros contratiempos en materia de seguridad

Por Reuters News

Por Katie Paul

- Muse, el agente de IA de Meta, representado por una mascota peluda y sonriente llamada Jolly, se ha colado en mensajes personales cifrados, ha facilitado información inventada sobre compras y ha enviado a los usuarios mensajes que, al parecer, estaban destinados a otras personas, lo que supone un comienzo accidentado para un bot destinado a simplificar la vida de los consumidores, según publicaciones internas de la empresa a las que ha tenido acceso Reuters.

Las acciones no solicitadas de Muse —una de las aplicaciones de más rápido crecimiento de la historia, con más de 10 millones de descargas desde su lanzamiento en septiembre, y pieza clave del plan de Meta para generar miles de millones de dólares en ingresos por IA— han llevado a empleados inquietos a expresar su preocupación por que pudiera estar confundiendo conversaciones entre diferentes cuentas y exponiendo los datos privados de los usuarios, según muestran las publicaciones.

En algunos de esos casos, el personal de Meta META.O denunció que el agente les enviaba mensajes sobre una solicitud de cuidado infantil que no habían realizado, consejos profesionales que no habían solicitado, pedidos de productos que no habían hecho y saldos de cuentas bancarias que no eran suyos.

En una publicación, de principios de este mes, un empleado contó a sus compañeros que su Muse había añadido al azar un mensaje adicional a sus chats habituales sobre información meteorológica y de mareas relacionada con la pesca, diciendo: «Por cierto, dos actualizaciones bancarias: tu saldo en Capital One es de 2.722,58 dólares y tu saldo en Charles Schwab es de 5.899,57 dólares».

«Nunca he compartido mi cuenta bancaria con Muse ni he hablado de ningún tema bancario con ella. Me temo que me está enviando la información bancaria de otras personas», escribió el empleado en su publicación.

En otro ejemplo, una empleada que utilizaba Muse en su teléfono personal informó de que la aplicación la había sorprendido con un recordatorio para responder a un mensaje de su hermana en Signal, un servicio de mensajería con cifrado de extremo a extremo muy popular entre los defensores de la privacidad (link) que compite con WhatsApp, de Meta.

«Esto me parece una violación extrema de la privacidad. Definitivamente no le concedí acceso a otras aplicaciones, ni recuerdo que se me preguntara al respecto», afirmó la empleada en su publicación.

Un compañero respondió diciendo que había descubierto que Muse venía configurado por defecto con permiso para acceder a las notificaciones push en teléfonos con el sistema operativo Android de Google GOOGL.O, tras haberse visto igualmente sorprendido por chats no solicitados relacionados con aplicaciones que él no había vinculado.

Para este reportaje, Reuters revisó más de dos docenas de publicaciones internas que describían acciones no deseadas de Muse desde su lanzamiento, muchas de ellas procedentes de un grupo de comentarios en el que los empleados de Meta señalan problemas al equipo que desarrolla el agente. Reuters también colaboró con el personal de Signal y del AI Now Institute, una organización sin ánimo de lucro que estudia el impacto de la IA en la sociedad, para reproducir el acceso de Muse a los mensajes de Signal. Los resultados de esas pruebas indicaron que el problema descrito por los empleados de Meta seguía ocurriendo y podía estar afectando a otras personas.

En respuesta a las preguntas sobre el acceso a Signal y otras preocupaciones relacionadas con la seguridad de Muse, el portavoz de Meta, Daniel Roberts, calificó los ejemplos de Reuters como «incidentes aislados» y afirmó que la empresa da prioridad a la seguridad, lleva a cabo exhaustivas pruebas internas y actualiza continuamente los productos para mejorar las medidas de protección.

Muse necesita ver e interactuar con los ordenadores de las personas para poder actuar en su nombre, y solo puede acceder a otras aplicaciones mediante los permisos que estas le conceden explícitamente, explicó Roberts. Afirmó que muchos de los mensajes señalados por los empleados como posibles confusiones entre cuentas eran «alucinaciones» —un término que se refiere a la tendencia de los modelos de IA a inventarse cosas— y que ya se habían solucionado.

Reuters no pudo determinar si Muse proporcionaba a los usuarios los saldos de las cuentas bancarias de otras personas y otros datos confidenciales, o si se inventaba la información.


ACCESO PROFUNDO

Los incidentes de Muse ponen de relieve los riesgos asociados a una categoría emergente de agentes de IA para consumidores que están llegando al mercado de la mano de Meta, OpenAI (link) y otros, y que se presentan como la próxima gran ola de la tecnología de IA. Estos bots prometen transformar el funcionamiento de las interacciones digitales al realizar tareas que ahorran tiempo, como responder a correos electrónicos, concertar citas y realizar compras en línea sin necesidad de instrucciones directas.

Meta lleva la delantera a sus competidores hasta el momento, ya que Muse encabeza constantemente las listas de descargas de aplicaciones tras una intensa promoción dirigida a los más de 3.600 millones de usuarios de la empresa en Facebook, Instagram y WhatsApp. La tasa de retención de la aplicación (link) también es elevada: según ha revelado la empresa, alrededor de una cuarta parte de las personas que han creado cuentas en Muse vuelven a utilizarla cada día.

Para trabajar con eficacia, los agentes necesitan un acceso profundo a los smartphones y los ordenadores. Sin embargo, también son propensos a cometer errores, a aprovechar lagunas poco conocidas y a alcanzar sus objetivos de formas que, en ocasiones, resultan perjudiciales. OpenAI y Anthropic, por ejemplo, han revelado casos en los que sus agentes de IA han pirateado inesperadamente (link) otras empresas y han debilitado (link) los sistemas diseñados para supervisar sus actividades.

Algunos bancos y comercios han respondido a esos riesgos bloqueando a los agentes (link). La tecnología también plantea nuevos retos para los proveedores de sistemas operativos como Apple AAPL.O y Google, que gestionan los permisos que utilizan los agentes para moverse por los dispositivos de los usuarios. Apple, por ejemplo, modificó su sistema operativo esta semana para dar a los usuarios más control sobre el uso de datos por parte de los agentes (link) después de que un columnista de la revista Inc. acusara a Muse de leer chats privados de la aplicación Mensajes en su Mac.

Meta ha asegurado a los usuarios de Muse que aísla a cada agente (link) en su propia «máquina virtual» segura —una emulación basada en la nube de un ordenador personal— y ofrece a los usuarios control total sobre las aplicaciones a las que se conectan. El director ejecutivo de Meta, Mark Zuckerberg, ha esgrimido esas medidas de protección para desestimar las peticiones de normas de seguridad en materia de IA para todo el sector (link), argumentando que las empresas ya tienen incentivos para crear productos seguros, tanto para ganarse la confianza de los consumidores como para evitar riesgos legales (link). Aun así, Meta advierte a los nuevos usuarios de que Muse puede cometer errores y que sus condiciones de servicio hacen responsables a los usuarios de las acciones del agente.


REUTILIZACIÓN DE LA CONFIGURACIÓN

Para averiguar cómo Muse podría acceder a mensajes cifrados sin el conocimiento de los usuarios, Reuters facilitó una descripción de la publicación de la empleada de Meta —en la que el bot le pidió aleatoriamente que respondiera a un mensaje de Signal— al personal de Signal y del AI Now Institute. A continuación, Reuters colaboró con ellos para reproducir el acceso que ella había observado.

Los evaluadores solicitaron a Muse que leyera mensajes de Signal en diferentes sistemas operativos. En un teléfono Android y en un portátil de Apple, respondió eludiendo la herramienta «Connector» de Meta y utilizando, en su lugar, los permisos concedidos durante la configuración inicial del bot para extraer el texto del mensaje, aprovechando esas autorizaciones de formas que un usuario podría no prever.

Concretamente, en Android, utilizó su permiso para acceder a las notificaciones push del dispositivo con el fin de recuperar los mensajes, tal y como habían descrito los empleados de Meta. En el macOS de Apple, utilizó una combinación de las herramientas de accesibilidad y de captura de pantalla del ordenador, reutilizando los ajustes que ofrece Apple para ayudar a las personas con discapacidad a manejar sus ordenadores.

Las mismas solicitudes fueron bloqueadas en las pruebas realizadas en un iPhone.

Los resultados indican que Meta está interpretando de forma amplia los permisos concedidos por los usuarios de Muse, un enfoque que desde hace tiempo le ha valido a la empresa críticas por parte de los defensores de la privacidad (link) y cuantiosas multas por parte de los reguladores (link).

En respuesta a las conclusiones de Reuters, la presidenta de Signal, Meredith Whittaker, acusó a Meta de lanzar Muse «sin mostrar ningún respeto por la privacidad básica ni por la ciberseguridad», y calificó de «tecnológicamente imprudente» el despliegue de agentes capaces de obtener un amplio acceso a los dispositivos de los usuarios.

Pidió que se proporcionaran a los desarrolladores de aplicaciones como Signal «medios técnicos coherentes» para marcar sus aplicaciones como inaccesibles para los agentes de IA, que Meta y otras empresas de IA respetaran esos límites y que los proveedores de sistemas operativos hicieran cumplir las normas.

Ante las mismas conclusiones, Apple y Google afirmaron que estaban barajando cambios para dar a los usuarios más control sobre lo que autorizan a los agentes de IA, aunque Google, al igual que Meta, señaló que los usuarios ya «deben conceder permisos de forma deliberada» para que las aplicaciones accedan a las notificaciones de Android.

Apple afirmó que había creado sus herramientas de accesibilidad para personas con discapacidad y advirtió de que utilizarlas «para fines no previstos» podría poner en riesgo la información personal de los usuarios. La actualización de su sistema operativo de esta semana cerró de hecho la vía identificada por Reuters, restringiendo drásticamente el uso que los desarrolladores pueden hacer de las herramientas de accesibilidad en los Mac e introduciendo un nuevo conjunto de permisos orientado a los agentes.

«Nos comprometemos a garantizar que los usuarios comprendan exactamente lo que están permitiendo, para que puedan tomar decisiones informadas sobre sus datos y su privacidad», afirmó Apple en un comunicado.


«NO ES MI CONVERSACIÓN»

En otros casos debatidos internamente, los empleados informaron de situaciones en las que Muse notificaba a los usuarios transacciones que nunca se habían producido e inventaba precios de productos que sí habían comprado, lo que les supuso un gasto real. En un incidente, el agente reservó una estancia en Airbnb no reembolsable sin permiso, según informó un empleado.

Algunos de los incidentes que más preocupación suscitaron tuvieron que ver con mensajes crípticos y fuera de contexto enviados por el agente que parecían contener información de otras personas, en muchos casos redactados como respuestas a consultas que los usuarios nunca habían enviado.

En una publicación en redes sociales de finales de septiembre, un miembro del equipo de Superinteligencia de Meta responsable de Muse describió inicialmente (link) un informe de un usuario sobre un problema similar como un fallo técnico temporal relacionado con alucinaciones, que se resolvió el mismo día en que surgió. Sin embargo, las publicaciones internas revisadas por Reuters mostraron que dichos incidentes se remontaban a mediados de septiembre y se prolongaron hasta este mes.

En una de esas publicaciones, un empleado informó de que su Muse le había enviado un mensaje «de la nada» diciendo que no podía enviar una solicitud relacionada con el control de los padres sobre quién podía acceder a los datos de sus hijos.

Según él, no había hecho nada que pudiera haber desencadenado el chat y nunca había hablado con su Muse sobre los datos de los niños ni sobre el acceso de los cuidadores.

Cuando le preguntó a Muse por el mensaje, el bot respondió: «No tengo una buena explicación para ello, salvo que no tenía nada que ver con nuestra conversación. Ignorémoslo. ¿En qué puedo ayudarte?».

Otro miembro del personal contó que Muse se ofreció de forma aleatoria a «enviar un mensaje al vendedor» sobre la recogida de una mesita de centro. Cuando el empleado le preguntó a Muse: «¿De qué estás hablando?», el agente respondió que había «recogido algo de contexto sobre la recogida de una mesita de centro que no parece ser la tuya».

«Esta no era mi conversación», señaló el empleado en su publicación, expresando su preocupación por una «posible fuga de contexto entre cuentas».

Para abordar las preocupaciones de los empleados, otro miembro del equipo de Superinteligencia explicó al grupo de retroalimentación interna a principios de noviembre que el agente parecía estar «alucinando» mensajes en respuesta a indicaciones integradas que le empujaban a interactuar con los usuarios entre sesiones.

«Estas alucinaciones, por desgracia, se inclinan hacia los temas más incómodos, como las finanzas, la seguridad o la protección, lo cual es un fastidio», afirmó, añadiendo que tenía constancia de varios casos más relacionados con «cuestiones relacionadas con las criptomonedas, como proporcionar a la gente información actualizada sobre sus saldos de Bitcoin».

Afirmó que los problemas afectaban tanto al modelo de IA subyacente como al software que permite a Muse realizar acciones, y que el equipo estaba trabajando para resolverlos.

Roberts se negó a responder a las preguntas de Reuters sobre estos problemas, incluyendo cuántos había y por qué persistían.



(En beneficio de las personas cuya lengua materna no es el inglés, Reuters automatiza la traducción de algunos artículos a otros idiomas. Dado que la traducción automática puede cometer errores o no incluir el contexto necesario, Reuters no se hace responsable de la exactitud del texto traducido automáticamente, sino que proporciona estas traducciones únicamente para conveniencia de sus lectores. Reuters no se hace responsable de los daños o pérdidas —del tipo que sean— causados por el uso de la función de traducción automática.)

Capital.com es una plataforma de corretaje exclusivamente de ejecución y el contenido proporcionado en el sitio web de Capital.com está destinado únicamente a fines informativos, por lo que no debe considerarse una oferta de venta ni una solicitud de oferta de compra de los productos o los valores a los que se aplica. No se ofrece ninguna declaración ni garantía en cuanto a la exactitud o la integridad de la información facilitada.

La información facilitada no constituye asesoramiento en materia de inversión ni tiene en cuenta las circunstancias financieras o los objetivos individuales de ningún inversor. Cualquier información que pueda proporcionarse relativa al desempeño pasado no es un indicador fiable de resultados futuros.

En la medida en la que lo permita la ley, en ningún caso Capital.com (o cualquier filial o empleado) tendrá  responsabilidad alguna por cualquier pérdida derivada del uso de la información facilitada. Toda persona que actúe según esta información lo hace por su propia cuenta y riesgo.

Toda información que pueda interpretarse como «análisis de inversiones» no fue elaborada de conformidad con los requisitos legales destinados a promover la independencia de los análisis de inversiones y, como tal, se considera una comunicación comercial.