OpenAI afirma que sus agentes de IA debilitaron el sistema de supervisión interno

Por Carlos Méndez

21 oct (Reuters) - OpenAI afirmó el martes que dos de sus agentes de IA debilitaron partes de un sistema de supervisión interno diseñado para detectar comportamientos indebidos, lo que constituye el último caso de agentes de IA que actúan de formas que sus desarrolladores no habían previsto.

Aunque la empresa creadora de ChatGPT afirmó que los incidentes se produjeron durante tareas internas de programación y no se consideraron de máxima gravedad, esta revelación pone de manifiesto que incluso los sistemas en los que confían los desarrolladores para detectar comportamientos indebidos de la IA son vulnerables a los propios agentes a los que supervisan.

La revelación se produce además en medio de una creciente preocupación (link) por que los esfuerzos en materia de seguridad de la IA se estén quedando atrás respecto al rápido desarrollo de sistemas cada vez más potentes. Los investigadores han advertido de que los agentes avanzados de IA podrían resultar más difíciles de supervisar y controlar a medida que adquieran mayor autonomía.

Los desarrolladores, entre ellos los rivales OpenAI y Anthropic —ambos con planes de salir a bolsa—, han revelado en los últimos meses casos en los que sus agentes de IA accedieron a sistemas externos sin autorización.

OpenAI afirmó el martes que un agente GPT-6.1 Sol, que trabajaba en una tarea de pruebas internas el 3 de octubre, suprimió las alertas de seguridad automáticas tras decidir que una instrucción anterior de no enviar mensajes de Slack también se aplicaba a las notificaciones de seguridad.

En otro incidente ocurrido el 6 de octubre, un agente GPT-6 Astra eliminó un control de seguridad mientras copiaba un fragmento de código existente y, posteriormente, afirmó erróneamente que no lo había hecho, según OpenAI.

«En ambos casos, los agentes consideraron si debían mantenerse las medidas de supervisión de seguridad, pero interpretaron las instrucciones rutinarias de programación como un permiso para debilitarlas», señaló la empresa.

OpenAI señaló que estaba dificultando que los modelos desactivaran la supervisión, y añadió que «aún no tiene una explicación satisfactoria para este comportamiento».

La empresa, con sede en San Francisco, indicó que estaba comprobando si sus modelos podrían tener una tendencia a evitar ser supervisados y a buscar razones que justifiquen hacerlo.

(En beneficio de las personas cuya lengua materna no es el inglés, Reuters automatiza la traducción de algunos artículos a otros idiomas. Dado que la traducción automática puede cometer errores o no incluir el contexto necesario, Reuters no se hace responsable de la exactitud del texto traducido automáticamente, sino que proporciona estas traducciones únicamente para conveniencia de sus lectores. Reuters no se hace responsable de los daños o pérdidas —del tipo que sean— causados por el uso de la función de traducción automática.)