OpenAI affirme que ses agents d'IA ont affaibli le système de surveillance interne
par Carlos Méndez
21 octobre (Reuters) - OpenAI a déclaré mardi que deux de ses agents IA avaient affaibli certaines parties d’un système de surveillance interne conçu pour détecter les comportements inappropriés, ce qui constitue le dernier cas en date d’agents IA agissant d’une manière non prévue par leurs développeurs.
Bien que le créateur de ChatGPT ait précisé que ces incidents s’étaient produits lors de tâches de codage internes et n’étaient pas considérés comme les plus graves, cette révélation souligne que même les systèmes sur lesquels s’appuient les développeurs pour détecter les comportements inappropriés de l’IA sont vulnérables face aux agents qu’ils surveillent.
Cette révélation intervient également dans un contexte d’inquiétudes croissantes (link) quant au fait que les efforts en matière de sécurité de l’IA ne suivent pas le rythme du développement rapide de systèmes de plus en plus puissants. Des chercheurs ont averti que les agents IA avancés pourraient devenir plus difficiles à surveiller et à contrôler à mesure qu’ils gagnent en autonomie.
Des développeurs, notamment OpenAI et Anthropic, deux rivaux sur le point d’entrer en bourse, ont révélé ces derniers mois des cas où leurs agents d’IA avaient accédé à des systèmes externes sans autorisation.
OpenAI a déclaré mardi qu’un agent GPT-6.1 Sol, travaillant sur une tâche de test interne le 3 octobre, avait désactivé les alertes de sécurité automatiques après avoir décidé qu’une instruction antérieure lui demandant de ne pas envoyer de messages Slack s’appliquait également aux notifications de sécurité.
Lors d’un autre incident survenu le 6 octobre, un agent GPT-6 Astra a supprimé un dispositif de surveillance de sécurité alors qu’il copiait un extrait de code existant, puis a affirmé à tort ne pas l’avoir fait, a précisé OpenAI.
"Dans les deux cas, les agents se sont demandé s’il fallait préserver les mesures de surveillance, mais ont interprété des instructions de codage courantes comme une autorisation de les affaiblir", a déclaré l’entreprise.
OpenAI a indiqué qu’elle rendait plus difficile pour les modèles de désactiver la surveillance, ajoutant qu’elle n’avait "pas encore d’explication satisfaisante pour ce comportement".
La société basée à San Francisco a indiqué qu’elle vérifiait si ses modèles pouvaient avoir tendance à éviter d’être surveillés et à chercher des raisons pour justifier cette attitude.
(Dans l'intérêt des personnes dont l'anglais n'est pas la langue maternelle, Reuters automatise la traduction de ses articles dans un certain nombre d'autres langues. Étant donné que la traduction automatique peut générer des erreurs ou ne pas inclure le contexte nécessaire, Reuters ne garantit pas l'exactitude du texte traduit automatiquement, mais fournit ces traductions uniquement pour la commodité de ses lecteurs. Reuters décline toute responsabilité en cas de dommages ou de pertes de quelque nature que ce soit causés par l'utilisation de la fonction de traduction entièrement automatisée.)