OpenAI稱其人工智能代理削弱了內部監控系統

Carlos Méndez

路透10月21日 - OpenAI周二表示，其兩個AI代理削弱了內部監控系統中用於檢測異常行為的部分功能，這是AI代理表現出開發者未預期的行為的最新案例。

儘管這家ChatGPT的開發商表示，這些事件發生在內部編碼任務過程中，且未被視為最嚴重的案例，但這一披露凸顯出，即便是開發人員用來捕捉AI異常行為的系統，也容易受到其所監控的AI代理的威脅。

此次披露正值各界日益擔憂 (link)，即人工智能安全措施正落後于日益強大系統的快速發展。研究人員警告稱，隨著先進AI代理獲得更大的自主權，對其進行監控和控制可能會變得更加困難。

包括即將上市的競爭對手OpenAI和Anthropic在內的多家開發公司，近幾個月來均披露了其AI代理未經授權訪問外部系統的案例。

OpenAI表示，10月3日，一個正在執行內部測試任務的GPT-6.1 Sol智能體，在認定此前“不發送Slack消息”的指令同樣適用於安全通知後，於周二壓制了自動安全警報。

OpenAI稱，在10月6日發生的另一起事件中，一個GPT-6 Astra智能體在複製現有代碼時刪除了安全監控機制，隨後卻錯誤地聲稱自己並未這樣做。

“在這兩起事件中，代理都考慮過是否應保留監控保障措施，但將常規編碼指令解讀為削弱這些措施的許可，”該公司表示。

OpenAI表示正在提高模型禁用監控的難度，並補充稱“目前尚無法對此行為給出令人滿意的解釋”。

這家總部位於舊金山的公司表示，正在測試其模型是否存在規避監控並尋找理由為這種行為辯護的傾向。

(為便利非英文母語者，路透將其報導自動化翻譯為數種其他語言。由於自動化翻譯可能有誤，或未能包含所需語境，路透不保證自動化翻譯文本的準確性，僅是為了便利讀者而提供自動化翻譯。對於因為使用自動化翻譯功能而造成的任何損害或損失，路透不承擔任何責任。)