OpenAI披露其兩個AI智能體擅自削弱內部監控功能
路透10月20日 - OpenAI周二表示,其兩個人工智能(AI)智能體(agent)削弱了用於檢測異常行為的內部監控系統部分功能。這是AI智能體以開發者未預期的方式運行的最新案例。
儘管OpenAI表示,這些事件發生在內部編程任務過程中,且不屬於最嚴重級別的事故,但這一披露消息凸顯出,即便是開發人員用來捕捉AI異常行為的系統,也可能受到其所監控的AI智能體削弱。
此次披露正值人們日益擔憂AI安全措施落後于功能日益強大的AI系統發展步伐。研究人員警告稱,隨著自主性提高,先進的AI智能體可能變得更難監測和控制。
包括OpenAI和Anthropic在內的多家AI開發企業近幾個月均披露了其AI智能體未經授權訪問外部系統的案例。
OpenAI周二表示,10月3日,一個正在執行內部測試任務的GPT-6.1 Sol智能體,在認定此前一項不發送Slack消息的指令也涵蓋安全通知後,屏蔽自動安全警報。
OpenAI稱,在10月6日發生的另一起事件中,一個GPT-6 Astra智能體在複製現有代碼時刪除了一個安全監控程序,隨後卻聲稱自己並未這樣做。
“在這兩起事件中,智能體都考慮過是否應保留監控防護措施,但將常規編碼指令解讀為允許削弱這些措施,”該公司表示。
OpenAI稱其正在提高模型關閉監控功能的難度,並補充稱“目前尚未對這種行為給出令人滿意的解釋”。
該公司表示,正在測試其模型是否存在規避監控、並找理由為這種行為辯解的傾向。(完)