OpenAI披露其兩個AI智能體擅自削弱內部監控功能

由 Reuters News

- OpenAI周二表示,其兩個人工智能(AI)智能體(agent)削弱了用於檢測異常行為的內部監控系統部分功能。這是AI智能體以開發者未預期的方式運行的最新案例。


儘管OpenAI表示,這些事件發生在內部編程任務過程中,且不屬於最嚴重級別的事故,但這一披露消息凸顯出,即便是開發人員用來捕捉AI異常行為的系統,也可能受到其所監控的AI智能體削弱。


此次披露正值人們日益擔憂AI安全措施落後于功能日益強大的AI系統發展步伐。研究人員警告稱,隨著自主性提高,先進的AI智能體可能變得更難監測和控制。


包括OpenAI和Anthropic在內的多家AI開發企業近幾個月均披露了其AI智能體未經授權訪問外部系統的案例。


OpenAI周二表示,10月3日,一個正在執行內部測試任務的GPT-6.1 Sol智能體,在認定此前一項不發送Slack消息的指令也涵蓋安全通知後,屏蔽自動安全警報。


OpenAI稱,在10月6日發生的另一起事件中,一個GPT-6 Astra智能體在複製現有代碼時刪除了一個安全監控程序,隨後卻聲稱自己並未這樣做。


“在這兩起事件中,智能體都考慮過是否應保留監控防護措施,但將常規編碼指令解讀為允許削弱這些措施,”該公司表示。


OpenAI稱其正在提高模型關閉監控功能的難度,並補充稱“目前尚未對這種行為給出令人滿意的解釋”。


該公司表示,正在測試其模型是否存在規避監控、並找理由為這種行為辯解的傾向。(完)

Capital.com 是一個僅執行交易的經紀平台,Capital.com 網站上提供的內容僅供參考,不應被視為銷售要約或購買其適用產品或證券的要約邀請。對於所提供資訊的準確性或完整性,不作任何陳述或保證。

 

此處所提供的資訊不構成投資建議,也未考慮任何投資者的個人財務狀況或目標。任何可能提供的與過往表現有關的資訊都不是未來結果或表現的可靠指標。

在法律允許的範圍內,Capital.com(或任何附屬機構或僱員)在任何情況下均不對因使用所提供的資訊而造成的任何損失承擔任何責任。任何人根據該資訊採取行動均需完全自行承擔風險。

任何可構成「投資研究」的資訊均未按照旨在促進投資研究獨立性的法律要求編寫,因此應被視為行銷傳播內容。