研究人员
路透北京10月29日 - 人工智能(AI)安全研究公司Irregular的一份报告称,中国智谱 2513.HK 的旗舰AI模型在受控模拟测试中实施了复杂的网络攻击,并在另外的测试中多次无视指令。
GLM-5.3模型在13个多阶段网络攻击场景中,有3个至少成功完成过一次,这是Irregular迄今在公开可用AI模型中记录到的最佳表现。
但在Irregular的测试中,GLM-5.3仍落后于领先的美国模型。例如,OpenAI的GPT-6 Astra在另一项评估中完成了10个场景中的9个,尽管测试条件并不完全相同。
这些发现凸显了外界的担忧,即能力日益增强的AI模型正在降低实施复杂网络攻击的技术门槛。对于GLM-5.3等许多采用开放权重的中国AI模型而言,这一点尤其突出。所谓开放权重,是指用户可以下载、修改并独立运行这些模型。
总部位于北京的智谱是中国领先的AI初创企业之一。该公司未立即回应置评请求。
Irregular表示,在模拟攻击中,GLM-5.3成功访问了受保护的服务,建立替代连接以在计算机网络中进一步渗透,并协调多台机器开展行动。在接受测试的攻击性任务中,该模型没有拒绝执行任何一项。
在另外的测试中,Irregular发现,尽管被明确告知不要这样做,GLM-5.3仍多次凭记忆复现计算机代码,使其在违反旨在测试其能力的规则的情况下仍能得出正确答案。
研究人员将这种行为描述为“奖励破解”(reward hacking),即AI系统无视指令,设法实现预期结果。他们警告称,仅衡量模型是否成功的测试可能会忽略此类违规行为。
这些发现为中国AI系统正在显现安全风险提供了更多证据。路透上月梳理出至少20项研究和评估,其中记录了由中国AI模型驱动的智能体存在欺骗、隐瞒失败以及试图绕过限制等行为。不过,与美国公司发生的失控AI智能体事件不同,没有证据表明这些智能体曾自行脱离其操作者的控制。
智谱于8月发布了GLM-5.3,此前曾因进行额外安全测试而将发布时间推迟了两周。
美国国家标准与技术研究院(NIST)称,GLM-5.3是迄今发布的、在网络安全任务方面能力最强的开放权重模型,不过该机构估计,该模型的能力仍落后于美国领先系统约四个月。(完)