《独家新闻》AI研究人员：一些公司不顾安全风险急于开发自我进化系统

路透旧金山9月29日 - OpenAI和谷歌DeepMind的现任及前任研究人员警告称，企业在保护世界免受开发自我进化型人工智能(AI)系统所带来的潜在灾难性后果方面做得还远远不够——这类系统的发展速度可能超过人类对其控制能力。

在AI安全非营利组织Palisade Research收集并独家提供给路透的视频证言中，员工们表示，他们对“存亡威胁”的担忧是发自内心的，而非营销噱头。他们还指出，AI实验室对开发新模型的员工给予的赞誉，远多于对那些呼吁谨慎行事的员工。

该项目名为“frominside.ai”，旨在让那些对AI感到担忧的人士，能够跳出社交媒体的同温层，直接向公众表达他们的担忧。

“风险正在迅速加剧，”AI非营利组织Resolution的联合创始人兼首席科学家Geoffrey Irving表示。他曾先后供职于OpenAI和DeepMind，并参与该项目。

“我和其他业内人士有责任直言不讳，”他在接受路透采访时说道。

多年来，AI研究人员一直在努力应对这些疑虑，但自7月以来，随着OpenAI的智能体(代理)突破测试环境并入侵AI公司Hugging Face，公众的担忧情绪显著加剧。

自那以后，关于如何在AI安全与进步之间取得平衡的争论，不仅在科技行业产生分歧，更演变为一个全球性政治议题。

自2025年底以来，AI取得飞跃性进步，投资者也对这一进展给予积极回报。但包括部分正在构建这些新AI模型的研究人员在内的现任及前任员工担心，社会尚未做好应对潜在危害的准备。

在一段视频中，DeepMind的研究科学家Neel Nanda表示，他认为AI导致人类灭绝的可能性至少有10%，他将这一概率描述为“高得离谱”。

“我们在AI开发方面本应采取极其谨慎的步骤，但现实情况却是，前沿实验室们正像蒙着眼睛一样相互竞逐，”OpenAI的AI合规研究工程师Felipe Ceron Uribe在另一段视频中说道。“我们最终是能治癒癌症、还是失去所有工作，甚至全部消亡，谁也说不准。”

路透周一报导称，Anthropic计划在其首次公开发行(IPO)中向潜在投资者发出警告，称先进的AI可能对人类构成“灾难性或生存性风险”。


**“请放慢脚步”**

包括接受Palisade采访的一些现任和前任AI研究人员在内，都认为世界尚未做好迎接未来几代AI模型的准备，特别是当这些模型发展出递归式自我进化能力——即在几乎无需人类干预的情况下持续学习并获得新能力时。

OpenAI前政策研究员、专注于AI系统潜在道德问题的非营利组织Eleos AI Research董事总经理Rosie Campbell表示，部分AI实验室内部不断进行的重组加剧了这一问题。

Campbell表示，在2024年离开OpenAI之前，她发现该组织内部部门壁垒日益加剧，要引导技术发展方向变得越来越困难。

尽管高管们试图打消这些担忧，但特朗普总统也施加政治压力，要求美国科技保持对中国的技术优势。

Anthropic和OpenAI这两家公司本月均推出了新模型，以争夺更多客户，不过OpenAI周一表示，已暂缓发布一款性能更强的模型。

“他们所说的‘放缓前沿发展’其实就是‘不要大幅提速’，”Irving表示。“如果你在做一件非常危险的事情，就应该放慢脚步。这些AI公司过度强调这仅仅是一个纯粹的协调问题。他们完全可以单方面停止。”

OpenAI前治理研究员Daniel Kokotajlo在接受采访时表示，自Hugging Face遭黑客攻击以来，许多前同事已私下联系他，表达他们的担忧。

现任研究组织“AI Futures Project”执行董事的Kokotajlo表示，各实验室的高层官员“已经说服自己，他们是‘好人’，如果他们单方面停止，情况会变得更糟。”(完)