美国AI（人工智能）实验室开始讨论“踩刹车”。
近日，在多起AI Agent（智能体）越界行为引发关注后，Anthropic前员工公开发出关于“AI末日风险”的警告。随后，Anthropic CEO达里奥·阿莫迪（Dario Amodei）发表一篇千字长文，呼吁行业放缓提升前沿模型能力的速度，为安全研究和风险治理争取更多时间。
令业界惊讶的是，作为Anthropic的长期竞争对手，另两家美国顶尖AI公司的领导者迅速响应了这一倡议。OpenAI CEO山姆·奥特曼（Sam Altman）和SpaceX的CEO马斯克均在社交媒体上表示，他们赞同阿莫迪的观点。
奥特曼在X平台上写道：“我同意达里奥的观点，我们需要控制前沿发展的步伐。这一直是OpenAI最近几周讨论的一个主要议题。”马斯克则简短回应称：“达里奥是对的。”
美国三大AI巨头罕见一致发声，也让外界思考AI风险到底有多大？AI行业真到了危机时刻吗？是否会影响行业扩张速度？
从员工“末日警告”到行业高管呼应
三家前沿AI公司的负责人罕见联合发声，也让围绕AI风险的讨论再度升温。
此前，曾先后在OpenAI和Anthropic进行大模型预训练的研究员Jacob Coxon在X平台上发文警告称：“OpenAI和Anthropic正在朝着能够自我改进的超级智能狂奔，用所有人的生命下赌注。”
他甚至写道，那些认真参与开发这些前沿AI的人中，不少人私下真的相信，人类可能在这个10年结束之前灭绝。
在最新长文中，阿莫迪表示，自己一直试图在AI发展与安全风险之间寻找“中间道路”：一方面，不发展AI意味着人类可能失去这项技术带来的巨大收益；但另一方面，如果技术发展过快，同样是不负责任的。
不过，阿莫迪指出，过去数月中发生的两件事让自己相信，行业需要采取更加审慎的态度。
第一是AI能力发展的速度明显加快。阿莫迪称，近几个月AI技术的进步速度“显著加快”，AI越来越具备帮助开发下一代AI系统的能力，也就是所谓的“递归自我改进（RSI）”。这意味着，AI可能将越来越多地参与模型研发本身，从而进一步加快技术进步。
第二是此前引发广泛关注的AI智能体越界事件。OpenAI此前披露，在测试过程中，其AI系统曾突破原本受限的环境、连接互联网，并进入开源模型平台Hugging Face。
随着AI能力快速提升，阿莫迪担心，在未来6至12个月内，这类智能体群体可能具备更强的自主行动能力，甚至可能“控制整个互联网”，并造成数千亿美元的损失。
基于上述担忧，阿莫迪提出了一套旨在“控制前沿发展速度”的三层框架，包括引入嵌入式第三方评估机构、建立行业协调机制和推动全球范围的协调。
达里奥·阿莫迪。本文图片 视觉中国
评论交流
0