过去一周,围绕AI安全的严厉警告接连出现。Anthropic、OpenAI和谷歌DeepMind等主要AI实验室的研究人员都对开发这项技术可能带来的灾难性风险发出警报。
包括萨姆·奥尔特曼、达里奥·阿莫代伊、德米斯·哈萨比斯和埃隆·马斯克在内的AI行业领袖,也罕见地在要求放缓AI发展速度、加强监管方面表现出一致立场。
与此同时,AI风险争议也正在华盛顿升温,美国国会两党均有议员推动加强AI监管,但特朗普政府对此持明显抵触态度。
以下是几位曾帮助推动AI发展的先驱,对AI“生存性风险”的看法。
约书亚·本吉奥(Yoshua Bengio)是加拿大计算机科学家,被认为是现代深度学习领域最重要的先驱之一。
本吉奥与杰弗里·辛顿和杨立昆(Yann LeCun)共同获得2018年度图灵奖,三人也常被媒体并称为“AI教父”。
在回应Anthropic研究员Jacob Coxon宣布辞职时,本吉奥表示:“前沿AI实验室的科学家对最先进模型拥有独特洞察。”
Coxon此前曾警告称,AI可能“在2030年前杀死我们所有人”。
本吉奥指出,科学家往往会在模型向公众发布前数月,就看到与之相关的风险。
“他们的观点对于帮助社会了解情况至关重要,应该受到非常严肃的对待,”他说。
在这场社交媒体风波开始前几天,OpenAI首席科学家Jakub Pachocki也曾警告称,“没有人为机器智能持续快速提升所带来的后果做好准备”。
本吉奥在上周五发表的一篇博客文章中写道,如今的AI系统“已经具备必要的黑客攻击能力和说服能力,足以被用于违背人类利益的用途,并造成严重伤害”。
他表示,近期事件已经表明,AI可以进行持续数天甚至数周的规划。如果AI长期战略规划能力继续提升,相关风险将“严重得多”。
“我对AI公司目前试图缓解‘目标错位’问题的方法感到担忧,因为这些做法可能只是在隐藏错位问题——它们实际上是在奖励和筛选那些能够作弊、同时又不被发现的AI,”本吉奥说。
他补充称:“我们当然应该继续研究如何更好地监控AI的行为、它们的思维链,以及其神经网络内部的活动。”
辛顿是多伦多大学名誉教授,被认为是神经网络和深度学习领域的先驱。他曾在谷歌任职长达十年,并担任过副总裁一职。
上周,辛顿在接受媒体采访时被问及是否认为未来十年内AI杀死全人类的概率超过10%,他当时回答道:“这类事情非常难以估算,因为我们过去从未遇到过类似情况。我们从未创造过可能很快就比我们更聪明的存在。”
辛顿表示,10%的概率并非“不合理”,但“没有人真正知道该如何给出一个合理的估计”。
他举例称,AI系统可能设计“非常恶劣”的生物病毒和计算机病毒,并发动“毁灭性的网络攻击”。
辛顿强调:“如果AI真的想消灭我们,它还有无数其他方法。我们必须想办法设计AI,让它不会产生这种意图。”
评论交流
0