这套系统的推出,正值AI智能体接连发生越界事件、科技行业围绕是否应放缓AI研发展开争论之际。
OpenAI、Anthropic、Meta和谷歌等公司近期披露了一系列开发和测试智能体期间发生的安全事件。在未获得指令或授权的情况下,这些科技巨头的人工智能模型逃出沙箱,访问政府、事业单位和第三方公司的网站,某些情况下还会对外部计算机系统展开攻击。
截至发稿,英伟达盘前涨超1%,不过与智能体安全平台的关系不大。在另一条公告中,公司宣布追加1500亿美元回购授权规模,使回购计划总额达到2350亿美元。公司预计在2028财年之前(也就是2028年1月底前)执行全部剩余额度。
理解这套系统,首先需要理解智能体与普通聊天机器人的区别。智能体不仅能生成回答,还能调用工具、读写文件、访问网络,并连续执行任务。
随着企业赋予其更多自主权,智能体是否会为了完成任务而越过权限边界、访问未经授权的数据,甚至绕过安全限制,正成为AI从“回答问题”走向“自主行动”过程中必须解决的安全难题。
英伟达的方案分为两层。
可以将其理解为给“数字员工”设置工作区域和门禁:获准处理某一批文件,并不意味着可以读取整个服务器;获准调用某个工具,也不意味着可以自行获取更多权限。
作为开源软件,OpenShell可在英伟达自家的Vera CPU上运行,也可通过扩展支持Arm和英特尔等第三方计算平台。
值得一提的是,在上周日举行的媒体吹风会上,英伟达的代表披露,该公司的安全平台本可以阻止7月发生的OpenAI智能体入侵开源AI模型和软件开发平台HuggingFace。
英伟达也在公告中“点名”大量合作伙伴,表示已有超过100家组织采用英伟达开放智能体安全平台相关技术,涵盖AI模型、企业软件、金融、能源及机器人等领域。
此外,微软、摩根大通、花旗、西门子、施耐德电气及人形机器人公司Figure等,也参与了相关技术的应用或合作。
评论交流
0