万卡集群背后，一千颗GPU要像一颗那样工作
买AI算力，曾经约等于买GPU。当成百上千颗GPU被连成一个集群，决定这些GPU实际能发挥出几成实力的，是它们之间搬运数据的能力——互联。
近日，Astera Labs联合创始人、总裁兼首席运营官Sanjay Gajendra在接受21世纪经济报道记者采访时表示，无论训练还是推理，AI对算力的需求都在同步膨胀，而算力膨胀的每一步，都要求数据在芯片之间移动得更快——这套“神经系统”必须以越来越高的速度运行，才能跟上算力的要求。
Astera Labs成立于2017年，做的是AI服务器中GPU与CPU、内存、网络、存储之间的互联芯片，深度卷入全球各大云厂商、AI实验室的算力基础设施建设，于2024年3月在纳斯达克上市。
最新财报数据显示，其今年二季度单季营收3.92亿美元，同比增长104%，一个季度就做到去年全年的近一半，其中PCIe 6产品已占总营收的50%以上。对三季度的指引是5.4亿至5.6亿美元，环比再增约四成。其业绩增长的背后，是行业对于高速互联的强劲需求。
行业普遍判断，AI负载已经从传统的“算力不足”转向通信瓶颈，超节点集群普遍遭遇“通信墙”制约。网络互联效率直接决定算力利用率与业务落地能力。
Sanjay Gajendra在采访中反复使用了一个比喻：如果把处理器比作大脑，那互联就是神经系统。
2017年Astera Labs成立时，服务器只有一两颗CPU，但创始团队看到了一个趋势：主板和服务器系统正在从单脑变成多脑。
“这就像同一个身体里开始出现很多个大脑。”Sanjay Gajendra向记者表示。当一台服务器从2颗处理器变成8颗、72颗，甚至上千颗时，为上一代架构设计的“神经系统”显然不够用。
这便是Astera看到的机会。他们的核心技术围绕三大产品线展开：Aries系列PCIe/CXL重定时器（Retimer）解决信号衰减问题，Leo系列CXL内存控制器为GPU扩展内存，Scorpio系列智能交换芯片实现GPU之间的高速互联。
AI的快速发展更是验证了他们的判断。Gajendra观察到，英伟达NVL72单机柜有72颗GPU，这还不是终点，下一代到144颗，并在未来三四年内奔向一千颗以上。PCIe协议也从他们创业时的8GT/s，到如今64GT/s，明年将达到128GT/s，基本每年翻倍。
AI把算力推向新量级，连接不再只是服务器内部的总线问题，而成为决定算力能否规模化、能否高效利用、能否商业化落地的核心瓶颈。
“无论是训练还是推理，两者都需要大量的算力，因为你是在试图模拟人脑。当你需要更多算力时，你就需要在处理器之间快速移动数据，”Gajendra在采访中解释道，“对互联来说，这套‘神经系统’必须以越来越高的速度运行。”
Astera Labs的产品线也在这种压力下生长。Gajendra介绍道，其第一代交换器件是较小的64通道设备，最多连接4台设备；第二代最多连接40台设备；当前一代产品最多可以连接80台设备。器件越来越大，解决的问题越来越复杂，创造的价值也越来越高。
公司在二季度财报中确认，针对AI集群设计的Scorpio提前一个季度成为营收最大的产品线。三季度的营收跳升，主要驱动力正是Scorpio新一代产品的量产爬坡，背后是AI对高速互联的强劲需求。
当AI训练和推理的瓶颈从算力本身转移到互联效率时，交换芯片的战略价值将向计算芯片看齐。
互联的故事讲到“更快”为止了吗？一个新的约束条件正在改写竞争。
“电力现在是一个巨大的瓶颈，至少在西方世界是这样。”Gajendra向记者表示。
美国的电力需求到2030年预计超过80吉瓦，而建一座电厂需要五到七年，环评和发电设备的交付周期都省不掉。一边是的狂奔，一边是电力基建的慢周期，缺口就摆在那里。
单机层面更直观：一台AI服务器的功耗，接近一台通用服务器的20倍，英伟达NVL72机柜的功率在130千瓦上下，下一代只高不低。而在万卡级的大模型算力集群中，数据在芯片间移动的能耗占系统总能耗的九成以上，真正用于计算的能量不足10%。
评论交流
0