2024年3月,英伟达创始人黄仁勋在GTC上率先提出了「超节点」这一概念,他在台上清晰展示了英伟达的NVL72系列如何将36个Grace CPU和72个Blackwell GPU「装」进一个液冷机柜中。
和传统「8卡一个服务器、一个服务器为一个节点」的不同,所谓的「超节点」是指通过高速互联技术,将大量GPU、CPU从过去「多台服务器」的协作整合为单个物理节点,也就是黄仁勋口中的「一台超级计算机」。
但彼时,皮衣老黄振臂高呼的「超节点」还未迅速成为一个风口,甚至NVL72系列还一度因为「散热问题」推迟交付,被不少媒体质疑又是画饼。
但后来巨头们用「千卡、万卡乃至百万卡AI集群」的实际行动,回应了对黄仁勋「超节点」的追捧。
有媒体后来报道,马斯克为了自家的xAI找黄仁勋加价插队下单1600台GB200 NVL72服务器机柜,甚至还和甲骨文董事长拉里·埃里森一起攒局,请黄仁勋吃饭。
两年之后,深谙饭桌礼仪的黄仁勋才悠悠辟谣:“确实一起吃了饭,气氛也很好,但他们从来没有求过GPU,只需要正常下单就行。”
黄仁勋说的确实也对,因为巨头们现在确实求的不是GPU,而是装着芯片的AI机柜。
今年7月,英伟达硬件工程高级副总裁Andrew Bell向外界透露一组数据,通过和十家制造伙伴的合作,最终能做到每天产出最高1000个Vera Rubin机柜。
大洋彼岸外的中国,距离皮衣老黄提出「超节点」的一年后,华为反手端出了自家的超节点CloudMatrix 384——14个机柜连接384张卡,卡是NVL72的5倍多,占地面积是其16倍。
关键这种以量取胜的方式,还能弯道超车。
据Semianalysis的拆解,单个CloudMatrix 384集群BF16性能总体是NVL72的1.7倍,总内存容量是NVL72的3.6倍,总内存带宽为后者2.1倍。
图源:SemiAnalysis
华为点起来的这把「超节点火」,随后一年多里,被整个国产算力生态捧为圣杯,仅在刚刚过去的WAIC上,就有20多家企业发布了超节点相关方案。
超节点当然是一门被逼出来的创新。一头是摩尔定律逼近极限锁死单颗芯片的性能上限,另一头大模型参数竞争没有停止,持续推高算力需求,因此它是兵家必争之地。
但超节点又是一块诱人的蛋糕。就像从卖芯片到卖机柜的黄仁勋所反复说的,英伟达不是卖芯片,它是造超级计算机、开AI工厂的,从芯片、互联、软件、存储和工程部署,围绕「超节点」上下游每个环节皆有利可图。
说超节点是一门被逼出来的创新,这点并不为过。
在杨植麟和月之暗面用近3万亿参数的Kimiink> K3掀翻硅谷模型生态的同时,很少有人注意到,另一边的阿里云悄悄在微信公众号上认领了K3,表示阿里云灵骏真武M890超节点在Day0就适配了
图源:阿里云
按照阿里云的表述,
为什么这么需要超节点?
第二条路是,部署后继续投算力,在后训练和推理阶段,推理优化、强化学习、Agent长程执行,对算力需求持续增长,更多的算力投入,模型的深度思考能力才越强。
换言之,尽管各家都在各出技术奇招、相互致敬,来提升模型scaling效率,但前提共识是模型参数规模的「军备竞赛」没有停止,甚至以每年10倍的速度增长,迈入十万亿级的阶段。
这样的形势下,算力集群规模也逐步迈向千卡级、万卡级、十万卡,乃至马斯克和黄仁勋在卷的百万卡级别。
算力的需求规模不同,建集群的方式也不同。
传统算力集群的节点通常就是一台8卡服务器,厂商们用横向扩展(Scale Out)的方式,通过传统以太网来连接大量AI服务器,增加节点数,来构建千卡、万卡集群。
但这种方式,模型厂商们很快发现性价比不高,因为有三堵墙:
第一堵墙是,通信。
大模型MoE架构的普及,专家并行(EP)和张量并行(TP)等分布式并行策略在模型训练中,通信量大,对带宽要求较大,传统以太网根本难以承受。
第二堵墙是,功耗。
你随手用
英伟达的芯片越强,但绝对功耗却在上升。单颗GPU功耗从A100的400W、H100的700W,到Blackwell时代,单颗B200的功耗已突破了1000W大关,GB200更是直接突破到2700W,传统风冷无法满足散热需求,过去标准化的机柜也压根扛不住。
第三堵墙,是复杂度。
万级处理器带来故障常态化,放大了传统集群运维复杂度。
Meta在2024年训练Llama 3时,就有最直接的体感,54天的预训练中,用于训练模型的16384个英伟达H100显卡集群共出现了419次意外故障,平均每三小时就有一次。
三堵墙下,被逼出来的超节点放大了另一个策略的先进性:
纵向扩展(Scale Up)。
简单来说,超节点可以将过去分散在数十台服务器里成百上千颗芯片在一个低延迟、高带宽的域内,整合为逻辑统一的一颗「超级大芯片」,实现协同高速计算,这个工作的地方也被称为HBD(High Bandwidth Domain,超带宽域)。
所以超节点的单节点已不再是过去意义上的1台服务器了,而是由多台服务器和网络设备共同组成的计算单元。
好处也显而易见。
一方面,通过内部高速互联,当机柜里塞进更多的GPU、实现更高效的互联,GPU间的参数交换和数据同步也会越顺利,这有利于缩短大模型的训练周期。
另一方面,理论上部署和运维难度也降低了。
超节点本身就是一个高度集成的、预调优的超级计算机,在供电、散热等方面用上效率更高的技术和系统,综合来看,降低组网和运维的难度。
不仅从集群的搭建角度看,超节点是一个被逼出来的性价比选择,对国产厂商而言,超节点也是一个被逼出来的务实选择。
原因很简单:大力出奇迹、用量取胜。
既然单颗芯片性能距离还存在差距,那不妨用更多芯片、更快互联的方式,用更高的系统效率来弥补单卡差距,这种以系统取胜的策略也是中国科技过往的优势所在。
有券商总结的好:超节点就是中国AI的「韬定律」。
关于超节点,黄仁勋虽然最先提出概念、硅谷大厂AI集群火热,但在实际推进过程中,理想丰满、现实骨感。
图源:天风国际证券分析师郭明錤
一边,尽管早早拿出了AI工厂的路线图、鸿海等服务器厂商们产能拉满,但具体到英伟达下一代的AI机柜的量产交付时间却会被各种问题卡住。
据SemiAnalysis的爆料,原计划2023年下半年推出的Kyber NVL144机架架构,由于制造工艺的问题将推迟至2028年。
另一边,马斯克的xAI、扎克伯格的Meta都开始出租算力,连带着市场开始质疑CoreWeave、Nebius此类算力租赁商的成长性,甚至又回到了「算力是否建设过度」的老问题。
xAI Colossus数据中心计算大厅
相反在中国,各类超节点方案似乎如雨后春笋般涌现,各家在比规模、比参数、比方案,甚至有厂商将今年称为「中国超节点元年」。
元年不元年并不重要,市场早已听了太多的元年故事,更关键的是为什么中国厂商对超节点如此激进?
有三股看得见的手,在加速拉满国产超节点的进度条。
第一只手,就是国产芯片厂商。
超节点为国产芯片们提供了一条跳出和英伟达「比单卡性能」的思路:用Scale Up堆卡数、以系统换性能。
摩尔线程副总裁马鉴在接受媒体采访时提到:“通过系统上的提升去对标国际先进领先的超大规模的集群,去训练出同样先进的模型。”
而从拼单卡到拼系统的另一个好处是,超节点其实给给国产芯片提供了最直接的练兵场,国产芯片厂商能进一步绑定上下游产业链生态,从能用走向好用。
第二只手,则是国产大模型厂商。
这之中,不同模型厂商也各有意图。
像
而像阿里、百度等同时拥有芯片、云、模型和应用的全栈厂商,超节点也是一本万利。
一方面,芯片为模型定制,模型反哺芯片迭代;另一方面,哪怕是建设过度,超节点本身也可以以云服务的形式,按词元调用,阿里云也已经开始这么做了。
第三只手,则是国产服务器厂商。
摩尔线程们毛利率60%,浪潮信息们的毛利率不到5%,传统服务器厂商赚的是组装厂的辛苦钱。
但超节点给国产服务器厂商们带来了翻身的机会,这一点英伟达NVL72系列已经给他们上了一课。
因为,超节点更贵了,组装厂也跟着能赚。
英伟达上一代GB200 NVL72售价约300万美元,今年量产的新一代Vera Rubin NVL72单柜物料成本进一步攀升至780万美元。
交付单元从单台到整柜,服务器厂商做的不只是组装,而是涵盖了整机柜集成、Scale-up组网、供电与结构件、上架联调在内的完整系统级交付。
工程复杂度提升了、利润空间也会更大,据大摩的研究报告,在Rubin时代,ODM的附加值将增加35-40%。
鸿海们甚至也学起存储厂商们大谈商业模式的转变,从过去「买断制」转向「寄售制」,曾经高高在上的甲方愿意低头垫付资金,代工厂不用大额垫资备货。
因此在超节点这件事上,浪潮信息、新华三等国产服务器厂商显得尤为积极,不仅和芯片厂商搞联合创新,也推出更丰富的产品和服务。
尽管超节点是如此诱人的一块蛋糕,但距离它的大规模落地还有很长一段路要走。
一个月前,黄仁勋现身中国台北电脑展,吃完鸿海董事长刘扬伟准备的红豆饼后,他顺势对刘扬伟喊话:
“吃越多红豆饼,就会产出越多Vera Rubin。”但仅一个月后,就被媒体打脸延期交付。
种种迹象都在表明,超节点的技术和商业化落地难度,可能远比巨头们想象的还要大。
尽管目前全球的Scale Up协议生态逐渐走向开放,但与之而来的是的割裂和碎片化。
这是因为,协议生态通常也都是由巨头推动,开放联盟的竞争关系也是动态的。
英伟达NVLink在2014年推出,早期NvLink相对封闭,厂商难以创新。
但在去年5月,英伟达在互联技术大家族里增加了NVLink Fusion,允许第三方厂商定制CPU或加速器,虽然每个节点仍需包含至少一颗英伟达芯片,但这种「半封闭、半开放」的策略,意味着英伟达迈出了开放的一步。
由AMD主导的协议叫UALink,成立于2024年,早期参与者还有AWS、谷歌、英特尔、博通、Meta、微软等,但在2025年,博通也正式发布自家的协议SUE,旨在将自身在以太网的优势引入Scale Up领域。
国内方面,华为在2019年发布了灵衢(UnifiedBus),直接对标直接对标UALink。海光也在去年12月联手国产AI芯片、操作系统、存储与网络模块等厂商,发布了海光系统总线互联协议(HSL)1.0规范。
除此以外,中国移动、阿里云、字节跳动等也都发布了各自的Scale Up开放协议。
但正如上文所说的,协议太多、没有巨头不想主导自己的协议,这就导致,行业早期Scale Up的协议生态还是较为松散的。
除了解决GPU间内部的互联协议,怎么连所用的物理介质也有技术路线的分化:
用电,还是用光?
电互连对应的铜缆便宜、功耗低,但传输距离受限,光缆能远距离传输,方便多机柜组网,但硬件造价更高,中间的「翻译官」光模块还会产生额外功耗。
英伟达想出的方案是直接走硅光共封装的路,联手台积电等盟友,押注CPO(Co-Packaged Optics/光电共封装)技术。
在光互连上,中国信通院将演进路径概括为三步:NPO过渡商用、CPO成为主流、OIO(光输入输出)成为终极形态,中国的超节点里也开始尝试应用光互连技术。
AI的尽头是算力,算力的尽头是电力。
如何喂饱「吞电兽」、给超节点降温,意味着必须要有更先进的供电和冷却系统,未来的技术方向将聚焦于更高电压的供电架构和风液混合、全液冷系统。
还有更关键的还有一道关,其实就在眼前,回到上游的国产芯片端,客户的大单和高预期下,晶圆厂的产能到底能否持续兑现?
回头看,革命尚未成功。超节点之所以火,是被逼出来的创新、是更务实的选择,类似的故事在科技历史上也并不罕见,但距离真正的规模化落地,掀英伟达的桌,依旧还有很远的路。
本文来自微信公众号“硅基研究室”,作者:kiki,36氪经授权发布。
发布时间:2026-07-30 17:23