在 GTC 大会上，作为分别站在硬件和算法顶端的人，英伟达首席科学家 Bill Dally 与谷歌首席科学家 Jeff Dean 的一场对话，向外界释放了一个明确的信号。
AI 的竞争重点变了。
单看模型参数、算法创新，已经不够。硬件、系统、能耗、推理速度，这些曾经属于基础设施的东西，正在成为决定性因素。
为什么这些会成为关键？今天的数据中心里，接近 90% 的电力花在推理上。做一次计算只需要几个飞焦耳，但把数据从内存搬过来，能耗高出上千倍。
而要让 AI 持续高效地运转，接下来比的是全栈能力有多扎实，以及把技术变成生产力的执行能力。
这场竞争，刚刚开始。
几年前，大模型能解对初中数学题就让人兴奋，但现在它跨过了一个真正的门槛。
过去的工作方式是“你问一句它答一句”，做完一步就停在原地。而现在，你只需要用自然语言交给它一个目标，它会自己拆解步骤、反复尝试、修正错误，并继续往下推进。它的工作时间尺度，也从几秒钟延长到了几个小时甚至几天。
不仅如此，AI 甚至开始能够改进自身的系统。
Jeff Dean 提到，你可以给模型下达一个指令，比如“请在这个方向上探索能提高性能的想法”。它会自己去跑 50 个实验，筛掉 40 个不行的，锁定 10 个有希望的，继续做后续测试。以前要实现这种探索，你得写长串的代码告诉它去哪找、怎么找；现在，方向定好，它自己就会执行。
这背后的实质，是 AI 在不断地进行推理：接任务、出结果、再接下一个任务。跑 50 个实验，每个实验都要推理；持续迭代，每次迭代都要推理。推理速度决定了这些任务能跑多快。
而推理速度的致命瓶颈，在于延迟。
Bill Dally 指出，延迟越低，每一步等待越短，任务推进越快；延迟越高，AI 就会停滞，哪怕模型再强也无法持续工作。
训练阶段决定了模型“能学到什么”，但真正决定它“能干多少活”的，是推理阶段的效率。因此，衡量 AI 的核心标准也跟着变了：不再是模型准确率提升了多少，而是它一天到底能完成多少工作。
AI 正式从“辅助决策”进入“直接执行”阶段。
限制它的不再是模型本身的智商，而是算力、延迟、能耗这些支撑它运行的基础设施，以及背后把技术转化为生产力的投入能力。
AI 能力变了，钱的流向也跟着变了。从不计代价的“打地基”，变成了精打细算的“算运营”。
Bill Dally 说，今天数据中心的电力，绝大部分已经花在推理上。真正持续消耗资源的，是让模型不停地运转工作。
这也彻底改变了给 AI 花钱的逻辑。训练模型，更像是一次性砸下巨款的“基建投资”；而推理，则是每天都在发生的“日常开销”。只要 AI 在干活，电费、算力和硬件折旧就在无声地燃烧。
一边是推理端的“成本焦虑”，另一边则是训练端的“数据焦虑”。
Bill Dally 提出了一个行业的普遍隐忧：人类的高质量数据是不是快被用光了？
Jeff Dean 对此则相对乐观。他指出，真实世界中还有海量的视频、音频和机器人传感器数据尚未被挖掘；同时，“合成数据”将是打破瓶颈的关键。面对“合成数据会不会只是在‘近亲繁殖’、重复已有信息”的质疑，他认为，只要用于生成数据的底层模型足够强大，合成数据依然大有可为。
这意味着，接下来的竞争不再是单纯的算法比拼，而是两本账的较量：
一本是训练阶段的“数据账”。谁能持续获取高质量的数据（无论是真实世界的新模态数据，还是优质的合成数据），谁就能在智力壁垒上保持领先。
另一本是推理阶段的“经济账”。 同样的计算，如果数据在不同芯片之间来回搬运，能耗会成倍飙升；如果能把数据留在本地处理，开销就能大幅下降。再比如，延迟越低，AI 单位时间内的产出就越高。
当 AI 还只是个聊天工具时，这些底层损耗的差异并不显眼；但当它开始像员工一样日夜不停地执行连续任务时，这些差异就会被无限放大。
资本因此开始疯狂流向两个方向：
一是更稳定的推理能力、更高效的硬件架构、更低能耗的运行方式；
二是能够持续产生高质量数据的能力。
现在的企业要做的，是把 AI 从实验室里的“奇迹”，变成流水线上可以长期稳定运转的“生产力”。
接下来的输赢，就看谁能让 AI 一直转下去，而且越转越划算。
当投入开始集中到让 AI 持续工作，硬件能不能支撑这种强度，成了绕不开的问题。
很多人的直觉里，会把 AI 的发展简单理解成“算力越多越好”。但 Bill Dally 强调：真正限制效率的，往往是数据在不同地方之间的来回移动。
这个差距有多大？
Bill Dally 算了笔账：做一次计算，能耗很低；但把数据从内存里搬出来，能耗是计算本身的 1000 倍。他给出的核心原则很简单：不要移动数据。
只要数据不移动，能耗就能降下来，速度就能提上去。如果能把数据留在芯片内部的存储里处理，能耗可以降到和计算本身相当的水平。这就像一条流水线，材料在车间之间来回搬运，严重拖慢了整体进度。
所以硬件设计开始转向：从“算得更快”，转向“尽量少搬”。
比如，把数据尽可能留在芯片内部处理，或者把存储和计算放得更近。甚至一些新的方向是把存储直接叠在计算芯片上方，让数据“像掉下来一样”直接砸进计算单元，而不是绕一圈再回来。
在降低延迟的同时，推理速度的目标也在疯狂提升。Bill 预见未来要达到每个用户每秒 1 到 2 万个 token，是现在速度的几十倍。要实现这个目标，延迟必须降到极低：芯片内通信 30 纳秒，芯片间通信不到 50 纳秒。
为了满足这种极其苛刻的延迟和能耗要求，硬件的结构不可避免地走向了分化。
在 Jeff Dean 看来，训练和推理已经不适合用同一套设计去处理。训练更像是集中处理一大批数据；而推理，尤其是逐步生成内容的阶段，是对延迟和内存访问极其敏感的逐字推进。
这种分化会细到什么程度？
Bill Dally 认为：未来可能至少有三种硬件形态，一种擅长训练，一种擅长生成内容，甚至生成内容这块还会继续细分。
原因在于，推理的不同阶段对资源的需求天差地别。有的阶段可以并行处理大量输入（偏重算力）；有的阶段则是逐个 token 往外蹦（极度依赖内存读取速度）。针对这些细分场景配置出最合适的硬件，就能在成本和性能上建立起绝对优势。
当企业把这些极致的底层能力组合在一起，才有可能支撑 AI 在现实任务中长年累月地运行。
硬件，正在变成决定 AI 生产力上限的核心因素。
AI 的能力变了，花钱的方式变了，底层的硬件要求也变了。这对企业来说，到底意味着什么？
如果 AI 只是被用来写写文案、做做总结，那它的影响仅仅是局部的；但当它可以连续运行、承担完整任务时，它就开始真正长进了企业的工作流程里。变化不会停在某个单一岗位，而是会扩张到整个业务链条。
巨头们已经在内部跑通了这种模式。Jeff Dean 和 Bill Dally 都谈到了 AI 在英伟达内部的应用，这些例子极具代表性。
比如，英伟达用强化学习开发了名为 NBL 的程序，专门用来将标准单元库移植到新的半导体工艺上。过去，这项工作需要一个 8 人团队耗时 10 个月（整整 80 个人月）才能完成；现在，只需要在一块 GPU 上跑一个晚上，且结果比人类设计的还要好。
另一个叫 Prefix RL 的程序，用强化学习优化芯片设计。Bill 说：它想出了人类永远想不出来的极其怪异的设计，但在性能指标上比人类的设计好了 20% 或 30%。还有 Chip Nemo 和 Bug Nemo，用英伟达专有的设计文档训练的模型。最大的好处是初级设计师不需要再去问高级设计师简单问题，直接问 Chip Nemo 就行。
然而，现实的骨感在于：同样的 AI 技术，有的企业能用来把生产力提升几十倍，有的企业却连水花都砸不出来。差别究竟在哪？
核心在于企业是否主动重构了工作方式。
重构的第一步，是改变如何分解任务、分配环节。
过去一个项目往往是人来主导，中间穿插工具辅助；现在的做法会逐渐变成：人设定目标，AI 去执行中间的大量步骤。比如写一段代码，不再是逐行完成，而是让 AI 先生成方案、跑一轮结果，再由人来调整方向；再比如做一份分析，不只是整理已有信息，而是让 AI 去收集、筛选、组合，再形成初稿。
紧接着，流程本身也必须重构。
当中间环节被自动完成，企业开始更关心两件事：一是任务如何被清晰地拆解和交付；二是结果如何被快速验证和修正。
除了流程，还有工具错位的问题。
Bill Dally 敏锐地指出：当 AI agent 的运行速度已经比人类快 50 倍时，它们所调用的各种软件工具，却依然是按照“人类交互速度”来设计的。编译器的启动时间、电子表格的加载速度……这些过去不起眼的细节，现在成了卡住 AI 脖子的最大阻碍。
换句话说，AI 变快了，但配套的工具和基础设施没跟上。企业不仅要改流程，甚至得重新设计系统里的编译器、业务软件，让它们能匹配 AI 的处理速度。
这也是为什么很多企业跟风引入 AI 后，并没有获得预期回报。如果固守着旧的流程、旧的工具和旧的组织架构，仅仅是生硬地把 AI 加进来，反而会让工作更繁琐。
相反，那些跑得快的企业，早已开始重新设计流水线：哪些环节交给 AI 昼夜不息地跑？哪些关键节点留给人来拍板？如何设计自动化的验证闭环？甚至如何重写内部工具来配合 AI？
只有当这些环节被彻底理顺，AI 才会从“聪明的玩具”变成真正的“生产力”。
一部分企业会因为更早适应这种方式，把成本降下来，把速度提上去；
另一部分企业如果仍停留在旧的组织方式里，即使使用了同样的技术，也很难发挥出效果。
模型是公开的，算力也是可以买的。但把 AI 真正转化为生产力的组织能力，花多少钱都买不来。
这场巨头间的对话，透出了一个清晰的共识：AI 的主战场，已经不在模型本身。
推理的延迟、硬件的能耗、优质数据的获取、组织流程的重构，这些过去隐居幕后的“基础设施”，正在成为决定胜负的关键。
未来 5 年，AI 的竞争会进入持久战。
拼的不是谁先用上 AI，而是谁能让 AI 持续创造价值。技术可以学，算力可以买，但把这些整合成生产力的能力，需要时间积累。家底够不够厚，不看一时投入，看长期运转。
最后留下来的，是那些真正把 AI 用起来的企业。
发布时间：2026-03-23 09:40
立即订购
在线咨询
返回顶部