本文小节
AI 芯片的“成本突破”常把两笔账混在一起：训练一个模型的投入，以及让已训练模型持续提供服务的开支。前者涉及长周期集群计算、数据准备、工程和基础设施；后者更直接受响应延迟、能效和单次服务成本影响。推理芯片的能效指标改善，不能据此推出前沿模型训练的总成本已按相同幅度下降。
近期围绕 NVIDIA Rubin 和 OpenAI 自研芯片 Jalapeño 的报道，正好呈现了这种区别。前者的宣传同时涉及混合专家模型（MoE）的训练和推理；后者的性能叙事主要围绕大语言模型推理。两者都可能改变特定工作负载下的硬件选择，但单项指标不足以证明训练总账已经被全面改写。 来源：tyaix.com；来源：techflowpost.com
训练与推理不是同一种算力需求
钛媒体转载的《半导体产业纵横》文章将训练描述为利用大量数据和反复迭代更新模型参数的过程。预训练尤其依赖持续、大规模运行，因此对计算性能、显存带宽、分布式通信和大规模集群稳定性都有要求。
推理则是在既有模型参数基础上处理新输入。该文称，推理更看重速度、能效、响应延迟和成本控制，部署范围也可从云端延伸至边缘和终端。 来源：tmtpost.com
因此，“每瓦吞吐量”首先是推理服务的指标：它衡量单位电力下可完成多少工作，对受电力约束、请求持续到来的服务具有直接意义。但这一指标本身并不覆盖训练中的数据处理、工程投入、集群通信效率或训练周期。某颗芯片在推理中以更低能耗处理更多 token，也不能直接证明一次大模型训练的全部开支同步下降。
芯片效率之外，训练还有一整笔账
GPUnex 的训练成本估算将训练支出拆为 GPU 计算、数据准备、工程和基础设施四项，并给出 65%、15%、12%和 8%的比例。这是该网站的估算，并非所有实验室通用的成本结构；但它说明，硬件时间不是训练成本的全部。
同文列出的训练成本差异也很大：GPT-3 约为 460 万美元，GPT-4 约为 7900 万美元，Gemini Ultra 约为 1.91 亿美元；该文对 DeepSeek R1 的估算则约为 29.4 万美元。这些数字的统计口径、模型目标和计算环境并不一致，不能直接连成一条技术进步曲线。它们能够说明的是，模型规模、架构、工程路径以及被计入成本的项目，都会改变最终账单。 来源：gpunex.com
所以，即使一项硬件测试证明某个负载的计算效率提高，能够首先证明的也是该负载上的潜在节省。若要声称训练成本下降，还需要对应训练任务的 GPU 数量、运行时长、通信负担及其他成本项目发生变化的证据。讨论总拥有成本时，还须区分设备采购、部署、网络、存储和电力等支出，不能用单一吞吐量指标替代整笔账。
Rubin 的说法限定在 MoE 工作负载
《六芯协同，Rubin重写AI成本公式》称，NVIDIA 的 Rubin 平台包含 Vera CPU、Rubin GPU、NVLink 6 Switch、ConnectX-9 SuperNIC、BlueField-4 DPU 和 Spectrum-6 Ethernet Switch，并以芯片、互联、网络和基础设施卸载的协同设计为重点。
该文转述 NVIDIA 的量化说法：与 Blackwell 相比，Rubin 可将 MoE 模型推理的单 token 成本降至十分之一；训练同等规模 MoE 模型所需 GPU 数量可减少四倍。这是厂商针对特定模型架构和比较对象提出的主张，不是对所有模型和任务的已证实结论。 来源：tyaix.com
不过，这一主张对应了训练成本中的关键环节。训练集群并非由单颗 GPU 独立完成任务：材料所列的 NVLink、网卡、以太网交换机和 DPU，分别涉及 GPU 间通信、网络传输和基础设施任务卸载。若系统协同能够在实际训练中减少完成同一任务所需的 GPU 数量，节省的就不只是单颗芯片的计算时间，也包括集群资源占用。 来源：tyaix.com
但报道中的比较对象是 MoE 模型。即便相关指标成立，其适用范围也首先是材料所界定的 MoE 工作负载，不能自动外推为整个训练市场的平均结果。 来源：tyaix.com
Jalapeño 指向的是持续推理服务的成本
关于 Jalapeño，SemiAnalysis 经深潮 TechFlow 编译的报道称，OpenAI 与博通合作开发了一款面向大语言模型推理的芯片；其测试覆盖多个开源模型和 InferenceX 基准。报道将其描述为通用推理芯片，而非只为 OpenAI 自家模型定制的处理器。
这一说法若经更多部署验证，所对应的是另一笔账：服务提供方能否以更少的电力或硬件资源完成相同的持续推理请求。它与训练侧的计算资源需求有关联，却不是同一个命题。
把两者混为一谈，容易产生两种误判：一是将推理能效提升夸大为训练成本全面下降；二是因为推理 ASIC 不能替代通用训练 GPU，便忽视其对持续服务成本的意义。现有材料能够支持的结论更有限：训练系统面对的是大规模计算和集群协作，推理系统则更直接面对延迟、能效和持续运营成本。
“成本公式被改写”并非不能成立，但必须说明改写的是哪一种模型、哪个阶段、哪一项成本，以及适用的系统条件。离开这些限定，十倍、四倍或 1.7 倍等数字都只能说明特定指标下的变化，不能代替对整体成本的判断。 来源：tyaix.com；来源：mhpq.cn