快速摘要
英伟达于2026年3月11日正式发布 Nemotron 3 Super，这是一款拥有1200亿总参数、120亿激活参数的开源混合架构大模型，专为大规模AI智能体（Agent）应用而生。 它首创 Mamba-MoE 混合架构配合 LatentMoE 专家路由机制，支持100万Token上下文窗口，相比上一代模型吞吐量提升最高达5倍、准确率提升最高达2倍。在 PinchBench 基准测试中，Nemotron 3 Super 以85.6%的任务成功率登顶开源模型榜首，接近闭源模型的表现。更关键的是，英伟达同步开源了超过10万亿Token的训练数据集、完整训练方法论和21个强化学习环境配置——这意味着开发者可以完整复现整个训练流程。 往下看，莫潇羽@无忆研习社 将为你从架构原理到实际部署，逐层拆解这个模型的全部技术细节。
为什么AI智能体需要一个全新的模型？
在展开 Nemotron 3 Super 的技术细节之前，我们有必要先理解它要解决的核心问题。当前AI应用正在从传统的"一问一答"聊天模式，向多智能体协同（Multi-Agent）模式快速演进。在多智能体场景下，多个AI Agent 分别扮演不同角色——有的负责信息检索，有的负责规划决策，有的负责工具调用和执行——它们彼此协作完成复杂任务。
然而，这种工作模式给底层大模型带来了两个棘手的工程瓶颈，英伟达在技术报告中将它们称为Agent应用的"两大枷锁"。
第一个瓶颈：上下文爆炸（Context Explosion）。 多智能体工作流产生的Token数量，通常是普通聊天对话的15倍以上。原因在于，每一次Agent之间的交互都需要重新发送完整的历史记录，包括此前所有的工具输出、中间推理过程和上下文状态。当Agent执行一个持续数小时甚至数天的长周期任务时，这种指数膨胀的上下文不仅推高了推理成本，更容易导致一种叫做"目标偏移"（Goal Drift）的现象——Agent在漫长的交互过程中逐渐偏离了最初设定的目标，就像一个人接到太多临时任务后忘了自己本来要做什么一样。
第二个瓶颈：思考税（Thinking Tax）。 复杂的Agent必须在每一步都进行推理判断，但如果在每个子任务上都调用一个大型推理模型来"深度思考"，整个系统的成本和延迟会迅速变得不可接受。试想一个由5个Agent组成的团队，每个Agent每完成一步都要调用一次大模型，整个工作流下来的Token消耗和响应时间将让实际部署变成一场灾难。
正是为了从架构层面根治这两个问题，英伟达推出了 Nemotron 3 Super。下面，莫潇羽（无忆研习社 www.wuyi.wiki）将带你深入这个模型的四大核心技术创新。
核心架构：Mamba-MoE 混合设计如何让吞吐量飙升5倍
为什么不用纯 Transformer？
传统的 Transformer 架构有一个众所周知的痛点：自注意力机制的计算复杂度随序列长度呈二次增长。通俗地说，当上下文长度从8K扩展到100万Token时，KV Cache（键值缓存）的显存占用和计算开销会呈爆发式增长。对于需要持续处理超长上下文的智能体应用来说，纯 Transformer 架构在效率上存在天然的结构性缺陷。
Nemotron 3 Super 的混合方案
Nemotron 3 Super 没有走纯 Transformer 的老路，而是采用了一种三层混合架构。整个模型由88层网络组成，这些层按照周期性交替的方式排列，交织了三种不同类型的计算层：
Mamba-2 层 承担了绝大部分的序列处理工作。Mamba 基于状态空间模型（SSM）实现，其最大的优势在于它的时间复杂度是线性的——无论输入序列有多长，每个Token的推理成本几乎不变。在生成阶段，Mamba 层只需要维护一个固定大小的状态向量，而不像 Transformer 那样需要缓存整个历史序列的 KV Cache。这正是 Nemotron 3 Super 能够在实践中支撑100万Token上下文窗口的关键——如果全用注意力层，这个窗口长度在当前硬件条件下几乎无法高效运行。
Transformer 注意力层 则作为"全局锚点"穿插在 Mamba 层之间。纯粹的SSM模型有一个已知弱点：在需要精确关联检索（associative recall）的场景下表现不够理想。比如，当你需要在100万Token的上下文中精确定位某一个具体的事实，并且这个事实被大量无关信息包围时，Mamba 可能会"记不住"。注意力层通过全局的信息路由能力弥补了这个短板，确保模型在"大海捞针"类任务中依然保持高精度。
LatentMoE 层 与每个 Mamba-2 块配对，提供稀疏参数扩展能力（这个我们下一节详细展开）。
用一个类比来帮助理解：如果把整个模型想象成一条高速公路系统，Mamba 层就是那些宽阔的高速主路，负责高效快速地输送车流（Token流）；Transformer 注意力层则是关键路口的立交桥，负责在需要的时候将信息精准分流到正确的方向；LatentMoE 则是智能调度中心，确保在任何时刻都只动用最必要的资源。
吞吐量实测数据
这种混合架构带来的性能提升非常显著。根据英伟达技术报告的数据：
- 相比上一代 Nemotron Super 模型，吞吐量提升最高达5倍，准确率提升最高达2倍
- 在输入序列8K、输出序列64K的设置下，Nemotron 3 Super 的吞吐量比 GPT-OSS-120B 高出2.2倍，比 Qwen3.5-122B 高出7.5倍
- 在 Artificial Analysis 平台的评测中，Nemotron 3 Super 刷新了开源模型在效率指标上的最好成绩
对于开发者而言，更高的吞吐量意味着在相同的GPU资源下，你可以同时运行更多的Agent实例，或者让单个Agent的响应速度大幅提升。这对于需要实时交互的应用场景（如客户服务、代码调试、安全编排）尤为关键。
LatentMoE：花1个专家的成本激活4个专家
传统MoE的瓶颈在哪？
混合专家模型（Mixture of Experts，MoE）并不是一个新概念。它的核心思想是：模型虽然有很多参数，但对于每个输入Token，只激活其中一小部分"专家"来处理。这样可以在保持大模型容量的同时，显著降低实际推理时的计算量。
但传统MoE有一个实际的工程瓶颈：在分布式推理场景下，不同的专家分布在不同的GPU卡上。当路由器决定将某个Token发送给特定的专家时，需要通过GPU之间的高速互联（如NVLink）传输完整维度的Token向量。当模型的隐藏维度 (d) 很大（Nemotron 3 Super 的隐藏维度为6144）时，这个跨卡通信量会成为性能瓶颈。此外，每个专家需要加载的参数量也与隐藏维度成正比。
LatentMoE 的精巧解法
Nemotron 3 Super 首创的 LatentMoE（隐式混合专家）提出了一个非常优雅的解决方案。它的核心思路可以用一句话概括：先把Token"压缩"到小空间，再在小空间里做路由和专家计算。
具体来说，对于每个输入Token (x \in \mathbb{R}^d)，LatentMoE 首先通过一个可学习的降维矩阵 (W_{\downarrow} \in \mathbb{R}^{\ell \times d}) 将其投射到一个更小的潜在空间 (\mathbb{R}^{\ell})，其中 (\ell) 远小于 (d)。路由决策和专家计算都在这个压缩后的低维空间中进行。
这样做的直接效果是：需要跨GPU传输的数据量和每个专家需要加载的参数量，都缩小了 (d/\ell) 倍。
但故事到这里还没结束——这是 LatentMoE 真正精妙的地方。省下来的通信带宽和显存空间，被英伟达"回收利用"了：他们将专家的总数和每次激活的专家数量都放大了同样的 (d/\ell) 倍。最终的效果是，在推理成本几乎不变的前提下，每个Token实际上被更多的专家处理了。 英伟达官方博客给出了一个非常直观的表述：花1个专家的计算成本，激活4个专家。
从信息论的角度看，更多的专家参与处理意味着模型的参数利用率和知识覆盖面都得到了提升。实验数据也印证了这一点——相比同等推理成本的传统MoE，LatentMoE 在下游任务的准确率上表现更优。
下面是 LatentMoE 和传统 MoE 的关键区别对比：
传统 MoE 流程:
Token (d维) → 路由器 → 选择Top-K个专家 → 专家计算 (d维空间) → 输出
LatentMoE 流程:
Token (d维) → 降维投射 (d→ℓ) → 路由器 → 选择Top-K'个专家 → 专家计算 (ℓ维空间) → 升维投射 (ℓ→d) → 输出
其中 K' = K × (d/ℓ)，即激活的专家数量按降维比例放大这种设计对硬件的友好程度也很高。由于降维后的数据量更小，all-to-all 通信模式在多GPU环境下变得更加高效，这使得 LatentMoE 在实际的分布式部署中能够充分释放性能。
多Token预测（MTP）：一箭双雕的推理加速器
从"逐字预测"到"一口气看好几步"
传统的大语言模型在生成文本时，遵循严格的"下一个Token预测"（Next-Token Prediction）范式：每一步只预测一个Token，然后将其追加到序列末尾，再预测下一个。这种自回归方式虽然简单可靠，但它意味着生成N个Token就必须执行N次前向传播，速度受到了本质上的限制。
Nemotron 3 Super 引入了多Token预测（Multi-Token Prediction，MTP）技术，要求模型在每个位置上同时预测未来多个Token。这项技术带来了两个维度的收益。
收益一：模型质量提升
MTP并不仅仅是一个推理时的加速技巧——它在训练阶段就发挥了重要作用。当模型被要求在一个位置上同时预测后续多个Token时，它被迫去理解更长范围内的因果关系和文本结构。这就好比让一个作家不只是想下一个词，而是要同时构思接下来好几句话的走向。
英伟达的消融实验证实，加入MTP训练目标后，模型在验证集上的Loss和下游基准测试的分数都获得了实实在在的提升。
收益二：原生投机解码（Native Speculative Decoding）
MTP更大的实际价值在于推理阶段。传统的投机解码需要外挂一个独立的小型"草稿模型"（Draft Model）来快速生成候选Token，然后由主模型验证。这种方案虽然有效，但增加了系统复杂度和额外的算力开销。
Nemotron 3 Super 的MTP预测头，本质上就是在模型内部内置了一个"草稿模型"。在推理时，这些预测头会先快速生成后续几个Token的候选方案（即"打草稿"），然后主模型在一次前向传播中把这些候选全部验证一遍。如果候选正确，就直接采纳；如果不正确，就从错误的位置重新生成。
根据技术报告，Nemotron 3 Super 在 SPEED-Bench 测试中实现了平均3.45个Token的验证接受长度（相比之下，DeepSeek-R1 为2.70），这意味着每次验证通过后可以直接跳过3到4步的自回归过程。在实际应用中，这带来了最高3倍的推理速度提升，而且由于"草稿模型"就在模型内部，额外的FLOPs开销微乎其微。
用一个简化的伪代码来说明MTP投机解码的工作流程：
# 简化的MTP投机解码流程
def mtp_speculative_decode(model, input_tokens, draft_length=4):
"""
model: Nemotron 3 Super 模型（含MTP预测头）
input_tokens: 当前已生成的Token序列
draft_length: MTP预测头一次"打草稿"的Token数量
"""
while not finished:
# 第1步：MTP预测头快速生成draft_length个候选Token
draft_tokens = model.mtp_heads.predict(input_tokens, n=draft_length)
# 第2步：主模型在一次前向传播中验证所有候选
verified_count = model.verify(input_tokens, draft_tokens)
# 第3步：接受所有通过验证的Token
input_tokens.extend(draft_tokens[:verified_count])
# 如果有候选未通过验证，从主模型的分布重新采样
if verified_count < draft_length:
new_token = model.sample_from_main(input_tokens)
input_tokens.append(new_token)
return input_tokens值得注意的是，MTP在RL（强化学习）后训练阶段完成后，还需要经历一个"MTP恢复"步骤：冻结模型主干参数，只重新训练MTP预测头，使其与RL调整后的模型行为重新对齐。这确保了投机解码在最终模型上依然保持高接受率。
NVFP4：原生4位精度预训练
大多数量化模型的做法是先用高精度（如BF16或FP32）完成预训练，然后再将权重压缩到低精度格式以加速推理。这种"先训后压"的方式不可避免地会引入精度损失。
Nemotron 3 Super 走了一条不同的路：它从预训练的第一个梯度更新开始，就全程使用 NVFP4（英伟达4位浮点格式）进行训练。NVFP4 采用 E2M1 元素格式，配合16元素微块、E4M3 缩放因子和第二级 FP32 全局缩放。简单来说就是，模型从一开始就学会了如何在4位精度的约束下保持准确性。
当然，并非所有层都适合用4位精度。对于一些信息敏感的关键层——包括注意力投影、LatentMoE的潜在空间投影、MTP预测头以及网络最后15%的层——英伟达选择保留 BF16 或 MXFP8 的更高精度，以防止信息丢失。这种"混合精度"策略在效率和质量之间取得了很好的平衡。
NVFP4 训练是与英伟达 Blackwell GPU 架构深度绑定的。在 Blackwell 平台上：
- FP4的峰值推理吞吐量比 Hopper 架构上的 FP8 快4倍
- 显存需求大幅降低，使得单卡或少量卡就能高效运行120B参数的模型
- 在准确率上做到了零损失——这一点在25万亿Token规模的预训练中得到了充分验证
这意味着如果你的基础设施已经升级到了 Blackwell 系列（如 GB200、B200），Nemotron 3 Super 几乎可以免费获得一波巨大的推理加速。
训练全流程：25万亿Token + 21个RL环境
了解了架构设计，莫潇羽@无忆研习社接下来带你看一看 Nemotron 3 Super 是怎么训练出来的。这个模型的训练流程分为预训练和后训练两大阶段，每个阶段都有精心的数据工程设计。
预训练：两阶段数据策略
Nemotron 3 Super 的预训练总共消耗了25万亿个Token，分为两个阶段：
第一阶段（20万亿Token，占总量的80%） 主打数据多样性和知识广度。训练语料涵盖了16个大类，包括网页爬取数据、编程代码、数学公式、学术论文、多语言文本等。这个阶段的核心目标是让模型建立起广泛的世界知识和语言理解能力。英伟达还配套发布了 Nemotron-CC 系列数据集，其中包括从 Common Crawl 中清洗、去重、质量过滤后的高质量网页数据，以及合成代码和专业STEM数据。
第二阶段（5万亿Token，占总量的20%） 则聚焦于高质量数据的精细化训练。在这个阶段，维基百科、高质量PDF文档、STEM推理数据的采样权重被显著提升。这种"先广后精"的两阶段策略在业界已被证明是提升模型质量的有效方法。
预训练完成后的基础模型（Base Model）在主流基准上的表现相当亮眼：MMLU 达到86.01，MMLU-Pro 达到75.65，MATH 达到84.84，在同等参数规模的开源模型中处于领先位置。
后训练：从"会说话"到"会办事"
预训练让模型拥有了广博的知识，但要让它真正成为一个可靠的AI智能体，还需要经过精细化的后训练（Post-Training）。英伟达在这个阶段的投入力度非常大，尤其是在Agent能力的强化上。
SFT（监督微调）阶段： 英伟达使用了超过700万条样本、总计800亿Token的监督数据进行微调。在数据混合比例上，Agent相关任务的占比高达36%，超过了对话类任务（23%）和推理类任务（31%）。这个比例分配充分体现了 Nemotron 3 Super 的定位——它不是一个通用聊天模型，而是一个专门为Agent场景优化的推理引擎。
Agent训练数据的规模提升幅度尤其惊人。以对话式工具调用（Conversational Tool Calling）这一项为例：上一代 Nemotron 3 Nano 仅覆盖了5个领域、约1.5万条对话；而 Nemotron 3 Super 的训练数据扩展到了838个领域、将近28万条对话——数据量增长了将近18倍。
RL（强化学习）阶段： 这是 Nemotron 3 Super 后训练的重头戏，分为四个依次进行的步骤。
第一步是 多环境RLVR。英伟达使用其开源的 NeMo Gym 框架，同时在21个环境配置、37个数据集上进行强化学习训练。这些环境覆盖了数学推理、代码生成、STEM问答、安全合规、对话质量、指令遵循、长上下文理解、逻辑谜题和各类Agent操作任务。每一步训练采样256个Prompt，每个Prompt生成16个Response，通过可验证的奖励信号（而非人工标注）来优化模型行为。这种多环境并行训练的方式，有效避免了模型在单一任务上过拟合。
第二步是 SWE-RL，专门针对软件工程能力进行强化训练，投入了200亿Token。这一步的训练方式非常有特色：每次训练rollout都会启动一个独立的Docker容器，在真实的代码仓库中运行完整的Agent循环——阅读代码、定位问题、生成补丁、运行测试。奖励信号来自真实的测试用例执行结果，而非人工判断。这让模型学会了在真实软件工程环境中完成端到端的任务。
第三步是 RLHF（基于人类反馈的强化学习），投入了180亿Token。英伟达训练了一个基于 Qwen3-235B 的 GenRM 生成式奖励模型，主要用于在身份认知和安全话题上精确调控模型行为，确保模型在这些敏感领域不会出现不当输出。
第四步是 MTP恢复。在前三步的RL训练过程中，模型主干的参数发生了变化，这可能导致之前训练好的MTP预测头与主干"失调"。因此，最后一步冻结模型主干参数，专门重新训练MTP预测头，恢复投机解码的高接受率。
后训练效果一览
这套全方位的后训练方案效果非常显著，以下是几个关键基准上的表现：
- SWE-Bench（基于OpenHands框架）上达到60.47%，大幅超过 GPT-OSS-120B 的41.9%
- RULER@1M 长上下文测试中达到91.75%，而 GPT-OSS-120B 仅为22.3%
- AIME25 数学推理达到90.21%，与 Qwen3.5-122B 的90.36%基本持平
- PinchBench 智能体任务成功率达到85.6%，位列开源模型第一
PinchBench 基准详解：如何衡量模型的Agent能力
既然提到了 PinchBench，这里有必要详细介绍一下这个基准测试，因为它和传统的MMLU、HumanEval等评测有本质区别。
PinchBench（pinchbench.com）是一个专门为 OpenClaw 智能体设计的开源评测框架，由 Kilo Code 团队维护。与传统基准测试不同，PinchBench 不是让模型做选择题或写代码片段，而是让模型作为一个真实的AI Agent，去执行完整的实际任务。
测试涵盖23个任务，横跨多个类别：基础操作、日历管理、信息检索、写作、编程、阅读理解、上下文处理、文件操作、复杂推理、内容创作、内容转换、信息综合、组织整理、数据分析和记忆等。
评分采用双重机制：一部分通过自动化检查（验证文件是否被正确创建、数据是否准确等），另一部分由LLM评审通过详细的评分规则进行定性评估。
根据最新的排行榜数据（2026年3月11日更新），前几名的模型成绩如下：
PinchBench 成功率排行（最佳得分）：
Claude Sonnet 4.6 → 86.9%
Claude Opus 4.6 → 86.3%
GPT-5.4 → 86.0%
Nemotron 3 Super → 85.6% ← 开源模型第一
Claude Opus 4.5 → 85.4%
Kimi K2.5 → 84.8%
Qwen3.5-122B → (略低于上述模型)可以看到，Nemotron 3 Super 作为一个开源模型，已经非常接近闭源模型的最好成绩。对于需要可控性、可定制性和数据隐私保护的企业用户来说，这个成绩意味着他们不再需要为了性能而被迫依赖闭源API。
如果你想自己跑 PinchBench 测试，操作很简单：
# 克隆 PinchBench 测试仓库
git clone https://github.com/pinchbench/skill.git
cd skill
# 使用指定模型运行完整测试
./scripts/run.sh --model nvidia/nemotron-3-super
# 也可以只跑特定类型的任务
./scripts/run.sh --model nvidia/nemotron-3-super --suite task_01_calendar,task_02_stock
# 注册后可以将结果上传到排行榜
./scripts/run.sh --register推理部署：从哪里可以用到 Nemotron 3 Super
Nemotron 3 Super 的开源发布非常彻底，开发者有多种方式可以获取和部署这个模型。
HuggingFace 模型仓库： 完整的模型权重（FP8量化版和BF16版）以及预训练基础模型都发布在 HuggingFace 的 nvidia 组织下。地址为 huggingface.co/collections/nvidia/nvidia-nemotron-v3。
NVIDIA NIM 微服务： 对于不想自己处理模型部署细节的开发者，英伟达提供了打包好的 NIM 容器镜像，支持从本地服务器到云端的一键部署。
推理引擎支持： 英伟达同步发布了面向主流推理引擎的部署指南（Cookbook），包括 vLLM（高吞吐连续批处理）、SGLang（轻量级多Agent工具调用优化）和 TensorRT-LLM（配合 LatentMoE 专用内核的低延迟部署）。
云服务商： Google Cloud Vertex AI、Oracle Cloud Infrastructure 已经上线，AWS Bedrock 和 Azure 也将在近期跟进。此外，Baseten、DeepInfra、Fireworks AI、Together AI 等推理服务商也提供了即开即用的API访问。
API定价参考： 以 DeepInfra 平台为例，Nemotron 3 Super 的价格约为 输入 $0.10/百万Token，输出 $0.50/百万Token，在同级别模型中属于相当有竞争力的价格区间。
微调和定制： 英伟达还提供了基于 NeMo Megatron 的 LoRA SFT（轻量化微调）和 GRPO/DAPO（强化学习微调）的完整 Cookbook。这意味着企业用户可以在 Nemotron 3 Super 的基础上，针对自己的业务场景进行深度定制。
推理模式控制
Nemotron 3 Super 还提供了一个非常实用的功能：推理预算控制（Reasoning Budget Control）。开发者可以在API调用时动态调整模型的"思考深度"：
- 完整推理模式（默认）：模型全力发挥，适合复杂的Agent规划和决策任务
- 限定预算模式：可以显式地设置推理时间或Token消耗的上限，适合对延迟敏感的实时交互场景
这种灵活性让开发者可以在同一个模型上，根据不同任务的复杂度动态切换推理策略——简单任务用快速模式，复杂任务用深度推理模式——而不需要部署多个不同的模型。
本地部署的硬件建议
对于希望在自有硬件上部署 Nemotron 3 Super 的团队，莫潇羽@无忆研习社 在这里给出一些实用参考。由于模型采用了 MoE 架构，1200亿总参数中每次只激活120亿参数，这意味着实际的计算需求（FLOPs）与一个120亿参数的密集模型相当。但需要注意的是，所有专家的参数仍然需要加载到显存中（即使大部分专家在当前步骤不被激活），因此显存需求仍然与总参数量挂钩。
在使用 FP8 量化的情况下，模型的权重大约需要 120GB 的显存空间。这意味着至少需要两张 H100（每张80GB显存）或一张 GB200 等 Blackwell 系列卡来运行。如果使用 NVFP4 格式，显存需求进一步减半，使得在单张高端 Blackwell GPU 上运行成为可能。当然，生产环境中还需要预留一部分显存给 KV Cache（尤其是在长上下文场景下），具体的硬件配置需要根据目标吞吐量和上下文长度来综合评估。
对于没有自建GPU集群的团队，通过上述云服务商和推理平台的API接入可能是更务实的起步方式。在业务量达到一定规模后，再考虑是否有必要自建推理基础设施。
OpenClaw 生态与 NemoClaw 企业平台
OpenClaw 是什么？为什么它如此重要？
要完整理解 Nemotron 3 Super 的应用场景，有必要先介绍一下 OpenClaw 这个生态系统，因为它正在从根本上改变人们使用AI的方式。
OpenClaw（此前叫 Clawdbot、Moltbot）是由奥地利开发者 Peter Steinberger 创建的开源AI智能体框架。不同于传统的聊天机器人只能"回答问题"，OpenClaw 让AI真正成为了一个"能干活的数字助手"。它在用户的本地
