快速摘要
Yuan 3.0 Flash 是 YuanLab.ai 团队开源的 40B 参数多模态大模型，采用稀疏混合专家（MoE）架构，每次推理仅激活约 3.7B 参数。它最值得关注的创新在于提出了 RAPO（反思感知自适应策略优化）算法和 RIRM（反思抑制奖励机制），从训练阶段就教会模型「什么时候该停止思考」，将推理阶段的无效 Token 消耗削减高达 75%，同时准确率不降反升。 在 RAG 检索增强生成、表格理解、摘要生成等企业级任务中，Yuan 3.0 Flash 展现出了极强的竞争力。往下看，莫潇羽@无忆研习社 将为你从行业背景、架构原理、算法细节、训练流程、性能对比到实际部署，做一次完整而详细的技术拆解。无论你是入门新手还是有经验的开发者，都能从这篇文章中获得有价值的信息。
一、背景：大模型推理的「过度思考」困局
1.1 Scaling Law 走到了十字路口
过去几年，大模型领域一直遵循着一个看似颠扑不破的核心信条——Scaling Law（规模化定律）：参数越多、数据越大、算力越强，模型就越聪明。这个规律最初由 OpenAI 的 Kaplan 等人在 2020 年系统性地阐述，随后在 GPT-3 到 GPT-4 的演进中得到了充分验证。正是基于对 Scaling Law 的信仰，整个行业掀起了一场疯狂的算力竞赛——各家机构竞相建造更大规模的计算集群，部署更多的 GPU，消耗更多的电力，只为训练出参数量更大、能力更强的模型。
但硬币总有另一面。当推理模型（Large Reasoning Models, LRMs）在 2024 年开始大放异彩之后，研究者们逐渐发现了一个令人不安的现象：模型并不总是「想得越多，答得越好」。恰恰相反，在相当多的场景下，更长的思维链（Chain-of-Thought, CoT）不仅没有带来更好的结果，反而增加了错误率、消耗了大量无意义的计算资源，甚至有时候会让模型把原本正确的答案改成错误的。
这个现象在学术界引起了广泛而深入的讨论。2025 年前后，多篇重要论文从不同角度证实了同一个结论——更长的思考并不等于更好的思考。其中几个代表性的研究成果值得关注：
论文 "Don't Overthink it: Preferring Shorter Thinking Chains for Improved LLM Reasoning" 发现，较短的推理链在同一道题目上比最长的推理链准确率高出多达 34.5%。也就是说，同一个模型面对同一道题，简短回答版本反而比冗长思考版本答得更准。
苹果研究团队发表的 "The Illusion of Thinking" 更是直接挑战了推理模型的核心假设。他们发现，在简单问题上，推理模型经常很早就找到了正确答案，但随后继续探索错误方案，有时候反而把自己带偏了。更令人震惊的是，在面对高复杂度问题时，推理模型的「思考量」反而会下降——它们似乎在「放弃」。
这些发现共同指向一个关键结论：推理的质量远比推理的长度重要。Scaling Law 在推理维度上，可能已经走到了需要反思的十字路口。
1.2 什么是「过度思考」（Overthinking）？一个通俗的解释
为了帮助不太熟悉技术细节的朋友理解「过度思考」到底是怎么回事，莫潇羽@无忆研习社 先用一个日常生活中的例子来做类比。
想象你在参加一场限时数学考试。你看到一道题目，迅速运用公式求出了答案并写在了试卷上。这时你还剩很多时间，于是开始检查。
第一遍检查：你验算了一遍，确认答案没问题。挺好的。
第二遍检查：你换了一种方法重新算，结果还是一样。依然没问题。
第三遍检查：你开始质疑——「这个答案看起来好像太简单了，会不会哪里搞错了？」但找不到任何错误。
第四遍检查：你更加焦虑了——「也许我第一步的假设就有问题？」于是你开始动摇，把答案改了。
结果你改完之后，原本正确的答案变成了错误的。
这就是当前推理模型在做的事情。具体到技术层面，「过度思考」的典型表现包括以下几个方面：
- 后答案循环验证：模型在首次给出正确答案之后，不断地用各种方式重复验证，生成大量「让我再确认一下……」「另一种思路是……」「综上所述……」这类内容
- 无证据自我推翻：在没有任何新证据的情况下，模型开始质疑并推翻之前正确的推理路径
- 格式化冗余表达：模型花费大量 Token 将答案用不同的方式重新表述、格式化输出，但实际信息量为零
- 犹豫性内容膨胀：输出中充斥着「但是……或许……不过话说回来……让我再想想……」这类犹豫性表达
根据 Yuan 3.0 Flash 论文中的统计数据，在 MATH-500 这个标准数学推理基准测试中，传统推理模型的 Token 分布呈现出一种极其典型的「冰山结构」——答案本身只占冰山露出水面的部分，而水面以下隐藏着巨大的「反思冰山」。具体来说，「后答案反思」阶段的 Token 占比高达 71.6%，平均一道题的总 Token 输出为 3362 个，其中求解阶段仅占约 955 个，剩余 2407 个都是反思阶段的内容。
这意味着什么？意味着超过七成的计算资源，花在了「答对之后的反复自我确认」上。
需要明确区分的是，这跟「幻觉」（Hallucination）是完全不同的两种问题。幻觉是模型凭空编造了不存在的信息——比如给你引用一篇根本不存在的论文。而过度思考的问题在于：答案早已正确且完整，模型却无法及时「停手」，一直在消耗资源重复确认已知的结论。
1.3 这对实际应用意味着什么？企业付出的隐形代价
如果你只是个人用户，偶尔用一下 AI 聊天，过度思考可能只是让你觉得回复有点啰嗦。但对于企业级应用来说，这个问题的影响是全方位的，而且代价巨大。
首先是直接的经济成本。 目前主流大模型的 API 定价都是按 Token 计费的。如果一个任务本来只需要消耗 1000 个 Token 就能给出正确答案，但模型实际输出了 4000 个 Token——其中 3000 个是无效的反思内容——那么企业就相当于多付了 3 倍的费用。当这个问题被放大到每天数百万次的 API 调用量时，多出来的成本就非常可观了。
其次是推理延迟。 Token 数量直接决定了模型的响应时间。如果一个本应在 1 秒内完成的回答被拉长到 4 秒，用户体验会急剧下降。对于实时性要求高的应用场景——比如客服对话系统、智能辅助驾驶中的决策支持、金融交易中的风险分析——这种延迟可能是不可接受的。
再次是计算资源的浪费。 GPU 是稀缺且昂贵的资源。如果大量 GPU 算力被用于生成无效的反思内容，这些资源就无法服务于其他有价值的任务，整个系统的吞吐量会下降。
最后是潜在的准确率风险。 正如前面提到的，过度反思有时候会导致模型推翻正确答案。这在需要高可靠性的场景——比如医疗辅助诊断、法律文档分析——中是一个严重的隐患。
这就形成了一个令人头疼的「Token 成本悖论」——想要高智能，就必须承受成倍增长的 Token 消耗和推理延迟；想要控制成本和延迟，往往只能牺牲模型能力。在这两个极端之间，行业急需一个更优的平衡方案。
Yuan 3.0 Flash 正是为了打破这个困局而诞生的。
二、Yuan 3.0 Flash 的整体架构：每一个组件都有讲究
2.1 三大核心组件的协作关系
Yuan 3.0 Flash 的整体架构由三个功能互补的核心组件构成，它们像一条精密的流水线一样协作处理多模态输入。莫潇羽@无忆研习社 按数据流转的顺序来逐一介绍：
第一个组件：视觉编码器（Visual Encoder）
这是模型的「眼睛」，负责将输入的图像转化为模型能够理解的数字表示。Yuan 3.0 Flash 使用了基于 InternViT-300M 的预训练视觉 Transformer 作为视觉编码器。
它的工作方式是这样的：当一张图像输入进来时，视觉编码器首先会将图像切分成若干个「图像块」（Patch），每个图像块被编码为一个视觉特征向量。这里有一个关键的技术细节——Yuan 3.0 Flash 采用了自适应分割机制。传统方案通常使用固定尺寸的图像块，但这会导致一个矛盾：切太粗则丢失细节，切太细则 Token 数量暴增、显存溢出。自适应分割机制根据图像的实际内容和分辨率动态调整分割策略，在保留关键视觉信息的同时控制 Token 数量。
第二个组件：轻量级多模态对齐模块（MLP Projector）
这是连接「视觉世界」和「语言世界」的桥梁。视觉编码器输出的特征向量和语言模型使用的文本 Token 处于不同的「语义空间」——就好比一个人说中文，另一个人说英文，需要一个翻译来把两种语言对齐。
Yuan 3.0 Flash 使用了一个采用 SwiGLU 激活函数的 MLP（多层感知机）投影器来完成这个对齐工作。SwiGLU 是一种近年来在大模型中被广泛采用的激活函数，它比传统的 ReLU 或 GELU 具有更好的表达能力。这个投影器虽然「轻量级」，但能够有效地将视觉特征映射到文本 Token 的同一个向量空间中，使得后续的语言模型可以像处理文本一样处理来自图像的信息。
第三个组件：基于 MoE 的语言主干网络（MoE-based Language Backbone）
这是整个模型的「大脑」，也是计算量最大、技术含量最高的部分。它采用了稀疏混合专家（Mixture of Experts, MoE）架构，并引入了 Local Filtered Attention（LFA）注意力机制。在接收到经过对齐的视觉 Token 和文本 Token 后，语言主干网络负责进行深层次的语义理解、推理和生成。
下面我们分别深入讲解 MoE 架构和 LFA 注意力机制这两个关键技术。
2.2 MoE 架构详解：让专家各司其职的智慧分工
MoE（Mixture of Experts，混合专家模型）是近年来大模型领域最重要的架构创新之一。为了让完全没有技术背景的朋友也能理解，莫潇羽@无忆研习社 从最基础的概念开始讲起。
传统稠密模型的问题
在传统的 Transformer 架构中，每一层都包含一个前馈神经网络（Feed-Forward Network, FFN）。FFN 是「稠密」的——这意味着无论输入的是什么内容，网络中的所有参数都会被激活并参与计算。
这就好比一家公司只有一个「全能型」员工。不管来了什么业务——会计报表、法律文件、市场策划——都是这同一个人来处理。虽然他什么都会一点，但每次处理任务时都要调动自己的全部知识和精力，效率并不高。
随着模型参数量从几十亿增长到几千亿甚至上万亿，「所有参数全部激活」带来的计算成本变得越来越不可承受。
MoE 的核心思想
MoE 的解决方案很直觉：把一个「全能型员工」替换成一个「专家团队」。在 Transformer 的每一层，MoE 用一组并行的「专家网络」（通常是多个独立的 FFN）替代了原来的单个稠密 FFN，并引入一个「路由器」（也叫门控网络, Gating Network）来决定每个输入应该由哪些专家处理。
工作流程如下：
- 当一个 Token 进入 MoE 层时，首先经过路由器
- 路由器根据这个 Token 的特征，计算出它与每个专家的「匹配度分数」
- 选择匹配度最高的 K 个专家（通常 K=1 或 K=2，即 Top-K 选择策略）
- 只有被选中的专家会被激活，处理这个 Token
- 被选中专家的输出按照匹配度分数进行加权融合，得到最终结果
关键优势：稀疏激活
MoE 的最大优势在于稀疏激活——虽然模型的总参数量可以做得很大（意味着模型有很大的「知识容量」），但每次处理一个 Token 时只激活其中一小部分参数。
Yuan 3.0 Flash 的具体参数配置是：
- 总参数量：约 40B（400 亿）
- 每次推理激活的参数量：约 3.7B（37 亿）
- 激活率：约 9.25%
用一个更生活化的类比：一家大型综合医院有 40 个科室和数百名医生（总参数 40B），但患者来了不需要每个科室都挂号、每个医生都看一遍。门诊分诊台（路由器）会根据患者的症状，把他安排到最合适的 3-4 个科室（激活参数 3.7B）。这样既保留了大医院的「全科覆盖能力」，又不会浪费每个科室的宝贵医疗资源。
MoE 的挑战
MoE 架构虽然计算效率高，但也带来了一些独特的挑战，这些挑战也是 RAPO 算法需要解决的重要问题：
- 负载不均衡：如果路由器总是把大部分 Token 发送给同几个「热门专家」，就会导致这些专家过载而其他专家闲置，训练效率降低。这通常通过引入辅助损失函数（Auxiliary Loss）来缓解。
- 显存占用：虽然每次推理只激活 3.7B 参数，但所有 40B 参数都需要常驻显存，因此显存需求仍然和总参数量正相关。
- 梯度不稳定：由于路由机制的存在，不同专家接收到的训练信号差异很大，容易出现梯度爆炸或梯度消失。
2.3 LFA 注意力机制：在精度和效率间的精妙平衡
Yuan 3.0 Flash 在语言主干网络中采用了一种名为 Local Filtered Attention（LFA，局部过滤增强注意力） 的注意力机制。这是从 Yuan 2.0 系列延续和发展而来的技术创新。为了解释清楚 LFA 的价值，我们先简单回顾一下标准注意力机制的工作方式。
标准自注意力机制的问题
在标准的 Transformer 自注意力（Self-Attention）机制中，序列中的每一个 Token 都要和所有其他 Token 计算「注意力分数」——也就是说，序列中的第 1 个 Token 要分别关注第 2、第 3、第 4……直到第 N 个 Token。这种「全对全」的计算方式虽然保证了模型能够捕捉到序列中任意两个位置之间的依赖关系，但计算复杂度是序列长度的平方——即 (O(n^2))。
当序列比较短（比如几百个 Token）的时候，这不是问题。但当我们需要处理 128K Token 这样的超长上下文时，(O(n^2)) 的复杂度就变成了一个巨大的计算瓶颈。128K Token 的平方是 160 多亿——这意味着每个注意力层需要进行 160 亿次注意力分数的计算。
LFA 的解决思路
LFA 的做法是：在标准自注意力计算之前，先通过两层一维卷积层对输入序列进行局部过滤。
一维卷积的特点是它只关注一个 Token 周围固定窗口大小的邻居。比如窗口大小为 5 时，每个 Token 只跟它左边 2 个和右边 2 个 Token 进行卷积运算。这样就在进入正式的注意力计算之前，先让模型「预消化」了一波局部依赖信息。
打个比方：标准注意力就像一个人在看一篇文章时，每读到一个字都要回头扫一遍全文的所有内容；而 LFA 则是先让你快速浏览一下每个段落的前后文语境，建立局部理解之后，再做全局性的关联推理。这样虽然信息获取量差不多，但处理效率高得多。
实测效果
经过 LFA 优化后的 Yuan 3.0 Flash 成功支持了 128K Token 的上下文窗口。在经典的「大海捞针」（Needle-in-a-Haystack）测试中——即在一个超长文档中随机插入一条关键信息，然后让模型找到它——Yuan 3.0 Flash 在不同的文档长度和不同的插入深度下都实现了 100% 的准确召回率。
这意味着什么？意味着如果你的企业需要让 AI 分析一份数百页的年报、合同或者技术文档，模型不会因为文档太长而「迷失」在中间——它能精准地找到你关心的那条信息。
三、RIRM 深度拆解：教会模型「适可而止」的奖励机制
RIRM（Reflection Inhibition Reward Mechanism，反思抑制奖励机制）是 Yuan 3.0 Flash 最具原创性的技术贡献。下面 莫潇羽@无忆研习社 将从设计动机、技术原理到实际效果，做一次尽可能详细的拆解。
3.1 从数据分析中发现问题的精确位置
在设计 RIRM 之前，YuanLab.ai 团队并没有急于动手，而是先做了大量扎实的数据分析工作。他们仔细研究了传统推理模型在 MATH-500、AIME 2024 等数学基准上的输出，试图精确定位「冗余」到底发生在哪里。
分析结果非常清晰——模型的推理过程可以被明确地分为两个阶段：
- 求解阶段（Problem Solving Phase）：这是模型真正在进行有效推理的阶段——理解题目、选择解题方法、执行计算步骤、得出中间结论，最终给出一个答案。这个阶段的 Token 每一个都是有价值的，代表了真正的智力劳动。
- 反思阶段（Reflection Phase）：这是模型在给出答案之后进入的阶段——它开始用各种方式重新验证答案、换一种说法重复结论、加上额外的解释说明，有时候甚至推翻之前的正确答案重新开始。这个阶段的 Token 绝大部分是冗余的。
定量分析的结果令人震惊。在 MATH-500 基准上，求解阶段平均消耗约 955 个 Token，而反思阶段平均消耗约 2407 个 Token——反思阶段占了总 Token 的 71.6%。在更难的 AIME 2024 基准上，情况更加严重——总 Token 数高达 9574，其中反思阶段的占比更高。
更有意思的是，如果把反思阶段的内容仔细拆解，会发现其中绝大部分都属于以下几类低价值内容：
- 「让我验证一下这个答案……」（重复验证已确认的结果）
- 「综上所述，我们可以得出……」（用不同措辞重复同一个结论）
- 「另一种理解方式是……」（没有提供任何新信息的改写）
- 「等等，我是不是哪里搞错了？让我重新算一下……」（无根据的自我怀疑）
这些内容的共同特点是：不包含任何新的推理步骤、新的证据或新的解题路径，纯粹是在「空转」。
3.2 RIRM 的核心设计思路与实现原理
理解了问题的症结所在之后，RIRM 的设计思路就变得非常自然了：在强化学习训练过程中，给模型建立一个清晰的「什么时候该停」的认知标准。
这个想法看起来简单，但实现起来有不少技术难点。让我们逐层拆解。
传统 RL 训练的奖励设计有什么问题？
在传统的基于强化学习的推理模型训练中（比如 RLVR——Reinforcement Learning with Verifiable Rewards），奖励信号的设计通常是这样的：
- 如果模型最终答案正确，给予正向奖励（比如 +1）
- 如果模型最终答案错误，给予负向奖励或零奖励（比如 -1 或 0）
这种奖励设计有一个致命缺陷——它只关注「最终结果」，完全不关注「达到这个结果的过程是否高效」。这就好比一个考试只看最终成绩，完全不考虑你花了多少时间——既然答对了就有奖励，那模型自然倾向于「多想想、多验证几遍」，因为从模型的角度看，多花时间思考不会有任何负面后果，还可能减少出错的风险。
长此以往，模型就形成了一种「多说多对、少说少对」的策略倾向，过度思考的行为模式也就固化下来了。
RIRM 的三维奖励框架
RIRM 对奖励信号进行了根本性的重新设计，引入了三个相互配合的奖励维度：
第一维度：首次正确答案定位与识别
RIRM 需要一个「锚点」——在模型的输出序列中，精确找到模型第一次给出正确答案的位置。
这在技术实现上通过自动化的答案提取和验证管道来完成。对于数学问题，提取器会搜索模型输出中所有的 \boxed{} 格式答案，并与标准答案进行数值比对；对于选择题，则直接匹配选项标识。第一个与标准答案匹配的位置就被标记为「首次正确答案节点」。
这个节点的意义在于：在这个节点之前的 Token 是「求解阶段」——这些 Token 帮助模型找到了正确答案，是有价值的；在这个节点之后的 Token 是「反思阶段」——这些 Token 需要被进一步评估其价值。
第二维度：最终正确性奖励
如果模型的最终答案是正确的，给予正向奖励。这一维度与传统方法保持一致，确保模型始终以「给出正确答案」为首要目标。
第三维度：反思效率约束——RIRM 的核心创新
这是 RIRM 最关键的部分。对于首次正确答案之后的反思阶段，RIRM 会根据反思内容的「实际价值」来分配差异化的奖励信号：
如果反思阶段引入了真正的新证据、新验证路径或者纠正了之前推理中的潜在错误，这种反思是有价值的，给予适度的正向奖励或至少不施加惩罚。
如果反思阶段只是在重复已有结论、进行无新信息的格式化表述，或者在没有任何新证据的情况下尝试推翻正确答案，这种反思是冗余的甚至有害的，施加负奖励（惩罚）。
此外，如果反思步骤的数量落在一个预设的合理区间内，模型还会获得额外的效率奖励——这鼓励模型形成「适度反思、及时收手」的行为模式。
以下伪代码展示了 RIRM 的核心逻辑：
def compute_rirm_reward(output_sequence, ground_truth):
"""
RIRM 奖励计算的简化伪代码
莫潇羽@无忆研习社 (www.wuyi.wiki)
"""
# 步骤1：从输出序列中定位首次正确答案
first_correct_pos = find_first_correct_answer(output_sequence, ground_truth)
# 步骤2：计算最终答案的正确性奖励
final_answer = extract_final_answer(output_sequence)
correctness_reward = 1.0 if is_correct(final_answer, ground_truth) else -1.0
# 步骤3：计算反思阶段的效率奖励/惩罚
reflection_penalty = 0.0
if first_correct_pos is not None:
# 提取首次正确答案之后的所有内容
reflection_tokens = output_sequence[first_correct_pos:]
reflection_length = len(reflection_tokens)
total_length = len(output_sequence)
# 判断反思内容是否包含有价值的新信息
has_new_info = analyze_novelty(reflection_tokens, output_sequence[:first_correct_pos])
# 如果反思过长且没有引入新信息，施加与长度成正比的惩罚
if reflection_length > reasonable_threshold and not has_new_info:
reflection_penalty = -alpha * (reflection_length / total_length)
# 如果反思步骤在合理区间内，给予效率奖励
if min_steps <= count_reflection_steps(reflection_tokens) <= max_steps:
efficiency_bonus = beta
else:
efficiency_bonus = 0.0
# 步骤4：综合三个维度的奖励
total_reward = correctness_reward + reflection_penalty + efficiency_bonus
return total_reward莫潇羽@无忆研习社 提醒：上面的伪代码做了大量简化，旨在帮助读者理解核心逻辑。实际的 RIRM 实现要复杂得多，涉及答案提取器的精确设计、奖励权重系数的调优、与 RL 训练循环的集成、以及针对不同任务类型的适配。感兴趣的朋友可以阅读原始论文获取完整的技术细节。
3.3 RIRM 的实际训练效果：数据胜于雄辩
RIRM 的效果在实验数据中体现得非常直观。以 Yuan 3.0 Flash 40B 的 SFT 基座模型为基准，对比引入 RIRM 前后的 RL 训练结果：
MATH-500 基准：
|
评估指标 |
使用 DAPO 长度惩罚（基线） |
使用 RIRM |
变化幅度 |
|
准确率 |
83.20% |
89.47% |
+6.27 个百分点 |
|
平均输出 Token 数 |
3362 |
1777 |
-47.1% |
|
反思阶段 Token 占比 |
71.6% |
28.4% |
-43.2 个百分点 |
数据中有一个非常重要的发现——准确率不降反升了 6.27 个百分点。这说明什么？说明那些被砍掉的 Token 不仅是无效的，甚至可能是有害的——它们在某些情况下会干扰模型的最终判断。RIRM 通过抑制这些冗余反思，反而让模型的「最终答案」变得更准确了。
团队还在更小的模型上进行了验证——使用 DeepSeek-R1-Distill-1.5B（一个 1.5B 参数的蒸馏模型）应用 RIRM 后，效果更加显著：
- 总体 Token 消耗减少了高达 64.09%
- 反思阶段的 Token 消耗暴降 90.58%
- 与此同时，准确率提升了最高 52.37%
这组小模型实验尤其有说服力，因为它说明 RIRM 不是只对某一个特定模型有效的「特殊技巧」，而是一个具有普适性的方法——无论是 1.5B 的小模型还是 40B 的大模型，都能从中受益。
3.4 RIRM 的深层意义
RIRM 的价值不仅仅在于省了多少 Token 或提高了多少准确率。从更宏观的角度看，它代表了一种对「什么是好的推理」的认知转变。
过去，我们倾向于认为「推理过程越长越好」——长推理意味着模型在认真思考，意味着答案更可靠。这种认知来源于人类的直觉——毕竟在考试时，详细展示解题过程通常能拿到更高的分数。
但 RIRM 告诉我们，在机器推理的语境下，这种直觉可能是错误的。对于机器来说，最优的推理策略不是「想得最久」，而是「在正确的时机给出正确的答案后适时停止」。
当模型学会了这种策略，Token 就不再只是被动生成的文字片段，而是成为了模型内部可以感知和调节的计算资源。模型开始进行一种隐式的成本-收益分析：每多生成一个 Token 的边际收益是多少？当边际收益趋近于零甚至变为负数时，停止生成就是最优策略。
这实质上标志着推理范式的一次重要转变：从模仿人类冗长外显的思维过程，转向以最小 Token 预算达成最高正确性的效用导向推理形态。
四、RAPO 深度拆解：支撑高效训练的系统级优化框架
如果说 RIRM 定义了模型「该学什么」（什么时候停止反思），那么 RAPO（Reflection-aware Adaptive Policy Optimization，反思感知自适应策略优化）则解决了模型「怎么高效地学」的问题。RAPO 不是一个单一技术，而是一个包含多个协同模块的系统性训练优化框架。
4.1 为什么仅有 RIRM 不够？
你可能会问：既然 RIRM 已经设计好了奖励信号，为什么还需要 RAPO 这个训练框架？直接用标准的 PPO 或 GRPO 算法来训练不就行了吗？
答案是：在理论上可以，但在实践中会遇到一系列严重问题，特别是在大规模 MoE 模型上。这些问题包括以下几个关键挑战：
挑战一：训练效率低下。 在 RL 训练中，模型需要对每个训练问题生成多个候选回答（rollouts），然后根据奖励信号更新策略。问题在于，很多训练样本对模型来说已经「太简单了」——模型每次都能轻松答对，这些样本提供的学习信号几乎为零，但仍然消耗了大量的 GPU 计算资源。
挑战二：MoE 架构的梯度稳定性问题。 MoE 架构中的路由机制使得不同专家接收到的训练信号差异很大，加之 RIRM 引入的反思抑制奖励进一步增加了奖励信号的复杂性，很容易导致梯度爆炸，使训练过程变得不稳定甚至完全崩溃。
挑战三：多任务目标的潜在冲突。 Yuan 3.0 Flash 需要同时具备「深度推理」和「高效表达」两种能力——前者要求模型在面对困难问题时能够展开充分的思维链，后者要求模型在面对简单问题时能够直接给出答案而不产生冗余输出。这两个目标在训练时可能互相干扰。
挑战四：大模型的收敛困难。 40B 参数的 MoE 模型，其参数空间极其庞大。标准的 RL 算法在这样巨大的参数空间中往往难以稳定收敛，可能出现策略震荡、灾难性遗忘等问题。
RAPO 就是为了系统性地解决以上所有挑战而设计的。
4.2 RAPO 的四大核心技术模块
模块一：自适应动态采样（Adaptive Dynamic Sampling, ADS）
ADS 解决的是训练效率问题。它的核心思想是：不要在模型已经掌握的「简单题」上浪费训练资源。
在每个训练 batch 中，ADS 的工作流程如下：首先，让模型对当前 batch 中的所有问题进行多次采样生成。然后，统计每个问题的「信息量」——如果模型在多次采样中几乎每次都答对，说明这个问题对模型来说已经没什么挑战了，信息量接近零。最后，将这些低信息量的样本从当前 batch 的梯度更新中过滤掉，让模型把有限的学习能力集中在那些「半懂不懂」的有挑战性的样本上。
这种动态过滤机制是逐 batch 实时进行的——随着训练的推进，模型会越来越强，之前有挑战性的问题也会逐渐变得简单，ADS 会自动将它们从训练集中淘汰，始终确保模型在最有价值的样本上学习。
实测数据显示，ADS 使得 RL 训练的整体效率提升了 52.91%——达到同样的训练效果，所需的计算资源和时间不到原来的一半。
模块二：80/20 高熵 Token 更新规则
这个模块基于一个朴素但有效的洞察：并非模型输出中的每一个 Token 都需要同等程度的梯度优化。
在推理过程中，有些 Token 的生成几乎是确定性的——比如数学表达式中的运算符、固定格式的标记词等。模型对这些 Token 的预测熵（Entropy）很低，说明它已经非常确信该输出什么了，这些 Token 的梯度信号信息量极小。
相比之下，那些关键的推理步骤——比如选择哪种解题方法、中间结论的推导方向、是否需要回溯修正——模型的预测熵通常较高，说明它还不太确定，这些才是真正需要优化的「痛点」。
80/20 规则的操作方式是：在每个训练步骤中，计算模型输出中每个 Token 位置的预测熵，然后只对熵值排名前 20% 的 Token 执行梯度计算和参数更新，其余 80% 的 Token 跳过。这大幅减少了每步训练的计算量，同时几乎不影响最终模型性能。
模块三：策略-值函数双剪裁机制（Dual Clipping）
这
