快速摘要
GigaBrain-0.5M* 是一款基于世界模型条件驱动的 VLA（视觉-语言-动作）大模型，通过名为 RAMP 的强化学习框架，让机器人能够"预见未来"并据此做出更优决策。 该模型在超过一万小时的机器人操作数据上预训练，其中六成由自研世界模型 GigaWorld 合成生成。在折叠衣物、冲煮咖啡、折叠纸盒等高难度长时程任务中，GigaBrain-0.5M* 实现了接近 100% 的任务成功率，相较此前业界标杆方法 RECAP 提升约 30 个百分点。它还创新性地引入了人在回路（Human-in-the-Loop）的持续学习机制，形成"行动—反思—进化"的闭环迭代。如果你对具身智能、VLA 模型或世界模型感兴趣，往下看有更详细的原理拆解和技术剖析。
—— 莫潇羽@无忆研习社（www.wuyi.wiki）
一、写在前面：为什么具身智能需要"世界模型"
莫潇羽在这里先跟大家聊一个核心问题——为什么现在具身智能领域越来越离不开"世界模型"这个概念？
想象一下，你在叠一件衣服。你的大脑不仅仅是在看当前衣服的状态，同时还在"脑补"接下来几步操作之后衣服会变成什么样子。你能预判如果从这个角度折过去，领口会不会卡住；如果用力过大，布料会不会滑落。这种对未来状态的预测能力，正是人类完成复杂操作的关键认知优势。
而传统的机器人控制策略，包括当前主流的 VLA 模型，大多采用的是"看到什么就做什么"的模式——基于当前观测直接预测下一步动作。这种方式在简单的短时任务中表现尚可，但一旦面对需要多步骤协调、长时间持续执行的复杂任务（比如从头到尾完成一杯意式咖啡的制备），就容易出现累积误差和决策飘移。
这就是世界模型（World Model）登场的意义所在。世界模型本质上是一个能够预测"如果执行某个动作，环境会变成什么样"的内部模拟器。它赋予机器人一种"想象未来"的能力，使其在做决策时不再只是单纯的反射式反应，而是具备前瞻性的规划思维。
GigaBrain-0.5M* 正是将这种理念付诸实践的代表性成果。 接下来，莫潇羽@无忆研习社 将从技术原理、架构设计、训练方法到实验效果，为大家做一次全方位的深度拆解。
二、VLA 模型基础知识：什么是视觉-语言-动作模型
在深入了解 GigaBrain-0.5M* 之前，我们有必要先厘清一些基础概念。
2.1 VLA 的定义与演进
VLA，全称 Vision-Language-Action Model（视觉-语言-动作模型），是具身智能领域近两年迅速崛起的核心范式。简单来说，VLA 就是一个将"看到的画面"（Vision）、"听到的指令"（Language）和"要执行的动作"（Action）统一在同一个模型框架中的系统。
VLA 的发展可以粗略分为几个阶段：
- 基础融合阶段（2022—2023年）：以 Google 的 RT-1、RT-2 为代表，通过大规模模仿学习验证了"大模型 + 真实机器人数据"这条路的可行性。RT-1 在操作任务中一度达到了 97% 的成功率，但仅限于特定的简单场景。
- 专用化与推理增强阶段（2024年）：OpenVLA 发布了 70 亿参数的开源模型，Physical Intelligence 推出了基于流匹配（Flow Matching）的 π0 系列。这一阶段的特点是开始关注空间推理和长时程任务的链式思考能力。
- 强化学习自我进化阶段（2025—2026年）：以 Physical Intelligence 的 π*0.6 和本文的主角 GigaBrain-0.5M* 为代表。这一阶段的核心突破在于——模型不再仅仅从人类示范中学习，而是能够从自己的实践经验中持续进化。
根据 ICLR 2026 的投稿统计，VLA 相关论文数量从 2024 年的 1 篇暴增至 164 篇，足以说明这个方向的研究热度。
2.2 VLA 的基本工作原理
为了让零基础的读者也能理解后续的技术分析，莫潇羽在这里用一个通俗的类比来解释 VLA 的基本工作原理。
你可以把 VLA 模型想象成一个"全能型员工"的大脑。这个员工需要同时具备三种能力：
第一种是看的能力（Vision）。VLA 通过摄像头接收环境图像，利用视觉编码器（通常是预训练的大规模图像模型，如 DINOv2 或 SigLIP）将图像转化为机器可理解的特征向量。这一步相当于员工用眼睛观察工作台面上有什么物体、物体在什么位置、处于什么状态。
第二种是听和理解的能力（Language）。VLA 接收自然语言指令（比如"请帮我把这件衬衫叠好"），通过语言编码器将其转化为任务意图的向量表示。这一步让机器人知道自己当前应该做什么。
第三种是做的能力（Action）。VLA 的动作解码器将视觉特征和语言特征融合后，输出具体的控制信号——通常是机械臂各关节的角度、末端执行器的位置和力度等。现代 VLA 模型通常采用"动作块"（Action Chunk）的方式一次性输出未来多个时间步（比如 16 步或 32 步）的动作序列，然后在执行完一个 chunk 后再根据新的观测生成下一个 chunk。
在技术实现上，大多数 VLA 模型基于 Transformer 架构，将视觉 token、语言 token 和动作 token 统一到同一个序列中进行处理。这种统一处理的方式使得模型可以在不同模态之间建立丰富的关联——比如理解"红色杯子"这个语言概念和图像中那个红色物体的对应关系，以及如何控制手臂去抓取它。
如果用更具体的技术语言描述 VLA 的一个推理周期：
VLA 单次推理流程（简化示意）
──────────────────────────────────────────
1. 相机采集当前帧 RGB(-D) 图像 → image
2. 视觉编码器提取图像特征 → visual_tokens
3. 语言编码器编码任务指令 → language_tokens
4. Transformer 融合处理 → fused_representation
5. 动作解码器输出动作块 → action_chunk[t:t+k]
6. 控制器执行 k 步动作
7. 回到步骤 1，采集新帧
──────────────────────────────────────────理解了这个基本流程之后，我们就能更好地体会 GigaBrain-0.5M* 的创新之处——它在步骤 3 和步骤 4 之间插入了一个额外的环节：世界模型对未来状态的预测。这个预测结果会和视觉 token、语言 token 一起被送入 Transformer 进行融合处理，从而使最终的动作决策更加精准。
2.3 VLA 面临的核心挑战
尽管 VLA 发展迅猛，但依然面临几个关键瓶颈：
- 数据瓶颈：真实机器人操作数据的采集极其昂贵。一台机器人在实验室环境中 24 小时不间断工作，一年下来也只能收集几千小时的有效数据，远不足以覆盖现实世界中千变万化的场景。
- 累积误差：基于模仿学习的策略会出现所谓的"复合误差"（Compounding Error）——前一步的微小偏差会在后续步骤中不断放大。就好比新手司机刚开始只是方向盘稍微偏了一点，但如果不及时纠正，几秒后车就可能偏离车道。
- 缺乏未来预判：传统 VLA 模型只关注当前观测到的状态，缺少对未来状态的预测能力。这导致它在面对需要多步规划的长时程任务时表现不稳定。
- 自我改进能力弱：大多数 VLA 模型的能力上限被训练数据所限制，缺少从部署经验中自我提升的机制。
GigaBrain-0.5M* 正是针对上述挑战给出的一套系统性解决方案。 莫潇羽@无忆研习社 认为，它的核心贡献并不是某一个单点的技术创新，而是将世界模型、强化学习和人在回路机制有机整合成一个闭环的自进化体系。
三、GigaBrain 技术演进路线：从 0 到 0.5M*
在分析 GigaBrain-0.5M* 之前，有必要先了解一下它的技术谱系。
3.1 GigaBrain-0：世界模型驱动的 VLA 开山之作
GigaBrain-0 是整个体系的基础版本，其核心创新在于将世界模型生成的合成数据大规模引入 VLA 训练。
传统 VLA 训练几乎完全依赖真实机器人采集的操作数据，而 GigaBrain-0 借助自研的世界模型平台 GigaWorld，能够自动生成包含纹理迁移、视角变换、人手到机械臂映射等多种变体的高保真合成数据。这些合成数据与真实数据混合训练后，模型在外观泛化（不同纹理、颜色）、位置泛化（不同物体摆放）和视角泛化（不同相机角度）方面都取得了显著提升。
在架构层面，GigaBrain-0 引入了两个重要的技术模块：
- RGBD 输入建模：在传统 RGB 三通道图像基础上增加了深度通道（Depth），使模型能够更准确地感知三维空间结构和物体距离。
- 具身思维链（Embodied Chain-of-Thought, CoT）：类似于 ChatGPT 的"链式推理"，但这里的推理不是关于文本逻辑，而是关于空间几何、物体状态和操作步骤的具身推理。
GigaBrain-0 在灵巧操作（如叠衣服、准备纸巾）、长时程任务（如果汁制备、餐桌清理）和移动操作（如搬运箱子、移动洗衣篮）等多类任务上都展现了优于同期 π0 模型的性能。
3.2 GigaBrain-0.1：登顶 RoboChallenge
GigaBrain-0.1 是 GigaBrain-0 的迭代升级版本，将训练数据规模从约 1000 小时扩展到了超过 10000 小时。更大的数据规模配合架构上的持续优化，使得 GigaBrain-0.1 在 RoboChallenge 国际基准上以 51.67% 的平均成功率拿下了榜首位置，比 Physical Intelligence 的 π0.5 高出约 9 个百分点。
3.3 GigaBrain-0.5 与 0.5M*：世界模型强化学习的新范式
GigaBrain-0.5 在 0.1 的基础上进一步扩展了预训练数据的多样性和规模，而 GigaBrain-0.5M* 则是在 0.5 之上叠加了 RAMP 强化学习框架的完整版本——"M*"中的 M 代表 Model（世界模型），星号代表经过强化学习优化后的策略。
可以用一张简表来梳理演进关系：
GigaBrain 技术演进路线
──────────────────────────────────
GigaBrain-0 │ 世界模型合成数据 + RGBD + 具身CoT
↓
GigaBrain-0.1 │ 数据扩展至万小时 → RoboChallenge 第一
↓
GigaBrain-0.5 │ 进一步预训练优化
↓
GigaBrain-0.5M* │ + RAMP 世界模型强化学习 → 自我进化
──────────────────────────────────四、核心方法解析：RAMP 强化学习框架
接下来是本文最关键的部分——莫潇羽@无忆研习社 将为大家深入拆解 GigaBrain-0.5M* 的核心方法 RAMP 框架。
4.1 RAMP 是什么
RAMP 的全称是 Reinforcement leArning via world Model-conditioned Policy，翻译过来就是"基于世界模型条件策略的强化学习"。这个名字已经高度概括了它的核心思路：
用世界模型对未来的预测结果作为额外的条件信息输入到策略网络中，然后通过强化学习的方式迭代优化整个系统。
为了帮助大家更好地理解，莫潇羽在这里打一个比方：
假设你是一个快递员，你每天的工作是规划送货路线。
- 没有世界模型的传统 VLA：就像你每到一个路口才开始看导航，完全根据当前位置做决策。遇到堵车你可能会反复绕路。
- 有世界模型的 RAMP：就像你在出发前先用高德地图模拟了一遍全程的交通状况，提前知道哪里可能堵车、哪条路更顺畅，然后带着这个"未来预判"来做实时决策。
这个比喻虽然简化了很多技术细节，但抓住了 RAMP 的本质——将世界模型的预测能力注入到动作决策过程中。
4.2 RAMP 的四阶段迭代训练范式
RAMP 采用的是一个迭代式的四阶段闭环训练流程，每一轮迭代都会让模型变得更强。下面我们逐一展开：
第一阶段：世界模型预训练
在这个阶段，系统首先在大规模的机器人操作数据上训练世界模型。世界模型需要学会两件事：
- 预测未来状态：给定当前的视觉观测和即将执行的动作，预测环境在下一时刻会变成什么样子。
- 评估价值：对预测出的未来状态进行"好坏打分"，即估计从当前状态出发，成功完成任务的可能性有多大。
世界模型的预测并不是逐帧生成未来画面（那会非常慢），而是在一个紧凑的隐空间（Latent Space）中进行快速的单步降噪推理。这种设计使得世界模型能够在 0.25 秒内完成一帧的状态预测和价值评估，在保证精度的同时兼顾了实时性。
用伪代码来理解这个过程：
# 第一阶段：世界模型预训练（简化概念示意）
class WorldModel:
def predict_future(self, current_obs, action):
"""
输入：当前观测 + 计划执行的动作
输出：预测的未来状态隐变量 + 该状态的价值评估
"""
# 编码当前观测到隐空间
z_current = self.encoder(current_obs)
# 在隐空间中预测未来状态
z_future = self.dynamics_model(z_current, action)
# 评估未来状态的价值
value = self.value_head(z_future)
return z_future, value
# 训练目标：让预测的未来状态尽可能接近真实未来
# 让价值评估尽可能准确反映任务完成的可能性注意，上面的代码仅用于概念说明，并非官方的实际实现。真实的世界模型内部结构要复杂得多，涉及视频扩散模型的时空注意力机制等前沿技术。但核心逻辑是一致的：学会预测未来，学会评估价值。
第二阶段：世界模型条件化策略微调
第一阶段训练好世界模型之后，第二阶段的目标是让策略网络（即 VLA 模型中负责输出动作的部分）学会"利用"世界模型的预测信息。
具体来说，在推理时：
- 世界模型接收当前观测，生成对未来若干步的状态预测和价值评估。
- 这些预测结果被打包成条件信息（Conditioning Signal），与当前观测一起输入到策略网络中。
- 策略网络在"看到未来"的辅助下，输出经过优化的动作序列。
这就好比一个棋手在走每一步之前都先在脑海中模拟了未来几步的局面，然后再决定最优走法。世界模型提供的是一种"认知先验"——它告诉策略网络，如果你执行这组动作，未来大概率会发展成什么样子，这个发展方向好不好。
第三阶段：真实环境部署与轨迹采集
把经过世界模型条件化的策略部署到真实机器人上，让它实际去执行任务。在执行过程中，有人类操作员在一旁"监督"——这就是所谓的 人在回路（Human-in-the-Loop, HIL）机制。
人在回路的具体运作方式是：
- 机器人在大部分时间里自主执行任务。
- 当人类操作员观察到机器人即将犯严重错误时（比如要把咖啡洒在桌上），可以介入进行修正。
- 所有的执行轨迹——包括机器人自主完成的成功轨迹、失败轨迹，以及人类修正后的轨迹——都会被完整记录下来。
这批轨迹数据经过人工筛选和标注后，就成为了下一轮训练的宝贵素材。相比纯粹的自主采集，人在回路机制的优势在于：既保证了数据的多样性（机器人会遇到各种出错情况），又通过人工修正提供了"正确示范"，两者结合大大提升了数据质量。
莫潇羽@无忆研习社 想特别指出，人在回路机制的设计体现了一种务实的工程思维。理想状态下，我们当然希望机器人能完全自主地从失败中学习。但在当前技术条件下，机器人的探索效率还不够高，如果完全放任自主探索，可能需要成千上万次尝试才能碰巧找到正确的操作方式。而有了人类的适时介入，学习效率可以大幅提升——人类操作员相当于在关键时刻给机器人"指了一下路"，让它不至于在错误方向上浪费太多时间。
这种人机协作的学习模式，某种程度上类似于人类世界中的"师徒制"——学徒在大部分时间里自己练习，师傅只在学徒要犯大错的时候出手纠正。随着学徒经验的积累，需要师傅介入的频率会越来越低，最终实现完全独立操作。在 RAMP 框架中，这个过程通过迭代训练来实现——每一轮迭代之后，策略的能力都会提升，下一轮部署中需要人类干预的频率自然就降低了。
第四阶段：联合优化与持续进化
收集到新的轨迹数据后，系统同时对世界模型和策略网络进行联合更新：
- 世界模型利用新数据进一步校准自己对未来的预测能力——因为真实环境的反馈比任何合成数据都更有说服力。
- 策略网络基于更新后的世界模型条件信号和新的成功/失败经验，持续优化自己的决策逻辑。
然后，整个流程回到第三阶段，开始新一轮的部署和数据采集。每一轮迭代，世界模型的预测更准、策略的决策更优、采集到的数据质量更高——形成了一个正向的螺旋上升。
用流程图来表示这个闭环：
┌─────────────────────────────────────────────────────┐
│ RAMP 四阶段闭环 │
│ │
│ ┌──────────┐ ┌──────────┐ ┌──────────┐ │
│ │ 第一阶段 │───→│ 第二阶段 │───→│ 第三阶段 │ │
│ │世界模型 │ │策略微调 │ │真实部署 │ │
│ │预训练 │ │(条件化) │ │+ HIL采集 │ │
│ └──────────┘ └──────────┘ └────┬─────┘ │
│ ↑ │ │
│ │ ┌──────────┐ │ │
│ └──────────│ 第四阶段 │←────────┘ │
│ │联合优化 │ │
│ │+ 持续进化 │ │
│ └──────────┘ │
│ │
│ 每轮迭代：预测更准 → 决策更优 → 数据更好 → 循环上升 │
└─────────────────────────────────────────────────────┘4.3 RAMP 与 RECAP 的对比
说到 RAMP，就不得不提它的直接对标方法——Physical Intelligence 在 π*0.6 中提出的 RECAP（RL with Experience and Corrections via Advantage-conditioned Policies）。
RECAP 同样是一种将额外条件信息注入 VLA 策略的方法，但它的条件信息是"优势值"（Advantage），即某个动作相对于平均水平是好是坏。而且 RECAP 使用的是非常稀疏的信号——通常只是 0 或 1 的二元标注（这个动作好/不好）。
RAMP 和 RECAP 的核心区别在于条件信息的丰富程度：
RECAP RAMP
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
条件信号 │ 稀疏优势值（0或1） │ 未来状态隐变量 + 价值评估
信息维度 │ 1维标量 │ 高维向量
信息来源 │ 离线奖励标注 │ 世界模型实时预测
未来感知 │ 无 │ 有（显式建模未来状态）
理论关系 │ — │ RECAP 是 RAMP 的特例
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━论文中还给出了一个有趣的理论分析——RECAP 实际上可以被视为 RAMP 的一个特殊情况。当世界模型退化为只输出二元价值信号（而非完整的未来状态预测）时，RAMP 就等价于 RECAP。换言之，RAMP 是 RECAP 的一种更一般化、信息更丰富的扩展。
从实验数据来看，这种信息丰富度的差异直接反映在了性能上——RAMP 在叠衣服、装箱打包、咖啡制备等任务上的成功率比 RECAP 高出约 30 个百分点。
五、世界模型的价值预测机制
世界模型在 GigaBrain-0.5M* 中扮演的角色不仅仅是一个"数据生成器"，更重要的是它在推理阶段提供的实时价值预测能力。
5.1 什么是价值预测
在强化学习的语境下，"价值"（Value）指的是从当前状态出发，预计未来能够累积获得的总奖励。直白地说，就是"从现在开始到任务结束，我还有多大概率能成功完成任务"。
对于一个叠衣服的任务来说，价值预测的变化可能是这样的：
- 任务刚开始，衣服摊在桌上，价值处于一个中等水平（任务还没开始做，但也没出问题）。
- 机械臂开始调整衣物姿态，价值可能会有一些波动（因为某些调整动作暂时看不到进展）。
- 当衣物被成功摆正进入叠放阶段，价值开始稳步上升。
- 如果中途出现意外干扰（比如有人在桌上放了个杯子挡住了操作空间），价值会骤降。
- 干扰被排除后，价值迅速恢复上升趋势。
这种与任务进程高度对齐的价值变化曲线，正是世界模型提供的"认知先验"在发挥作用——它让策略网络能够实时感知"当前任务进展到哪一步了""现在的状况好不好"。
5.2 三种价值预测方案的对比
GigaBrain-0.5M* 的论文对比了三种不同的价值预测方案：
方案一：基于视觉语言模型（VLM-based）
这是 π*0.6 采用的方案，使用一个完整的视觉语言模型（如 SigLIP 视觉编码器 + 语言模型）来评估当前画面的任务完成价值。优点是精度尚可，但缺点是延迟很高——在 A800 GPU 上每帧需要 0.32 秒，对于需要实时决策的机器人任务来说太慢了。
方案二：基于世界模型仅价值预测（WM-based, value only）
只使用世界模型的价值评估头来输出价值，不生成未来状态。推理速度最快（0.11 秒/帧），但由于缺少未来状态的时序上下文支撑，预测精度较低（MAE = 0.0838, Kendall τ = 0.7288）。
方案三：基于世界模型的状态+价值联合预测（WM-based, state+value）
这是 GigaBrain-0.5M* 最终采用的方案。世界模型先生成未来状态的隐变量，再基于该隐变量预测价值。由于有了对未来的显式建模作为支撑，价值预测的精度达到了三个方案中最高（Kendall τ = 0.8018, MAE = 0.0621），同时推理速度（0.25 秒/帧）也处于可接受范围内。
用一张对比表来总结：
价值预测方案对比
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
方案 │ 延迟(s/帧) │ MAE↓ │ Kendall τ↑
─────────────┼───────────┼─────────┼───────────
VLM-based │ 0.32 │ — │ —
WM(仅价值) │ 0.11 │ 0.0838 │ 0.7288
WM(状态+价值)│ 0.25 │ 0.0621 │ 0.8018 ✓
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━方案三之所以能在精度上胜出，关键在于单步降噪机制——世界模型不需要做多步递归预测（那样误差会累积），而是通过一步降噪直接从噪声分布中恢复出未来状态的隐变量。这种设计巧妙地平衡了预测精度和计算效率。
六、训练数据体系：万小时级的多模态数据
莫潇羽@无忆研习社 特别想强调数据这个部分，因为在深度学习时代，模型能力的上限往往由数据质量和规模决定。
6.1 数据规模与构成
GigaBrain-0.5M* 的基座模型 GigaBrain-0.5 基于总计 10931 小时的多样化机器人操作数据进行预训练。这个数据量是什么概念？如果一台机器人每天工作 8 小时不停地采集数据，大约需要 3.7 年才能积累这么多数据。
但实际上，这些数据并非全部来自真实机器人。数据构成为：
- 合成数据（61%，约 6653 小时）：由自研的世界模型平台 GigaWorld 生成。
- 真实数据（39%，约 4278 小时）：来自自有机器人平台和公开数据集（如 AgiBotWorld、RoboMind、Open X-Embodiment 等）。
这种合成数据与真实数据相结合的策略背后有着深思熟虑的考量。
6.2 GigaWorld 合成数据引擎
GigaWorld 是整个 GigaBrain 体系的数据基础设施，它本质上是一个统一的世界模型框架，包含两个协同工作的子系统：
GigaWorld-Video 子系统负责基于视频生成技术合成视觉丰富的操作序列。它可以精细控制生成数据的外观、相机视角和动作语义，从而产出在视觉维度上极其多样化的训练样本。比如，一段机械臂抓取杯子的操作，GigaWorld-Video 可以自动生成这个动作在不同灯光条件、不同桌面纹理、不同相机角度下的数百个变体版本。
GigaWorld-3D 子系统则侧重于几何一致性和物理真实性。它结合了 3D 生成建模、3D 高斯溅射（Gaussian Splatting）重建、物理可微系统辨识和可执行运动规划等技术，确保合成数据不仅"看起来真"，而且在空间关系和物理规律上也是合理的。
两个子系统的协同工作使得最终合成的数据同时满足视觉多样性和物理合理性的要求。
6.3 合成数据的具体类型
GigaWorld 生成的合成数据涵盖多种类型，莫潇羽在这里为大家做一个梳理：
- 纹理迁移数据：保持操作动作不变，只改变场景中物体和背景的纹理外观。这帮助模型学会"不以貌取物"——不管桌子是木纹的还是大理石的，杯子是白色的还是花纹的，同样的操作策略都应该有效。
- 视角变换数据：同一段操作在不同相机位置和角度下的重新渲染。这增强了模型对观察角度变化的鲁棒性。
- 人手到机械臂映射数据：将人类执行操作的视频"翻译"成机械臂执行同样操作的视频。这是一种跨形态的数据增强，大大扩展了可利用的训练素材范围。
- Sim2Real 迁移数据：在仿真环境中生成操作轨迹，然后通过风格迁移技术使其在视觉上接近真实环境。
6.4 为什么合成数据如此重要
真实机器人数据的采集存在一个典型的"长尾问题"——常见场景的数据很容易大量获取，但那些低频但重要的边界情况（比如物体在极端位置、异常光照条件下的操作）却很难通过自然采集覆盖到。
GigaWorld 的合成数据引擎恰好能够针对性地解决这个问题。通过可控的参数化生成，研究者可以有意识地补充那些在真实采集中难以遇到的场景变体，从而使训练数据的分布更加均匀、覆盖更加全面。
正如该项目团队所强调的，GigaWorld 的定位不仅是一个数据增强工具，更是一种面向通用具身智能的数据基础设施——它致力于从根本上改变具身智能训练数据的获取方式，将"数据靠采集"转变为"数据靠合成 + 采集验证"的新范式。
七、模型架构详解
7.1 整体架构
GigaBrain-0.5M* 的整体架构可以概括为一个"世界模型条件化的 VLA"。它并不是简单地把世界模型和 VLA 拼接在一起，而是通过精心设计的条件注入机制实现了两者的深度融合。
从数据流的角度来看，整个推理过程大致如下：
推理时的数据流
═══════════════════════════════════════════
┌────────────────┐
│ 当前视觉观测 │ （RGB-D 图像）
│ + 语言指令 │ （文本描述任务目标）
└───────┬────────┘
│
┌────────┴────────┐
↓ ↓
┌──────────┐ ┌──────────┐
│ 世界模型 │ │ VLA 策略 │
│ │ │ 网络 │
│ 预测未来 │ │ │
│ 状态+价值 │─────→│ 条件注入 │
│ │ │ │
└──────────┘ └────┬─────┘
│
↓
┌────────────────┐
│ 输出动作序列 │ （机械臂关节角度等）
└────────────────┘世界模型和 VLA 策略网络是并行工作的——世界模型负责"想象未来"，策略网络负责"决策行动"，世界模型的输出作为条件信息注入策略网络，帮助策略做出更有前瞻性的决策。
7.2 世界模型内部架构
世界模型的核心是一个基于视频扩散模型（Video Diffusion Model）的架构，但它被改造用于在隐空间中进行快速预测，而非生成高分辨率的视频帧。
它在网络规模的视频数据上进行了预训练，从而具备了强大的时空推理能力——能够理解物体的运动规律、遮挡关系、物理约束等。在下游的机器人操作场景中，这些通用的物理常识为准确的未来状态预测奠定了基础。
世界模型的输出包含两部分：
- 未来状态隐变量（Future State Latent）：一个高维向量，编码了对未来若干时间步环境状态的压缩表示。
- 价值估计（Value Estimate）：一个标量值，表示从当前状态开始成功完成任务的预期概率。
7.3 策略网络与条件注入
策略网络本质上就是一个多模态的 Transformer 架构，接收视觉 token、语言 token 以及世界模型提供的条件 token，输出连续的动作序列（通常是以"动作块" / Action Chunk 的形式，一次性预测未来多个时间步的动作）。
条件注入的方式可以理解为在策略网络的输入中增加了一组特殊的"提示信息"。这些提示信息告诉策略网络："世界模型认为，如果你沿着当前方向继续操作，未来会变成这个样子，价值是这么多。"策略网络可以据此调整自己的动作输出——如果世界模型预测
