莫潇羽@无忆研习社（www.wuyi.wiki）原创，转载请注明出处。
快速摘要
多模态大模型虽然已经能同时接收视频和音频输入，但真正「听懂声音、看懂画面、并理解两者之间的关系」一直是个未解难题。 Meta 联合马里兰大学等多所高校发布了首个可规模化自动生成第一视角音视频理解数据的引擎 EgoAVU，它不是一个新的模型架构，而是一套完整的数据生产系统——能自动从现有的第一视角视频中提取、增强、关联音频与视觉信息，最终生成 300 万条高质量跨模态训练数据。经实验验证，使用 EgoAVU 生成的数据对模型进行微调后，在音视频理解基准测试上性能最高提升 113%。 该论文已被计算机视觉领域顶级会议 CVPR 2026 接收。往下看，莫潇羽将为你详细拆解这套数据引擎的工作原理、四大核心组件、五类训练任务，以及如何利用开源资源进行复现和实操。
一、问题的起点：为什么现在的多模态模型「只会看，不会听」？
在过去两三年里，以 GPT-4o、Gemini、Qwen-Audio 为代表的多模态大语言模型（Multimodal Large Language Models，简称 MLLMs）取得了令人瞩目的进展。从技术架构层面来看，这些模型已经具备了同时接收文本、图像、视频和音频等多种模态输入的能力。然而在实际使用中——特别是在第一视角（Egocentric）视频任务中——研究者发现了一个非常尴尬的现象：模型虽然「接收」了音频信号，但并没有真正「理解」它。
具体来说，当你给模型一段从人的视角拍摄的视频（比如戴着智能眼镜录制的日常活动），并问它「你听到了什么声音？这个声音是从哪里来的？」时，模型往往会出现以下几种典型问题：
- 完全忽略音频信息：模型只关注视觉内容，对背景中的水声、切菜声、对话声充耳不闻，仿佛音频通道根本不存在。
- 用视觉线索「猜」声音：比如看到画面里有一台搅拌机，就直接回答「听到了搅拌机的声音」，而实际上搅拌机可能并没有在运转，真正发出声音的是旁边的水龙头。
- 错误判断声源位置：无法把特定声音和产生它的物体正确关联起来，张冠李戴的情况非常普遍。
- 产生音频幻觉：凭空编造根本不存在的声音事件——比如说听到了「微波炉的提示音」，但视频里完全没有这回事。
这些问题的背后，隐藏着一个更深层的症结。Meta 的研究团队通过系统性的分析指出：问题的根源不在模型本身，而在数据。
为什么这样说呢？因为从模型架构的角度来看，当今主流的多模态大模型在设计上是具备音频处理能力的。以 Qwen2.5-Omni 为例，它内置了专门的音频编码器，能够将原始音频信号转换为模型可以理解的特征表示。InternVL 系列模型同样支持多通道输入。也就是说，模型在技术层面上「有耳朵」——但它们从来没有被正确地「教过怎么用耳朵」。
打个比方：一个孩子天生有正常的听力，但从出生起就被放在一个完全无声的房间里长大。等他长大后，即使你把他放到嘈杂的环境中，他也无法理解那些声音的含义——不是因为他听不见，而是因为他从来没有学过怎么把声音和意义联系起来。当前多模态大模型面临的处境与此类似。
莫潇羽认为，Meta 团队的这个判断非常关键，因为它直接改变了解决问题的思路——与其继续堆模型结构上的复杂度，不如先把数据质量这个基本盘做好。这也是为什么 EgoAVU 不是一个新模型，而是一个数据引擎。
二、数据危机：当前训练数据的三大致命缺陷
要理解 EgoAVU 为什么存在，我们需要先弄清楚当前主流训练数据集到底出了什么问题。根据论文中的分析，无忆研习社（www.wuyi.wiki）的莫潇羽为大家归纳出以下三个核心缺陷：
2.1 视觉中心化严重，音频被边缘化
当前用于训练多模态模型的第一视角视频数据集——比如大名鼎鼎的 Ego4D（由全球 13 所高校联合 Meta AI 共同构建，88 位研究者参与，在全球 9 个国家的 74 个地点采集的超过 3670 小时的第一视角视频）——其标注内容几乎完全围绕视觉信息展开。Ego4D 的数据采集使用了七种不同的头戴式摄像设备（包括 GoPro、Vuzix Blade、Pupil Labs 等），由 923 名参与者在各种日常生活场景中录制。虽然这些视频本身是包含音频轨道的，但标注员在为视频撰写叙述描述时，关注的几乎完全是视觉层面的内容——人拿起了什么、走向了哪里、和什么物体进行了互动。对于同一时间段内的环境音、物体发出的声音、背景噪声等音频信息，要么完全不提，要么只是一笔带过。
在 Ego4D 之后，研究者们还构建了 Ego-Exo4D（同时包含第一和第三人称视角）、EPIC-KITCHENS（专注厨房场景）等衍生数据集，以及 EgoSchema、EgoTempo、MultiHop-EgoQA 等评测基准。但这些后续工作继承了同样的「视觉中心化」倾向——音频始终未能获得应有的关注。
这就好比你在教一个孩子认识厨房：你只指着锅碗瓢盆给他看，却从来不让他听炒菜的滋滋声、水壶烧开的咕噜声、碗碟碰撞的叮当声。这个孩子最终学到的只是「厨房长什么样」，而不是「厨房里会发生什么」。
2.2 缺乏真实的音频语义标注
即使某些数据集包含了音频轨道，也几乎没有对音频内容进行过语义层面的标注。所谓「语义层面」，指的是不仅要知道「这里有声音」，还要知道「这是什么声音」「这个声音意味着什么」「这个声音持续了多久」。
现有的数据集中，音频更多是作为视频文件的「附属品」存在的——它在那里，但没有人告诉模型应该怎么理解它。这种缺失导致模型在训练过程中根本没有机会学到如何解析和理解音频信号的含义。
2.3 跨模态关联标注的空白
这是最致命的一点。即使视觉和音频各自都有了标注，如果没有人把它们「关联」起来，模型依然无法建立跨模态的理解能力。
所谓「跨模态关联」，指的是这样的标注信息：「在第 35 秒，画面中出现的那把刀正在切菜板上的蔬菜，与此同时音频中传来的切割声正是由这个动作产生的」。这种把视觉事件和音频事件精确绑定在一起的标注，在当前的数据集中几乎不存在。
没有跨模态关联标注，模型就像一个在无声电影院里长大的人——他可以理解画面，也许单独能认出一些声音，但他永远无法把两者联系起来，无法理解「看到的」和「听到的」之间的因果关系。
三、EgoAVU 是什么：一套完整的跨模态数据生产系统
面对上述数据困境，Meta 提出的解决方案不是设计一个新的模型架构，而是构建了一个全自动的数据生产引擎——EgoAVU（Egocentric Audio-Visual Understanding）。
莫潇羽@无忆研习社要特别强调一点：EgoAVU 的核心创新在于它是一个数据引擎（Data Engine），而不是一个感知模型。它的任务是从现有的、标注不足的第一视角视频中，自动挖掘和生成高质量的音视频跨模态训练数据。这些数据可以用来微调任何现有的多模态大模型，从而显著提升模型在音视频联合理解任务上的性能。
从宏观角度看，EgoAVU 由四个核心组件组成，它们像流水线上的四个工站一样依次运作：
原始视频（Ego4D 等公开数据集）
↓
① 叙述增强（Narration Enrichment）
↓
② 视频筛选（Token-based Filtering）
↓
③ 跨模态语义建模（Multimodal Context Graph）
↓
④ 任务数据生成（QA & Narration Generation）
↓
高质量训练/评测数据接下来，我们逐一深入每个组件的工作原理。
四、组件一：叙述增强——让原始描述「丰满」起来
4.1 为什么需要增强？
Ego4D 等数据集中的原始叙述（narration）通常是由标注员观看视频后手工撰写的简短文本，例如：
原始叙述示例：
"C picks up the bowl from the counter."
（C 从台面上拿起了碗。）这条叙述只描述了一个视觉动作，完全没有提及环境信息、音频信息、物体细节等上下文。对于训练跨模态理解能力来说，这样的叙述远远不够。
4.2 增强的具体做法
EgoAVU 使用多个开源多模态大语言模型（如 Qwen2.5-Omni、InternVL 等）来对每段视频片段的叙述进行「增强」（Enrichment）。这个过程可以理解为：把原来只有几个字的「简报」扩写成一篇包含多维度信息的「详细报告」。
增强后的叙述通常包含以下几个维度的信息：
- 视觉环境描述：拍摄场景是在厨房、客厅还是户外？光线如何？有哪些物体出现在画面中？
- 动作细节：人物的手部动作、身体姿态、移动方向等。
- 物体属性：物体的颜色、材质、状态（比如锅里的水是否在沸腾）。
- 音频描述：环境中有哪些声音？是连续的还是间歇的？声音的音量、质感如何？
- 人物互动：是否有其他人在场？是否在对话？
增强后叙述示例（模拟）：
"在一个明亮的家庭厨房中，佩戴者站在灶台前。台面上放着一个白色陶瓷碗、
一把木质砧板和几根胡萝卜。佩戴者用右手从台面上拿起碗，同时左手扶着砧板。
背景中可以听到排风扇持续的低频嗡嗡声，以及远处似有其他人在客厅交谈的模糊
说话声。碗被拿起时发出轻微的摩擦声。"通过使用多个不同的开源模型来分别生成音频描述和视觉描述，然后将它们整合在一起，EgoAVU 避免了对任何单一闭源模型（如 GPT-4o、Gemini）的依赖，确保了整个数据生产流程的可复现性和可扩展性。这一点在学术研究中至关重要——因为依赖闭源模型会导致其他研究者无法精确复现实验结果。
值得注意的是，这种多模型协作的叙述增强策略还有一个额外的好处：模型互补性。不同的开源模型在不同方面各有所长——有些模型擅长描述细粒度的视觉物体属性，有些模型对音频场景的理解更为准确，有些模型则在空间关系推理上表现突出。通过综合多个模型的输出，EgoAVU 能够生成比任何单一模型都更全面、更准确的增强叙述。
此外，莫潇羽还注意到论文中的一个重要细节：在增强过程中，系统会对多个模型的输出进行一致性检查——如果不同模型的描述出现了矛盾（比如一个模型说「画面中有一把红色的刀」，另一个模型说「画面中有一把蓝色的刀」），系统会进行进一步的验证和调和，以确保最终输出的叙述在事实层面是准确的。这种质量控制机制对于大规模自动化数据生成来说是不可或缺的。
五、组件二：基于 Token 的视频筛选——找出最有价值的视频片段
5.1 不是所有视频都值得处理
在 Ego4D 这样的大规模数据集中，有大量的视频片段是「单调」的——比如一个人长时间坐着看手机，或者在空旷的走廊里走路。这些片段的音频和视觉信息都很贫乏，即使对它们进行叙述增强和跨模态建模，产出的训练数据质量也不会高。
EgoAVU 设计了一套基于 Token 的筛选机制，用来自动识别和保留那些「音视频信息丰富且多样」的视频片段。
5.2 Token 筛选的原理
具体来说，EgoAVU 对增强后的叙述文本进行 Token 化（分词），然后分析每段视频对应叙述中的 Token 多样性。筛选逻辑大致如下：
- 动作多样性：视频中是否包含多种不同的人物动作（不只是重复同一个动作）？
- 人物-物体交互丰富度：是否有丰富的人与物体之间的互动？
- 音频事件多样性：是否包含多种不同类型的声音（前景音、背景音、环境噪声等）？
那些在上述维度上表现突出的视频片段会被优先选入数据生成流水线，而那些过于单调的片段则会被过滤掉。这种筛选策略确保了最终生成的训练数据既有质量又有多样性——不会出现大量重复或低信息量的样本。
莫潇羽在阅读论文后的理解是：这个筛选步骤看似简单，但对于最终数据质量的影响非常大。数据工程中有一条基本法则——「垃圾进，垃圾出」。如果不对输入视频进行筛选，即使后续的建模和生成环节再精良，产出的训练数据也会被大量低质量样本拖累。
从具体的实现细节来看，这种基于 Token 的筛选方法有一个巧妙之处：它不需要直接分析原始的音频波形或视频帧——而是在文本层面（即增强后的叙述上）进行操作。这大大降低了计算成本，因为文本处理的计算量远小于音频和视频的直接分析。换言之，EgoAVU 借助前一步的「叙述增强」将音视频信息「翻译」成了文本，然后在文本空间中进行高效的筛选决策。
这种设计思路体现了一种实用主义的工程哲学——不追求理论上最优的方案，而是选择在实际可执行性和效果之间取得最佳平衡的方案。对于需要处理海量视频数据的工业级流水线来说，这种高效性是至关重要的。
六、组件三：多模态语境图（MCG）——打通视觉与音频的桥梁
这是 EgoAVU 中最具技术含量的核心组件，也是它与此前方法拉开差距的关键所在。
6.1 什么是多模态语境图？
多模态语境图（Multimodal Context Graph，简称 MCG）是 EgoAVU 用来建模音频-视觉跨模态关系的结构化表示工具。简单来说，它是一张「知识图谱」，图中的节点代表视频中出现的各种实体（人物、物体、声音事件），而边则代表这些实体之间的语义关系。
6.2 MCG 的构建过程
MCG 的构建过程可以分为以下几个步骤：
第一步：实体提取。 从增强后的叙述中提取出所有有意义的实体。例如：
增强叙述中提取的实体：
- 视觉实体：陶瓷碗、木质砧板、胡萝卜、灶台、佩戴者的右手
- 音频实体：排风扇嗡嗡声、远处交谈声、碗被拿起时的摩擦声
- 动作实体：拿起碗、扶住砧板第二步：关系推理。 利用开源大语言模型（如 Llama 系列）对提取出的实体进行关系推理，确定它们之间的语义连接。例如：
推理出的关系：
- "碗被拿起" --产生声音--> "摩擦声"
- "排风扇" --持续发出--> "低频嗡嗡声"
- "佩戴者右手" --执行动作--> "拿起碗"
- "远处的人" --产生--> "交谈声"第三步：图结构生成。 将实体作为节点、关系作为边，构建成一张结构化的图。这张图就是 MCG。
6.3 MCG 的核心价值
MCG 的价值在于它把原本「散落」在文本中的音频和视觉信息，通过显式的图结构关联了起来。有了 MCG，系统在生成训练数据时就能精确地知道：
- 哪个声音对应哪个视觉物体？
- 哪个动作会产生什么声音？
- 环境中哪些声音是前景音（与当前活动直接相关），哪些是背景音？
- 音频事件和视觉事件在时间线上是如何对齐的？
这些结构化的跨模态关联信息，正是当前训练数据集所严重缺乏的「关键拼图」。
从技术实现的角度来看，MCG 的构建过程完全由开源大语言模型（如 Llama 系列）驱动。研究团队设计了精心的 Prompt 模板，引导大语言模型从增强后的叙述文本中识别实体、推理关系，并以结构化的格式输出图结构信息。这个过程不需要任何人工干预，完全可以自动化执行——这也是 EgoAVU 能够规模化运行的关键前提。
MCG 的一个重要设计理念是模块化：视觉实体、音频实体和动作实体分别作为不同类型的节点存在于图中，而节点之间的边也有明确的类型标注（如「产生声音」「位于同一场景」「发生在…之前」等）。这种类型化的图结构使得后续的数据生成步骤可以根据需要灵活地查询和利用图中的信息——比如生成声源关联类问题时，只需要关注「产生声音」类型的边即可。
另一个值得关注的技术细节是：MCG 不仅建模了同一时间点内的跨模态关系（比如「现在看到的搅拌动作」产生「现在听到的搅拌声」），还建模了跨时间段的关系（比如「10 秒前关上的门」导致了「现在听到的回声消失」）。这种时间维度的跨模态关联对于训练模型的时序推理能力至关重要。
6.4 从 MCG 到音视频叙述
在 MCG 构建完成后，系统会将图结构与增强后的叙述文本一起输入到大语言模型中，让模型根据这些结构化信息生成连贯的音视频叙述（Audio-Visual Narration）——这种叙述不仅描述了视觉事件和音频事件，还明确标注了两者之间的关联关系。
最终音视频叙述示例（模拟）：
"佩戴者在厨房中用右手从台面上拿起一个白色陶瓷碗，这个动作产生了碗底
与台面之间轻微的摩擦声。与此同时，厨房的排风扇持续运转，发出稳定的低频
嗡嗡声。远处客厅方向传来其他家庭成员的交谈声，声音较为模糊。佩戴者目前
专注于手头的备菜工作，没有参与远处的对话。"这段叙述同时覆盖了视觉（拿碗）、音频（摩擦声、嗡嗡声、交谈声）和跨模态关联（摩擦声 ← 拿碗动作），正是我们想要的高质量训练数据的「原料」。
七、组件四：多任务数据生成——一次性覆盖五大能力维度
有了高质量的音视频叙述之后，EgoAVU 的最后一个组件负责将这些叙述转化为结构化的训练数据。这里的「结构化」指的是以问答对（QA pairs）的形式组织数据，使其可以直接用于多模态大模型的指令微调（Instruction Tuning）。
EgoAVU 生成的训练数据覆盖了五大任务类型，每种任务对应模型的一种关键能力。无忆研习社的莫潇羽为你逐一解读：
7.1 声源关联（Source-Sound Association, SSA）
这类数据训练模型回答「声音从哪里来」的问题。
问题示例：
Q: 视频中可以听到滋滋声，这个声音是由什么物体产生的？
A: 滋滋声来自灶台上正在加热的平底锅，锅中有食物正在被煎炒。
Q: 在视频的第15秒处，可以听到一声清脆的响声，它的来源是什么？
A: 这声响来自佩戴者将一个玻璃杯放到大理石台面上时产生的碰撞。这类问题看似简单，但对模型来说极具挑战性——它要求模型不仅要「听到」声音，还要在视觉空间中定位声源，并理解声音产生的物理因果链。
7.2 音视频片段叙述（Audio-Visual Segment Narration, AVSN）
这类数据要求模型对视频的某个时间片段进行综合描述——既要说「看到了什么」，也要说「听到了什么」。
问题示例：
Q: 请描述视频第240-250秒这个时间段内，你所观察到的视觉场景和听到的声音。
A: 在这个时间段内，佩戴者正在花园中使用一把修枝剪修剪灌木丛。画面中可以
看到佩戴者的双手握着金属修枝剪，面前是一排绿色灌木。每次修剪动作伴随着
金属剪刀闭合的咔嚓声和树枝被剪断时的轻微断裂声。背景中有鸟鸣声和远处
传来的汽车引擎声。7.3 音视频密集叙述（Audio-Visual Dense Narration, AVDN）
与片段叙述不同，密集叙述要求模型对整个视频进行全面、细粒度的描述。这种任务训练模型的长视频理解能力和多事件追踪能力。
密集叙述的输出通常是一个按时间线组织的、覆盖整个视频持续时间的详细文本，其中每个关键时刻的视觉事件和音频事件都会被记录下来。
7.4 时序推理（Temporal Reasoning, TR）
时序推理训练模型理解事件之间的时间关系——某件事发生「之前」或「之后」发生了什么。
问题示例（多选形式）：
Q: 在佩戴者打开水龙头之前，发生了什么事件？
A) 佩戴者从冰箱里取出了一个苹果
B) 有人敲了前门
C) 微波炉发出了完成提示音
D) 佩戴者用刀切了面包
正确答案: C
（根据视频，在打开水龙头前几秒，微波炉发出了哔哔声，然后佩戴者
转身走向灶台区域打开了水龙头。）这类任务要求模型具备跨时间段的信息整合能力，以及对因果链条的推理能力。
7.5 音视频幻觉检测（Audio-Visual Hallucination, AVH）
这是一个非常有趣也非常重要的任务——它专门用来检测和纠正模型的「编造」行为。
问题示例：
Q: 在这段视频中，是否真的存在微波炉的提示声？
A: 不，视频中没有微波炉的提示声。虽然画面中可以看到微波炉，但它
并没有在运转。实际听到的声音是旁边烤箱定时器的滴滴声。
Q: 视频里是否有玻璃碎裂的声音？
A: 没有。视频中听到的是佩戴者将金属钥匙放在玻璃桌面上时产生的
碰撞声，虽然音质上有些相似，但并非玻璃碎裂。幻觉检测任务的核心价值在于：它迫使模型诚实地面对自己的不确定性，而不是根据视觉线索「猜测」音频内容。这对于提升模型的可靠性至关重要——尤其是在安全关键的应用场景（如辅助驾驶、医疗辅助设备）中，幻觉可能带来严重后果。
八、EgoAVU-Instruct 与 EgoAVU-Bench：训练集与评测集
基于上述四大组件的流水线式运作，EgoAVU 最终产出了两个重要资源：
8.1 EgoAVU-Instruct（训练数据集）
EgoAVU-Instruct 包含约 300 万条训练样本，覆盖上述五大任务类型。这些数据可以直接用于对现有多模态大模型进行指令微调。
数据集规模概览：
┌────────────────────────────────────────────────────┐
│ EgoAVU-Instruct 训练集 │
├────────────────────────────────────────────────────┤
│ 总样本数量 约 300 万条 │
│ 任务类型 5 种（SSA/AVSN/AVDN/TR/AVH） │
│ 源视频数据集 Ego4D 等公开数据集 │
│ 生成方式 全自动（无需人工标注） │
│ 使用的模型 仅开源模型（可完全复现） │
│ 数据格式 QA 对 + 叙述文本 │
└────────────────────────────────────────────────────┘8.2 EgoAVU-Bench（评测基准）
EgoAVU-Bench 是首个专门用于评测多模态大模型音视频联合理解能力的基准测试集。它包含约 3000 条经过人工验证的问题。
之所以需要人工验证，是因为评测数据的质量要求比训练数据更高——训练数据中偶尔有一些噪声是可以接受的（模型在大规模数据上训练时能够自行「消化」少量噪声），但评测数据必须是准确的，否则评测结果就不可信。
EgoAVU-Bench 的设计覆盖了上述五大任务类型，并且刻意包含了许多「容易产生幻觉」的场景——比如画面中出现了某个物体，但该物体并没有发出声音的情况——用来专门检测模型是否会根据视觉线索「凭空编造」音频信息。
莫潇羽需要特别提醒读者注意的是：EgoAVU-Bench 的设计原则与通常的视频理解基准测试有一个根本性的区别。大多数视频理解基准测试关注的是「模型能否正确回答关于视觉内容的问题」，而 EgoAVU-Bench 关注的是「模型能否正确理解视觉和音频之间的关系」。这意味着，一个在传统视频问答基准上表现优异的模型，在 EgoAVU-Bench 上可能表现很差——因为两者考察的能力维度完全不同。
实际上，论文中的实验数据也证实了这一点：多个在主流视频理解基准上排名靠前的模型，在 EgoAVU-Bench 上的表现都不尽如人意，尤其是在需要准确利用音频信息的任务上。这进一步验证了论文的核心论点——当前模型缺乏的不是视觉理解能力，而是音频理解能力和跨模态关联能力。
九、实验结果深度解读：113% 性能提升意味着什么？
9.1 核心数据
论文中报告的实验结果主要有两个关键数字：
- 在 EgoAVU-Bench 上，使用 EgoAVU-Instruct 数据微调后的模型性能最高提升了 113%。
- 在其他已有的音视频相关基准任务上，性能最高提升了 28%。
这里的 113% 提升需要结合上下文理解——它并不是说模型的绝对准确率从 40% 变成了 85%（那是 45 个百分点的提升），而是指相对于微调前的基线性能，提升幅度达到了 113%。不过即便如此，这个数字依然令人印象深刻，因为它说明此前的模型在音视频联合理解方面确实存在巨大的性能缺口——而这个缺口主要是由数据不足造成的。
9.2 视觉偏置现象
实验还揭示了一个重要发现：当前多模态模型普遍存在严重的视觉偏置（Visual Bias）。
所谓视觉偏置，简单来说就是：当模型同时接收到视觉和音频信息时，它会过度依赖视觉通道来做判断，而基本忽略音频通道。这种偏置在没有经过 EgoAVU 数据微调的模型上表现得尤为明显。
莫潇羽@无忆研习社认为，这个发现有着重要的实践指导意义——它告诉我们，如果你想让自己的多模态模型具备真正的音频理解能力，仅仅在模型中加入一个音频编码器是远远不够的。你还需要提供足够多的、高质量的、带有跨模态关联标注的训练数据，来「矫正」模型对视觉通道的过度依赖。
9.3 数据规模的影响
论文中还进行了关于数据规模（scaling）的实验。结果表明，随着 EgoAVU-Instruct 训练样本数量的增加，模型性能呈现出持续上升的趋势——这意味着 EgoAVU 的数据生成流水线具有良好的规模扩展性。只要有更多的源视频输入，就能生成更多的训练数据，进而带来更好的模型性能。
这一点对于工业界的应用尤其重要：它意味着 EgoAVU 不只是一个一次性的数据集，而是一个可以持续生产数据的「引擎」——正如论文标题中所强调的 Data Engine 一词所暗示的那样。
9.4 不同任务上的性能差异
值得深入讨论的是，模型在五大任务上的性能提升并不均匀。根据论文中的实验数据，在声源关联（SSA）和幻觉检测（AVH）这两个任务上，性能提升最为显著——这恰恰说明这两项能力是此前模型最为欠缺的。在 EgoAVU 的训练数据出现之前，模型几乎没有机会学习如何将声音与其视觉来源对应，也没有机会学习如何区分「真实存在的声音」和「根据视觉线索猜测的声音」。
而在时序推理（TR）任务上，提升相对较小——这可能是因为时序推理更多依赖于模型的通用推理能力，而不仅仅是跨模态数据的充足性。不过即便如此，时序推理的性能也获得了可观的提升，说明跨模态数据确实有助于模型更准确地理解事件的时间关系。
9.5 与闭源模型的对比
论文还将经过 EgoAVU 数据微调的开源模型与一些闭源的多模态大模型进行了对比。结果显示，经过微调后的开源模型在 EgoAVU-Bench 上的表现已经可以与某些闭源模型相竞争，甚至在部分任务上实现了超越。这个结果非常有意义——它说明了高质量数据在弥补模型能力差距中的巨大作用。对于没有闭源模型使用权限的团队来说，这无疑是一个振奋人心的消息。
十、技术视角：如何利用 EgoAVU 的开源资源？
EgoAVU 项目已经开源了代码和数据，以下是莫潇羽整理的关键资源地址和使用建议。
