本文由 莫潇羽@无忆研习社(www.wuyi.wiki)撰写,转载请注明出处。
快速摘要
如果你关心的是"AI视频现在到底能做到什么程度"——结论很明确:2026年的AI视频工具已经从"只能生成5秒片段"进化到了"一句话交付一支有剧情、有分镜的完整短片"。这背后的关键变量不是模型画质再提升10%,而是一种叫Video Agent的新架构——它不再等着你手动写提示词、抽卡、拼素材,而是自己拆解任务、规划流程、调度模型、剪辑成片。
换个好理解的说法:过去的AI视频工具是一台功能强大的相机,能不能出好片全看你的手艺;现在的Video Agent更像一个AI导演,你告诉它"我要一支45秒的游戏PV,主角是孙悟空",它会自己写分镜、出画面、配音乐、剪片子。
这篇文章是我(莫潇羽@无忆研习社)在深入研究LibTV(由哩布哩布AI于2026年3月推出)等平台后,对Video Agent技术范式的一篇系统梳理。文章会从技术演进脉络讲起,拆解Agent的架构设计、Skill机制、底层模型能力,再结合真实的短剧和广告案例把整个流程走一遍,最后聊一聊国内平台的合规要求和这套技术对内容生产的真实影响。想看完整拆解,往下翻。
一、AI视频的进化:从"生成片段"到"完成一支片子"
要想真正理解Video Agent为什么重要,得先把AI视频这几年的进化脉络看清楚。
1.1 四条技术台阶
AI视频生成在短短两年里爬了四条大台阶。我把它整理成下面这张表,看起来会更直观:
|
阶段 |
时间 |
代表产品 |
能干什么 |
核心局限 |
|
Tier 1:文生视频 |
2024年初 |
Sora、Pika 1.0 |
输入文字,输出一段5到15秒的片段 |
画面不可控,人物崩坏,无法连续叙事 |
|
Tier 2:图生视频 |
2024年中 |
Runway Gen-3、可灵1.0 |
上传参考图再生成,画面可控性提升 |
仍然只能出单片段,组织不起完整故事 |
|
Tier 3:多镜头控制 |
2025年 |
可灵2.6、Vidu Q3 |
支持多镜头切换、角色一致性锁定 |
需要人类手动管理每个镜头、手动拼接 |
|
Tier 4:Agent化生产 |
2026年初 |
LibTV Video Agent |
Agent自主拆解剧本、规划分镜、调度模型、剪辑成片 |
复杂创意仍需人类把控,极端细节需手动返修 |
2024年那会,AI视频圈讨论的话题还很简单:哪个模型生成的5秒片段最惊艳?Sora的画面电影感强但手指经常画错,Runway的运镜精准但画面总觉得少了点叙事的连贯性。整个行业其实陷在一个挺尴尬的循环里:生成一段→检查→不满意→重新生成→继续检查,来回折腾,能用的素材得从几十段里"抽卡"一样挑出来。
用过的朋友应该深有体会——工具确实挺酷,但你的工作量一点没少。
1.2 真正卡脖子的不是画质
到2025年底、2026年初,情况发生了质变。
顶级的AI视频模型——可灵3.0、Seedance 2.0、Veo 3.1、Sora 2——在画面质量上集体撞到了"够用"的天花板。不是说画质不再提升,而是对绝大多数内容生产场景来说,1080P甚至4K的高清画面、稳定的人物一致性、自然的物理运动,这些已经不再构成瓶颈。
真正的瓶颈转移到了别的地方:从"能不能生成好看的画面"变成了"能不能端到端做出一条完整的片子"。
这就好比你有一台顶级相机,但要拍出一部好电影,你还需要导演、编剧、场记、剪辑师、配乐师。过去的AI视频工具只管"拍摄"这个环节,剩下的全得靠人来兜底。而2026年的Video Agent,试图把整条生产线都交给AI来跑。
1.3 Agent化的三个驱动力
为什么这个时间点爆发了Agent化?我观察下来有三个关键推力:
- 模型能力收敛:如前所述,画质不再是瓶颈,Agent可以放心调度多款模型而不用担心输出品质断崖。
- 任务编排需求溢出:当一支片子从3个镜头增长到30个镜头时,人类手动管理的复杂度爆炸式增长,自然呼唤自动化编排。
- MCP与A2A协议成熟:模型上下文协议(MCP)和Agent间通信协议(A2A)在2025年下半年趋于成熟,让Agent能够稳定地调用外部工具、串联多个模型、管理长链路任务。
这三股力量一汇合,AI视频就从"工具"变成了"协作者"。这就是2026年最大的故事线。
下面这张Mermaid图可以帮你直观理解传统AI视频流程和Agent化流程的差异:
flowchart LR
subgraph A["传统AI视频流程"]
A1[人类写提示词] --> A2[生成片段]
A2 --> A3{满意?}
A3 -->|否| A1
A3 -->|是| A4[人类手动拼接]
A4 --> A5[人类配音配乐]
A5 --> A6[成片]
end
subgraph B["Agent化视频流程"]
B1[人类描述需求] --> B2[Agent拆解剧本]
B2 --> B3[Agent规划分镜]
B3 --> B4[Agent批量调度模型]
B4 --> B5[Agent自主剪辑+配音]
B5 --> B6[成片]
B6 --> B7{人类审核}
B7 -->|调整| B1
B7 -->|通过| B8[交付]
end
传统流程里,人类是每一步的执行者;Agent化之后,人类变成了"提需求+审结果"的决策者,大量重复执行的脏活累活被Agent接过去了。
二、Video Agent是什么:理解AI视频的新范式
上一章交代了大的技术演进背景,这一章我们聚焦到核心概念上:到底什么是Video Agent?它和之前那些AI视频工具有什么本质区别?
2.1 两个维度的区别
传统AI视频工具(不管是Sora还是可灵、即梦)本质上都是"生成器":你给它输入,它吐出输出。输入可以是文字、图片、视频片段,输出就是一个视频片段。至于这个片段怎么放进一支完整片子里、前后镜头怎么衔接、配什么音乐、节奏怎么把控——这些统统不关它的事。
Video Agent则完全不同。它不再把自己定位成一个"生成器",而是一个"制片人":它能自主完成从需求理解到成片交付的全流程。
我用一个对比表格把这个差异说清楚:
|
维度 |
传统AI视频工具 |
Video Agent |
|
角色定位 |
画面生成器 |
全流程制片人 |
|
输入方式 |
提示词/参考图 |
自然语言需求描述 |
|
任务范围 |
生成单个视频片段 |
拆解剧本→分镜→出图→出视频→剪辑→配音→成片 |
|
人类参与模式 |
每一步都要手动操作 |
提需求+关键节点决策+最终审核 |
|
典型产出 |
5到15秒片段 |
2到5分钟完整成片 |
|
模型调度 |
单一模型 |
按任务特征自动选择最合适的模型 |
|
可纠错性 |
不满意就重新抽卡 |
自然语言描述修改需求,Agent自动返修 |
这个差别的本质,用技术圈的话说就是:工具提供的是能力(capability),Agent提供的是服务(service)。你买了一台好相机不等于你能拍出好电影,但你请了一个好导演,你只需要说"我想要什么感觉",剩下的事他来搞定。
2.2 Agent背后的三根支柱
Video Agent之所以能成为一个"制片人"而不是"工具",是因为它背后有三根技术支柱在撑着。这三根支柱不是视频生成领域独有的,而是整个AI Agent技术栈的通用基础,但它们在视频生产场景下表现出了特别强的威力。
支柱一:记忆管理
Video Agent必须在长任务中"记住"上下文。比如做一支2分钟的短剧,可能涉及20个镜头、5个场景、3个角色。Agent需要记住每个角色长什么样(人物一致性)、每个场景的美术风格、前后镜头的衔接逻辑。这不只是"记住提示词"那么简单——它需要维护一套结构化的项目状态,包括角色三视图、场景锚点、分镜时间轴、已生成素材的元数据。
以我体验过的某平台为例,Agent内部维护了一个类似下面这样的状态结构(伪代码表示):
项目状态 {
角色库: {
"女主": { 三视图: [...], 脸型锁: "瓜子脸", 发型: "黑长直", 服装风格: "职场风" },
"男主": { ... }
},
场景库: {
"办公室": { 风格参考: [...], 光照: "暖色调顶光" },
"咖啡厅": { ... }
},
分镜时间轴: [
{ id: 1, 时长: "0-10s", 角色: ["女主"], 场景: "办公室", 运镜: "中景推进", 生成状态: "done", 视频ID: "xxx" },
{ id: 2, 时长: "10-18s", 角色: ["女主","男主"], 场景: "咖啡厅", 运镜: "双人中景", 生成状态: "processing" },
...
]
}
有了这套记忆系统,Agent才能在20个镜头跑完之后,保证女主从第一个镜头到最后一个镜头长得一样、穿得一样、气质一样。做过AI视频的朋友都知道,人物一致性是一大痛点,过去只能靠反复抽卡和手动挑选来勉强维持,现在Agent可以自动帮你锁住。
支柱二:工具调用
Agent需要能"动手"——调用各种各样的工具来完成不同环节的任务。在视频生产场景中,这意味着Agent需要能操作:
- 文生图模型(生成首帧图、人物设定图、场景参考图)
- 图生视频模型(把首帧转成动态画面)
- 视频衔接模型(在两个镜头之间生成过渡动画)
- 语音合成引擎(生成台词配音,中英双语)
- 音乐生成模型(为成片配上背景音乐)
- 剪辑工具链(拼接片段、对齐时间轴、添加转场)
以目前市面上比较成熟的方案来看,一个Video Agent通常集成了5到8款模型,根据任务环节自动切换。比如在出图阶段用Seedream,出视频阶段用Seedance 2.0或可灵3.0,配音阶段用专门的TTS引擎。
支柱三:规划推理
这是Agent最核心的能力。拿到一个需求——比如"做一支45秒的后室游戏PV,主角孙悟空对战海盗克拉克"——Agent需要自己拆解成可执行的步骤:
- 理解"后室"的美术风格(阴暗、潮湿、工业感空间)
- 规划三段式结构(引导流15秒→剧情流15秒→战斗流15秒)
- 为每段分配镜头数和具体内容
- 判断需要哪些角色素材(孙悟空、海盗克拉克)
- 确定运镜逻辑和节奏
- 生成完毕后检查衔接流畅度
- 发现问题时自动补过渡或返修
这一整套规划不是写死在代码里的,而是Agent基于大语言模型的推理能力动态生成的。这也是为什么Video Agent能适应完全不同的视频类型——短剧、游戏PV、产品广告、变装视频——它不用每种类型都写一套规则,而是靠LLM来理解需求并生成相应的执行计划。
2.3 一个具体的例子来理解
说这么多理论可能有点抽象,我们拿一个真实的视频生产场景来对照着看。
假设你要做一支30秒的智能咖啡机产品宣传片。传统方式下,你的操作路径大概是:打开AI视频工具→为镜头1写提示词→生成3到5个候选→选出最好的→为镜头2写提示词→生成候选→选出→……→凑够6个镜头→打开剪辑软件→手动拼接→找配音→找背景音乐→导出。快的话一个下午,慢的话一整天。
Agent化方式下的操作路径是:在对话窗口输入"做一支30秒智能咖啡机宣传片,清晨厨房场景,展示研磨、萃取、出杯全流程,温暖质感风格"→Agent自动拆成6个分镜→批量生成6张首帧图→一键转视频→自动拼接→自动配音配乐→30分钟后交付成片→你审核,指出"第三个镜头萃取特写不够细腻"→Agent自动返修那个镜头→重新拼接交付。
这不是科幻,是2026年已经可以稳定跑通的流程。
三、画布+节点+工作流:一份产品架构的深度拆解
前面两章讲的是"为什么"和"是什么",这一章我们深入到"怎么设计"——以一个典型的Video Agent平台为参考,拆解它的产品架构和工作流设计。
说明:本章的架构分析基于对LibTV(liblib.tv)等平台的公开资料研究,并结合我作为内容创作者的使用视角进行归纳。不同平台的具体实现会有差异,但核心设计理念是相通的。
3.1 无限画布:为什么不是传统的对话式交互
不知道你有没有想过一个问题:为什么专业的AI视频创作平台不直接做成"聊天框"的形式?你打字,AI出片,多省事。
答案在于"可控性"和"复杂度"之间的张力。
聊天框交互适合简单任务——"帮我生成一只猫走路的视频",一句话就够了。但真实的内容生产从来不是这样。比如做一支短剧,你需要管理十几个角色、几十个场景、上百个镜头素材。这些信息堆在一个对话线程里,很快就变成一团"上下文烂泥"——你不知道第三个镜头用的是哪张图,也不记得女主在第五个镜头里穿的是哪件衣服,Agent也记不住,因为对话上下文窗口再大也有上限。
画布(Canvas)解决了这个问题。它把每一个素材、每一个中间产物都变成可视化的"节点"(Node),节点之间用线连接,构成完整的工作流。你一眼就能看到整支片子的骨架:脚本→人物设定→分镜→视频片段→剪辑合成。每个节点是一个确定的、可复用的资产,而不是一段对话历史里模糊的记忆。
我画一张简化的概念图,帮你建立直观感受:
flowchart TB
SCRIPT[" 脚本节点\n剧情描述+人物设定"] --> STORYBOARD[" 分镜节点\n拆解为N个镜头"]
STORYBOARD --> CHAR[" 角色节点\n人物三视图+风格锁"]
STORYBOARD --> SCENE[" 场景节点\n环境参考图+美术风格"]
CHAR --> FRAME1[" 首帧图-镜头1"]
CHAR --> FRAME2[" 首帧图-镜头2"]
CHAR --> FRAME3[" 首帧图-镜头N"]
SCENE --> FRAME1
SCENE --> FRAME2
SCENE --> FRAME3
FRAME1 --> VID1[" 视频片段-镜头1"]
FRAME2 --> VID2[" 视频片段-镜头2"]
FRAME3 --> VID3[" 视频片段-镜头N"]
VID1 --> EDIT[" 剪辑合成节点"]
VID2 --> EDIT
VID3 --> EDIT
AUDIO[" 配音+配乐节点"] --> EDIT
EDIT --> OUTPUT[" 成片输出"]
这个结构看起来不复杂,但它的威力在于:任何一个节点出问题,你只需要修那个节点,不用从零重做。比如镜头3的女主脸崩了,你就重新生成镜头3的首帧图,后面的视频生成和剪辑链路自动沿用新图——这在聊天框式的交互里几乎不可能做到。
3.2 五种基础节点
在实际平台中,画布上的节点通常分为五类,每一类承载不同的数据类型和操作能力:
|
节点类型 |
承载内容 |
典型操作 |
|
文本节点 |
剧情描述、人物设定、风格提示词、配音脚本 |
编辑、引用、转为脚本输入 |
|
图片节点 |
人物三视图、场景参考图、首帧图、分镜图 |
生成、重绘、扩图、抠图、多角度、打光调整 |
|
视频节点 |
生成的视频片段、参考视频 |
生成、解析、剪辑、超分、首尾帧提取 |
|
音频节点 |
配音文件、背景音乐、参考音轨 |
生成、剪辑、分离、对齐 |
|
脚本节点 |
结构化的分镜脚本 |
自动拆解、批量生成分镜图、一键转视频 |
其中,脚本节点是整个工作流的发动机。你给它一段文字——可以是完整的剧本,也可以是简单的场景描述——它会自动拆解成一张分镜表,包含每个镜头的景别(远景/中景/特写)、运镜方式(推/拉/摇/移)、动作描述和预估时长。
这里有一个容易被忽视但非常关键的设计细节:脚本节点的输出不是"锁死"的。Agent拆解出的分镜表只是初稿,你随时可以在表格里增删改,调整镜头顺序、修改运镜方式、甚至替换整个角色。这保证了人类创作者在整个流程中始终握着方向盘,不是被Agent"代替"了,而是被Agent"辅助"了。
3.3 工作流的搭建与复用
节点连成线,线构成流。一个完整的工作流跑通之后,最聪明的做法不是下次再搭一遍,而是把它保存成模板。
这里就涉及到一个在创作者群体里讨论度很高的话题:工作流的"原子化"和"可复用性"。好的工作流设计应该做到——换一套角色和场景,同一套流程能直接复用。比如你搭好了一条"产品广告"工作流(脚本→产品图→场景图→分镜→视频→剪辑→配音→成片),下次换个产品、换句文案就能直接跑,不用从零搭。
更进一步,更高阶的用法是把工作流抽象成"Skill"——这就是下一章要重点讲的内容。
3.4 双入口设计:给人类用的和给Agent用的
回到2026年的设计前沿,一个很有意思的趋势是双入口架构。同一个平台,同时服务两类用户:
人类入口:图形化画布,拖拽节点、连线、手动调参。目标用户是专业创作者,需要精细到每一帧的控制力。
Agent入口:通过Skill接口暴露平台能力,允许外部AI Agent(比如Claude Code、Codex CLI、OpenClaw等编码Agent)直接调用。Agent读Skill的描述文档,知道每个接口能干什么,然后按照任务需求自动编排调用顺序。
这两种入口共享同一套底层能力,但交互方式完全不同。人类走GUI,Agent走API——殊途同归。这个设计意味着,你可以在GUI里手动搭好一个工作流,然后把它发布成一个Skill;别的Agent(或你自己的Agent)就能直接调用这个Skill,在自动化管线里复用你的"手艺"。
用一段简化的伪代码来示意Agent调用Skill的过程:
# Agent侧的逻辑(简化示意)
task = "生成一支45秒女频短剧,剧本如下:{...}"
# Step 1: Agent理解任务,匹配Skill
skill = match_skill(task, skill_library)
# 匹配到 "女频短剧生成" Skill
# Step 2: Agent按Skill定义的工作流执行
storyboard = skill.analyze_script(task.script)
characters = skill.generate_characters(storyboard.roles)
frames = skill.batch_generate_frames(storyboard.shots, characters)
videos = skill.batch_generate_videos(frames)
final = skill.composite_and_dub(videos, task.script)
这段伪代码不是我造的,类似的逻辑在LibTV的公开Skill仓库(github.com/libtv-labs/libtv-skills)里有完整的实现参考。对技术细节感兴趣的朋友可以去翻源码——我在这里就不展开了。
四、Skill系统:Video Agent的"技能包"机制
上一章讲到工作流可以复用,这一章我们深入聊一聊已经在多个平台落地的"Skill"机制。它可能是整个Video Agent体系里最巧妙的发明——因为它把"专业创作者的工艺"变成了"可分发、可调用的数字资产"。
4.1 什么是一个Skill
一个Skill本质上是一个打包好的工作流。它包含三样东西:
- 流程定义:从输入到输出的完整步骤序列。比如"女频短剧生成Skill"定义的是:剧本分析→角色三视图→场景美术→分镜拆解→批量出图→批量出视频→剪辑配音→成片。
- 风格锚点:固化下来的美术风格参数。比如"游戏实机PV Skill"内置了引导流、剧情流、战斗流的三段式结构模板,以及每个段的色调参考、运镜偏好、节奏设定。
- 接口声明:声明这个Skill接受什么输入(剧本、角色参考图、场景图等),产出什么输出(完整视频),以及中间哪些节点允许人类干预。
用程序员的思维来类比:Skill就像是一个"函数",输入是创作需求,输出是成品视频;而Skill库就是一个"函数库",你可以直接调用现成的,也可以自己写新的。
4.2 内置Skill库:100多个风格模板
以我研究的平台为例,内置Skill库覆盖了100多个常见的视频风格。我把它们归成了几大类:
|
类别 |
典型Skill |
核心特征 |
|
短剧类 |
女频短剧、男频爽剧、AI漫剧、古装甜宠 |
剧本驱动,注重人物一致性和情绪节奏 |
|
营销类 |
产品TVC、电商种草、品牌故事、App宣传 |
产品锚点锁定,注重光影质感和信息传达 |
|
娱乐类 |
游戏实机PV、变装视频、音乐MV、Vlog模板 |
节奏感强,多段式结构,视觉冲击力 |
|
影视类 |
电影预告片、悬疑短片、科幻概念片 |
运镜复杂,色调风格化,叙事完整性高 |
|
工具类 |
视频风格迁移、老片修复、多语言配音替换 |
单项能力,通常作为工作流的中间节点 |
这些内置Skill的价值在于:它们封装了经过验证的"最佳实践"。比如"女频短剧生成Skill",不是你随便写几个提示词拼起来的,而是基于大量热门女频短剧的数据分析,固化了这一品类在人物造型(精致感、柔光肤质)、画面色调(暖色系、偏粉)、镜头节奏(短镜头快切+情绪镜头慢推)等方面的通用规律。
对于刚入门的创作者,直接用这些内置Skill就能快速出片,不用从零摸索。
4.3 自定义Skill:把爆款视频提炼成可复用模板
内置Skill虽然覆盖广,但还是那句话——每个人想做的东西不一样。遇到"我想仿拍这个爆款变装视频"或"我们公司的广告模板要固定下来"这种需求,就需要自定义Skill。
自定义Skill的流程大致是这样:
- 投喂参考:上传一条或多条参考视频给Agent
- 结构拆解:Agent自动分析参考视频的镜头结构、节奏变化、转场方式、色调风格
- 逻辑提炼:Agent把分析结果抽象成可复用的流程模板——不是"记住"参考视频的每一帧,而是"总结"出通用的镜头公式
- 模板生成:生成一个新的Skill,包含分镜逻辑、风格参数、配音方案
- 测试调优:用新内容跑一遍,根据结果微调Skill定义
这个能力特别适合做系列化内容的创作者。举个例子:一个美妆博主想做10条不同主题的变装视频,以前的做法是每条都从零搭一次。现在可以——找一条已经火了的变装视频,让Agent提炼成Skill,然后换人物、换服装、换BGM,批量产出10条风格统一但不重样的视频。
flowchart LR
REF[" 上传参考视频"] --> ANALYZE[" Agent拆解结构"]
ANALYZE --> PATTERN["镜头节奏\n转场方式\n色调风格\n配乐逻辑"]
PATTERN --> SKILL[" 生成新Skill"]
SKILL --> TEST[" 测试运行"]
TEST -->|调整| PATTERN
TEST -->|通过| PUBLISH[" 发布到Skill库"]
4.4 Skill的共享与生态
Skill不只是个人用的。某些平台开放了Skill的团队共享和企业级管理——一个团队里,技术最强的那个成员搭好Skill,其他人直接调用就行,大幅降低团队内部的技能门槛。
从更宏观的视角看,Skill生态系统一旦跑起来,会形成类似App Store的正循环:创作者上传Skill → 用户使用Skill → 用户反馈 → Skill优化迭代 → 更多用户受益。这种生态效应一旦形成,平台的护城河就不再只是"我的模型比你的好一点点",而是"我有几千个经过实战验证的精品Skill"。
这也是为什么2026年的AI视频竞争正在从"模型军备竞赛"转向"生态位之争"——模型能力趋于收敛之后,谁能更快地帮创作者把工艺沉淀成资产、把资产流通成生态,谁就占住了下一个身位。
五、实战拆解一:AI短剧的工业化生产流程
前面四章侧重"讲道理",从这一章开始,我们进入"看实战"。我会以两个具体的视频类型为例,完整拆解Video Agent从输入到输出的全过程。第一个案例是当前最热的AI短剧。
5.1 为什么短剧是AI视频的第一战场
先聊几句背景。短剧之所以成为AI视频落地最快的品类,不是偶然的,有几个结构性原因:
- 产量大、周期短:传统真人短剧一集1到2分钟,一部剧80到100集,总时长在100到200分钟。2026年第一季度全行业上线微短剧约12.8万部,靠纯人工拍摄根本撑不住这个供给量。
- 成本敏感:真人短剧的制作成本在持续走高——演员、场地、设备、后期,一集下来动辄几千到上万元。AI短剧在漫剧品类上每分钟成本可以压到几百到几千元,效率优势明显。
- 视觉风格适配:AI目前在"动漫风格""古风""奇幻"等非写实风格上表现极其稳定(写实真人风格仍有恐怖谷效应),正好契合了当前短剧市场的主流审美。
所以你可以看到,2025年下半年到2026年春节,AI漫剧扎堆上线,已经从一个"实验品"变成了"主流内容形态"。根据公开数据,2026年春节档AI剧的上线量已经远超真人剧——当然,真人剧的单部播放量目前仍然大幅领先,但AI剧的追赶速度非常快。
5.2 女频短剧的全流程拆解
下面我以一支典型的2分钟女频短剧(都市情感题材)为例,把Agent自主规划的全过程拆出来。我会用表格的形式把每个环节的耗时、Agent操作、人类参与度都列清楚。
输入:一段约800字的剧本片段(包含男女主在办公室和咖啡厅的两场对手戏)。
Agent全流程:
|
环节 |
预估耗时 |
Agent自主操作 |
人类参与 |
|
1到2分钟 |
读取剧本,识别角色(女主、男主)、场景(办公室、咖啡厅)、情绪弧线(冷淡→对峙→微妙缓和) |
确认角色设定和场景无误 |
|
3到5分钟 |
根据"都市情感"风格自动生成女主和男主的三视图(正面/侧面/背面),锁定脸型、发型、服装、气质 |
选择最满意的一组,或提出修改方向 |
|
2到3分钟 |
为办公室(冷调、白日光)和咖啡厅(暖调、午后光)分别生成场景参考图 |
确认或调整 |
|
2到3分钟 |
将800字剧本自动拆成约18个镜头,每个镜头标注景别、运镜、角色、动作、预估时长(约7秒/镜) |
审阅分镜表,增删改 |
|
5到8分钟 |
为18个镜头并行生成首帧图(每批5到6张),自动标注node_key |
逐张审核,不满意的标记返修 |
|
15到25分钟 |
将18张首帧图依次转为15秒视频片段,保持角色一致性 |
审核视频流畅度 |
|
3到5分钟 |
按分镜表对齐18段视频的时间轴,添加转场,调整节奏 |
审阅粗剪版 |
|
3到5分钟 |
根据台词自动生成人声配音,根据情绪曲线匹配合适的背景音乐 |
确认,可替换音乐 |
|
1分钟 |
渲染合成,输出1080P成片 |
最终审核 |
总耗时:约35到55分钟(取决于返修量和不满意镜头的重生成次数)。
人类总操作次数:约8到12次(主要是审核确认和局部调整),远低于传统流程下几十甚至上百次的手动操作。
5.3 两个容易忽略的细节设计
在实际体验中,有两个设计细节特别值得一提:
第一个是"选择式交互"。Agent在生成过程中遇到不确定的情况时,不会自己瞎猜,而是弹出选择框让人决策。比如生成女主三视图时,Agent可能会给出三组不同风格的方案——A组偏甜系、B组偏冷艳、C组偏知性——然后让你选。这种"人机协同"的设计远比"AI全自动跑完给你一个不确定的结果"更靠谱。
第二个是"双视图管理"。Agent在后台同时维护两套视图:一个是工作流视图(节点连线,适合做技术性的提示词调整和画面精控),另一个是故事板视图(按时间轴排列的分镜卡片,适合做叙事层面的整体把控)。两套视图数据实时同步——你在故事板里移动了一个镜头的顺序,工作流里的节点连线自动跟着变。这个细节对实际工作效率的提升非常大,省去了大量"在两个模式间切来切去"的无效操作。
5.4 我踩过的一个坑:先跑通再精修
最后分享一个我自己折腾过程中总结出来的经验:做长流程视频,最重要的操作心法不是一开始就追求每个镜头完美,而是先让Agent把完整结构跑通,再针对衔接、动作和节奏进行定点返修。
为什么?原因很朴素——一支2分钟的短剧有十几个镜头,如果你每个镜头都"抽卡"到完美才往下走,很可能在前三个镜头上就耗光耐心。更致命的是,等你精修完前三个镜头回头看,可能会发现第四个镜头的角色风格跟前面对不上了——因为你在修前三个的时候改了某些参数,导致后面的生成偏离了方向。
高效的做法是:第一遍让Agent用默认参数快速跑通全片(哪怕画面不够精致),得到一个完整的时间轴骨架;第二遍再逐个镜头精修——这时候因为你已经看到了整支片子的全貌,你能更准确地判断"哪个镜头是关键、必须精修"和"哪个镜头过得去就行"。
而且我自己的经验是,精修时不要用自然语言笼统地说"第三段节奏不够好",Agent很难理解这种主观评价。更有效的做法是给它具体指令,比如"镜头7和镜头8之间的过渡缩短到1秒"、"镜头12改成从男主背后跟拍的视角"。指令越具体,Agent返修的命中率越高,你来来回回的沟通成本就越低。这个技巧适用于所有Agent类工具——它们擅长执行精确指令,不擅长揣测模糊的美学偏好。
六、实战拆解二:游戏PV与商业广告的Agent化制作
短剧是"剧情驱动"的视频类型,Agent需要处理的核心是人物和叙事。游戏PV和商业广告则不同——它们要么是"视觉驱动"(游戏PV讲究画面的冲击力和节奏感),要么是"产品驱动"(广告必须保证产品主体的绝对一致性和质感)。这恰好可以检验Video Agent在非剧情类视频上的表现。
6.1 游戏实机PV:多段式结构的自动化编排
游戏PV(Promotional Video,宣传视频)是游戏宣发中最常用的素材类型。一支典型的游戏PV时长在30到60秒,核心挑战是:要在极短的时间里,用极具冲击力的画面和紧凑的节奏,把游戏的核心玩法、世界观和爽点传达出来。
拿"孙悟空进入后室"这个概念来举例——这是一个跨IP的创意组合:把中国神话角色放进西方的都市怪谈场景,制造反差和悬念。以此为例,Video Agent的编排逻辑是这样:
三段式结构:
|
段落 |
时长 |
内容 |
画面风格 |
节奏 |
|
引导流(Hook) |
0到15秒 |
孙悟空误入后室空间,环境展示,悬念建立 |
阴暗工业风、低饱和度、慢推镜头 |
慢→渐快 |
|
剧情流(Build-up) |
15到30秒 |
探索空间,发现异常,与怪物遭遇 |
悬疑感加重、光影对比增强 |
中速,紧张感累积 |
|
战斗流(Climax) |
30到45秒 |
孙悟空与海盗克拉克对决,技能展示,高潮 |
高对比、快切、特效密集 |
快节 |