本文由 莫潇羽@无忆研习社(www.wuyi.wiki) 撰写,转载请注明出处。
快速摘要
这篇文章把我自己折腾 AI 动画短视频这段时间趟过的坑,整理成了一套可直接照着干的工作流。核心结论先放在最前面:
- 三大工具固定搭配:即梦做图像和说话类视频,可灵补充非对话动作镜头,剪映完成串联、字幕和成片导出,豆包用来薅免费图像生成额度。
- 模型按"任务难度"分级使用:动作类用便宜模型(即梦 1.0 Fast、可灵 2.1);对话类强制用即梦 Seedance 2.0 或可灵 3.0;高一致性长片段才考虑全能参考建模,新手不建议一上来就碰。
- 提示词遵循"场景→主体→动作→镜头→台词"的五段式,对话一律用中文双引号包裹,并在角色前标注性别、年龄、声线,能显著降低声音错乱概率。
- 多镜头串联靠"导出尾帧":上一段视频的最后一帧导出成图,作为下一段的首帧图,故事线立刻就接上了。
- 合规这一关比技术更重要:人物服装、场景、对话只要稍作改写,就能避开同质化;同时坚守不夸大、不引导承诺、不出现敏感行业关键词的底线。
想看完整拆解、提示词模板、踩坑清单和剪辑节奏的全套打法,往下翻。
一、为什么动画短视频是 AI 视频里最容易出片的赛道
我自己在莫潇羽@无忆研习社折腾 AI 视频的过程中,发现了一个挺反常识的事:真人风格的 AI 视频对模型要求极高,反倒是动画风格、卡通角色的短剧,是当前 AI 视频里最容易出片、也最容易跑出流量的方向。
原因不复杂。AI 视频模型在生成"真人"的时候,观众的容忍度极低——脸型变化、手指畸形、眼神不连贯,任何一个穿帮都会立刻被注意到。但换成 3D 渲染的卡通熊猫、橘猫、老虎,观众对"细节真实"的预期天然就低,AI 偶尔抖一下脸、嘴型偏一帧,根本不影响观感。
所以你刷短视频平台时会发现一个规律:橘猫开车、熊猫摆摊、动物角色围坐烧烤摊唠嗑这一类的小短剧,剧情很简单,但播放量普遍都不差。原因就是——门槛低、容错高、共情强。
也正因如此,这个赛道适合新手第一站练手。把工作流跑顺,后面再升级到更复杂的真人风格或写实短剧,会自然很多。
1.1 这条工作流要解决的核心问题
整条工作流要做的事,说穿了就三件:
- 稳定地生成"我想要的画面"——图像生成。
- 让画面里的角色按我设计的剧本动起来、说出对应的台词——视频生成。
- 把多段视频无缝拼成一个能完整讲故事的成片——剪辑串联。
每一步都有自己的坑。下面一步一步拆。
二、工具栈:三大核心平台的定位差异
写在前面:工具不是越多越好,固定就用三个,工作流才稳定。
我自己常驻用的就是即梦、可灵、剪映三个,外加豆包当免费薅图额度的备用方案。手机端和电脑端的能力略有差异,但整体逻辑完全一致。
2.1 即梦:图像生成 + 说话类视频的主力
即梦(Dreamina)是字节系的 AI 创作平台,剪映团队和醒图团队合作出的产品。它在我的工作流里承担两个角色:
- 图像生成的首选。即梦的图像生成对中文提示词理解明显更友好,3D 渲染、卡通风格、动物拟人这一类的风格几乎是"开箱即用"。
- 说话类视频的首选。对话场景对模型理解力要求非常高,需要模型既能听懂提示词里的台词,又能控制嘴型和声线。即梦的 Seedance 2.0 系列在中文对话视频上目前确实是国内第一梯队。
电脑端走网页版(dreamina.capcut.com / jimeng.jianying.com),手机端要在应用市场下载即梦 App。两端登录态保持一致,账号互通。
2.2 可灵:动作类视频的性价比补充
可灵(Kling)是快手系的视频生成模型。它的强项在于:
- 动作类、运镜类视频的画面质感非常稳,物理引擎对手部、转头、走动等动作的还原度高。
- 2.1 版本的性价比比较合适,相比早期 2.0 价格下降明显,适合做大量动作类小镜头。
- 3.0 模型可以生成对话视频,但目前我的体感是,对话场景下即梦 Seedance 2.0 仍然更稳,所以可灵主要用来做不说话、纯动作的镜头补片。
2.3 剪映:所有素材的最终归宿
剪映(CapCut 国内版)承担"把所有素材拼成一条完整视频"的工作。我用它做四件事:
- 串联多段 AI 视频片段,做删减、调速、转场。
- 用智能字幕给整段对话自动打字幕,再统一调字体、字号、位置。
- 添加音效库的开门、关门、敲门、哭声等环境音,让画面更有真实感。
- 通过"导出当前画面"抽尾帧,作为下一段视频的首帧图。
2.4 豆包:薅免费额度的备用方案
豆包是字节系的另一款产品,自带 AI 图像生成功能,新用户每天有免费额度。我把它当成"图像生成的备用渠道"——主图用即梦生成,但有时候即梦风格不太对,会丢到豆包再试一次找灵感。
豆包的视频生成功能也开放了一部分免费额度,但我个人不太用,因为风格控制不如即梦稳。
2.5 工具搭配总结
flowchart LR
A[剧本/分镜] --> B[即梦/豆包<br/>图像生成]
B --> C{是否需要对话?}
C -->|需要对话| D[即梦 Seedance 2.0<br/>说话视频]
C -->|纯动作| E[可灵 2.1<br/>或即梦 1.0 Fast]
D --> F[剪映<br/>串联/字幕/音效]
E --> F
F --> G[导出尾帧]
G --> B
F --> H[成片]
整条流是个闭环:剧本拆分镜,分镜出图,出图变视频,视频在剪映里拼,需要新镜头时通过"导出尾帧"反哺到图像生成那一步,循环往复直到成片。
三、模型选型:在不同任务里挑对模型
工具选完,下一个关键决策是——任务进来,到底用哪个模型?
模型选错的代价是直接花钱,而且越贵的模型生成时间反而越长(因为算力排队)。下面是我整理的一张选型对照表,照着挑就行。
3.1 即梦视频模型对照表
|
模型代号 |
主要用途 |
是否支持对话 |
相对成本 |
适用场景 |
|
1.0 / 1.0 Fast |
简单动作 |
否 |
最低 |
角色走动、转头、拿放物品 |
|
2.0 Fast |
中等复杂动作 |
部分支持 |
中 |
多人物互动、镜头小幅度运动 |
|
1.5 Pro 首尾帧 |
镜头衔接 |
否 |
中 |
用两张图生成过渡 |
|
Seedance 2.0 (画质) |
高质量出片 |
是 |
高 |
关键对话、关键转场 |
|
Seedance 2.0 (VIP) |
顶配模式 |
是 |
最高 |
重点镜头、必须一遍过的场景 |
注:模型代号和定价会随平台版本更新而变化,以官方实时显示为准。莫潇羽这里只总结相对档位,不写死价格。
3.2 可灵视频模型对照表
|
模型代号 |
主要用途 |
是否支持对话 |
相对成本 |
适用场景 |
|
1.6 |
老模型,便宜 |
否 |
低 |
测试性出片 |
|
2.1 标准 |
主力动作模型 |
否 |
中 |
走动、互动、运镜镜头 |
|
2.1 高品质 |
1080P 出片 |
否 |
中高 |
准备发布的成片镜头 |
|
3.0 |
最新模型 |
是 |
高 |
对话备份方案 |
3.3 模型选型的三条原则
第一条:说话用顶配,动作用平价。对话类强制走即梦 Seedance 2.0 或可灵 3.0,因为对话错一个字、声音变性别就是废片,省那点钱不划算。动作类用 1.0 Fast 或 2.1 标准就行。
第二条:重要镜头用 VIP/画质,过渡镜头用 Fast。比如剧情高潮的一个特写镜头,宁可贵一些也要用顶配;中间走路、转身、看手机这种过场镜头,用便宜版本就够了。
第三条:4 秒能搞定的别用 6 秒,6 秒能搞定的别用 8 秒。生成时长直接乘进总成本里,多一秒就是多一份费用。每次发起生成前,认真估算一下这段台词加动作到底需要几秒,预留 1 秒缓冲就好,不要无脑选最大值。
3.4 一个真实的成本对比
举个我自己跑过的对比账:同一段 7 秒的对话镜头,分别用即梦 1.5 Pro、2.0 Fast、Seedance 2.0 跑一遍。
- 1.5 Pro:嘴型基本不动,声音偏机械,对话识别度大概 60%。
- 2.0 Fast:嘴型有动,但偶尔会冒出来奇怪的声线,需要重抽几次。
- Seedance 2.0:一遍过的概率显著高,嘴型、语速、断句都比较自然。
结论很简单:关键对话直接用顶配,比抽卡省钱。
四、图像提示词:一套可复用的写作公式
图像是所有视频镜头的起点,图错了,后面所有镜头都白做。所以图像提示词是整条工作流里最值得花时间打磨的部分。
4.1 公式:场景 → 主体 → 服装 → 动作 → 道具 → 镜头
我自己用得最熟的公式是这五段式,按顺序往下写,基本不会出错:
3D 渲染,[时间/天气/地点的场景],
[主体 1:物种 + 性别 + 体型 + 服装 + 姿态],
[主体 2:物种 + 性别 + 体型 + 服装 + 姿态],
[道具 + 摆放位置],
[镜头景别 + 视角]
第一行的"3D 渲染"几乎是必加项,相当于给整张图定一个动画风格的基调。没有这一句,模型很可能直接出真实摄影风。
4.2 一个示例
假设我要做一张"夕阳下两只动物在公路边相遇"的图,提示词大概会这么写:
3D 渲染,夕阳西下的乡间公路旁的菜地里。
近景:一只胖橘猫,身穿蓝色印花衬衫、灰色短裤、灰色运动鞋,手里拿着一把铁锹,
旁边放着一筐装满土豆的塑料筐。
远景:一只年画风格的老虎,身穿黑色印花衬衫,开着一辆黑色轿车从公路上驶来,
透过车窗看着胖橘猫。
中景镜头,电影级调色,暖色调氛围光。
注意几个细节:
- 老虎只描写了上半身(黑色印花衬衫),没有描述裤子和鞋子。因为它在车里,下半身根本看不到,写了反而容易让模型纠结。
- 橘猫是全身可见的,所以从上衣写到鞋子。
- "近景"和"远景"分别交代主体在画面里的距离关系,模型会按照这个去构图。
4.3 服装统一性的重要性
如果一个故事里同一个角色会在多个镜头出现,所有镜头的服装、配色、特征必须完全一致,否则观众会立刻出戏。
我的做法是:写一个"角色卡",把每个角色的关键属性固定下来,每次生图都直接复制粘贴:
[角色 A]:胖橘猫,黄色橘色花纹,圆脸,黑色保安服套装,黑色保安帽(如戴)。
[角色 B]:年画熊猫,黑白经典花纹,圆耳朵,灰色囚服上衣(无裤子描写),坐姿。
[角色 C]:银发老虎,浅灰色虎纹,三眼线条,棕色西服西裤,棕色皮鞋。
这样不管这一集要做几个镜头,每次生图都不用重新发明轮子。
4.4 涉及职业敏感词的处理
涉及到一些角色身份的时候,提示词要做合规化转换。比如要表现"看守者"这个身份,与其写"警察",不如写"黑色保安套装"——既能拿到接近的画面效果,又不容易触发平台的敏感词审核。再比如要表现"办公室管理者",不写具体职务名,改写为"办公桌前坐着的角色"或"穿着深色西服的角色"。
4.5 当模型不听话的时候
图生不出预期的画面,常见的原因有四个,按出现频率排:
- 提示词太长、太啰嗦:模型抓不住重点,结果跑偏。解决办法是把无关紧要的细节删掉,只留核心元素。
- 互相冲突的描述:比如"夜晚"和"阳光斜射"同时写,模型不知道听谁的。
- 过于细节化的描写:比如要求"鞋子上有三条白色斜纹",模型在低算力模式下基本做不到。
- 角色姿态和场景不匹配:比如让一只猫"坐在椅子上同时开车",模型物理上想象不出来。
莫潇羽@无忆研习社 的建议是:第一版提示词写完后,自己读一遍,能不能脑子里直接想出这张画面?如果你都想不出,模型也想不出。
4.6 一个实操技巧:用即梦的"全图参考"复用画面元素
即梦电脑版有一个非常好用的功能叫"全图参考",可以把一张已有的图扔进去,然后告诉模型"在这张图的基础上做以下修改"。比如:
[参考图:办公室场景]
保留场景、家具、光线不变,
让画面中央的橘猫消失,门处于打开状态,其余不变。
这个功能在做"多镜头同场景串联"时极度有用——同样一个监狱单人房、同样一个办公室,你不用重新生成无数张图,只需要让某个角色出现或消失就行,背景的一致性能保证得非常好。
手机端目前还没有"全图参考"这个入口,但有一个简化版叫"图片参考",效果类似。
五、视频提示词:让角色真正"动起来"
图像搞定后,下一步是把静态图变成动态视频。视频提示词比图像提示词更挑细节,因为模型要同时理解"画面"和"时间"两个维度。
5.1 视频提示词的基本结构
[镜头类型/景别],
[主体描述(同图像提示词的角色卡)],
[主体的动作/表情/姿态],
[对话内容,用中文双引号包裹],
[镜头运动方式(推/拉/摇/不变)]
关键提醒:对话一定要用中文双引号"…"包裹,不能用英文引号也不能不加引号。即梦和可灵都把双引号识别为"这段是台词,需要让角色说出来"的信号,没有引号,模型很可能不会让角色开口。
5.2 一个完整的示例
全景镜头,
身穿黑色保安服套装的女性化黑猫,
看着手中文件,然后转头对身穿灰色囚服上衣的女性化熊猫说,
"时间到了,跟我来",
镜头保持不动。
注意:
- "女性化"是给角色性别打的标,决定声线。
- "转头对……说"是动作 + 触发对话的标准表达。
- 引号里是台词本体,模型会把它读出来。
- "镜头保持不动"是为了防止模型自作主张推拉镜头,导致主体位置偏移。
5.3 把性别、年龄、声线写进提示词
莫潇羽@无忆研习社 反复踩过的一个坑:不写性别和年龄,AI 会给你随机分配声线,男声变女声、年轻变苍老,都是常态。
解决办法是在每个说话角色后加一个声线标签:
(30 岁男声)
(25 岁女声)
(60 岁苍老男声)
(8 岁儿童声)
例如:
身穿黑色保安服的黑猫(30 岁男声)看着熊猫