本文由 莫潇羽@无忆研习社(www.wuyi.wiki)撰写,转载请注明出处。
快速摘要
一句话说透:AI视频做不稳,九成不是提示词不行,也不是模型不够强,而是工作流选错了。 市面上主流做法可以粗分成两条路——一条是"丢一堆参考图加一段文字、让AI一次直出"(我习惯叫它多参考直出流),另一条是"一个镜头对应一张图、人先把画面钉死、再让AI逐镜执行"(也就是常说的图生流)。 前者上手快、效率高,适合快速出效果和批量内容;后者前期麻烦,但稳定、可控、省算力,能做到真正的导演级控片。这篇长文会把图生流的完整链路拆开讲:从"创意先行、表现形式后定",到产品、风格、人物、场景、分镜五类参考图怎么一层层锁死画面,再到"边生边剪"决定成片质感,最后给一份能直接照着走的七步速查表。核心心法只有一句:别让AI牵着你走,让它只在你的工作流里干那 40% 到 60% 的活。 另外,文中所有涉及平台、价格、模型能力的说法都会随时间变化,请以官方实时信息为准;作品发布时也别忘了按国内规定做好AI内容标识。想看完整拆解,往下翻。
一、先想明白:为什么你的片子"这条能用、下条就崩"
我做AI视频这两年,被问得最多的一类问题,几乎都长一个样:
"为什么我自己独立做片子的时候,总是不稳定?上一条觉得还挺帅,下一条直接崩掉,还完全不知道怎么改。"
"为什么我的镜头一动人物就变形?产品的 logo 换个画面就没了?同一个角色,这一帧和下一帧像两个人?"
"为什么镜头和镜头之间接不上,节奏总是怪怪的?"
一开始我也以为这是提示词功力的问题,后来跟大量做片子的朋友聊下来,我发现一个很扎心的规律:这些看起来五花八门的毛病,九成以上都能追溯到同一个根子上——工作流用错了。
所以这篇文章里,我不打算给你安利"哪个平台最神""哪个模型最强"。原因很简单,工具是会被替代的。今天你把某个平台当成救命稻草,明年它涨价、降质、改规则,你辛辛苦苦攒下来的"手感"可能一夜清零。真正能沉淀下来、越用越值钱的,是一套属于你自己的制作思路。
我自己折腾下来最大的体会是:AI只是我流程里的一件工具,不是我的主子。理想状态下,它最好只负责整条片子里 40% 到 60% 的活,剩下的判断、设计、节奏,得攥在自己手里。如果你 90% 都压在AI身上,那模型一升级、一变脸,你的产出立刻跟着抖三抖,稳都稳不住。
说得再直白点——这套方法学到手,最大的收获不是某一条爆款,而是你从此有了"判断力"。 画面崩了,你不再是无头苍蝇一样乱改提示词、疯狂抽卡,而是能一眼判断:到底是参考图缺了,是信息密度不够,是风格没锁住,还是分镜本身就设计错了。这种判断力,才是让你不被任何单一平台、单一模型绑架的底气。
接下来的内容会有点长,一次看不完也没关系,收藏了慢慢啃。我会先把两条路线的底层逻辑讲清楚,再一步步把图生流的完整流程摊开给你看。
二、两条路线的分野:多参考"直出流" 对比 图生"控片流"
在讲具体怎么做之前,必须先分清目前市面上这两种主流打法。它们表面上都叫"做AI视频",但背后的创作逻辑,是两个世界。
2.1 多参考直出流:把方向交给AI
所谓多参考直出流,就是现在很多AI视频工具里最流行的玩法:上传一堆参考图——主体参考、人物参考、产品参考、场景参考——再配上一大段文字描述,然后让AI自己去理解你的意图,一口气生成一段视频。这段视频可能是五秒一条、十秒一条,也可能十几秒一条。
举个通用化的例子帮你建立画面感。假设你上传了一张男主草图、一张女主草图、一张产品草图、一张街道场景草图,再敲进去一段文字:
"男主在雨夜街头遇见女主,两人因为一顶帽子有了交集;镜头从街道远景推进到近景,最后产品落在画面中央;整体风格要高级电影感、带点浪漫。"
然后AI就会拿着这几张图和这段话,自己琢磨着"直出"一段视频。它的典型逻辑就是:我给你一个大方向,剩下的你来发挥。
这条路子最大的好处,是上手简单、门槛低。传统影视里那一堆东西——景别、运镜、灯光逻辑、剪辑节奏——从零学是有门槛的;而多参考直出流几乎不要求你懂这些,丢几张图、写几句话,就能得到一条"看起来还不错"的片子。它的第二个好处是效率高,特别适合追求批量的场景,比如AI漫剧,一天要产出好几集,这种模式确实快。
也正因为这两点,很多入门教程和博主都会优先推荐新手从它入手。这没错。但你一旦真正独立去做一个完整片子,很快会撞上它的天花板。
2.2 多参考直出流的三大硬伤
我把它的问题归成三条,都不是"它做不出好效果",而是"它把本该你控制的东西,全交给了AI"。
第一,参考越多,AI越懵。 很多人以为参考图丢得越多越准,其实恰恰相反。当你同时塞进人物参考、产品参考、场景参考、构图参考……AI要在同一轮生成里同时判断:谁是主体?哪张图更重要?产品要还原到什么程度?场景参考哪部分风格?文字和图片打架时听谁的?信息量一大,AI的注意力就分散了,抓不住重点。这就是我后面会反复讲的"注意力"问题。
第二,一段文字塞太多镜头任务,它只会抓最显眼的。 很多人喜欢把一整段剧情直接写进一句话里,什么"男人走进便利店看到女孩买咖啡,想起十年前的恋人,镜头从窗外穿过雨滴绕过货架停在帽子上,氛围要孤独克制又浪漫"。这段话当文学描写很美,但对AI来说不是一个清晰的镜头任务,而是一整篇"导演阐述"。结果往往是:它只抓住了"雨夜、便利店"这种最抢眼的信息,而你真正想要的人物气质、产品出现方式、情绪节奏,全被忽略了。
第三,出了错极难定位。 因为它是"一堆参考 + 一段文字 + 一次综合生成"的黑箱结果,画面不对的时候,你根本判断不出是哪一环坏了:人物不像,是人物参考图权重不够,还是文字描述干扰了它?产品变形,是产品图权重低,还是你设计的动作太难?你只能靠反复试——换措辞、删文字、调权重、换模型、疯狂抽卡。最后哪怕蒙对了一条,你都未必知道这次为什么成了。
还有一个更隐蔽的坑:同质化。 当所有人都用同一个模型、同一套默认玩法,做出来的东西自然越来越像——很多片子一眼就能认出是哪个平台出的。模型能力是四分,大家做出来都是四分;哪天模型升到八分,大家一起变八分。你以为你在进步,其实只是被模型拖着走,一旦平台改规则、涨价、降质,你的制作能力就被打回原形,因为你的能力压根不是建在自己的工作流上,而是建在平台身上。
2.3 图生控片流:一个镜头一张图,人先设计、AI执行
我这篇文章重点讲的,是另一条我自己一直在用、也更推荐的路子——图生流。它的核心不是"一次性直出完整视频",而是先把作品拆成一张图、一个镜头,再逐个去控制。
它和多参考直出流最根本的区别,用一句话概括:
一个是让AI当"随机发挥的创作者",一个是让AI当"听话执行的调度工具"。
图生流的好处很难一两句说清,因为它渗透在每一个环节里。做起来是会麻烦一点,但换来的是更稳定、更可控、更省成本,也更适合做商业交付。它大致分成六类参考图依次生成——产品、风格、人物、场景、分镜,配合最后的剪辑与声音设计,才拼出一条能拿得出手的片子。后面我会一类一类拆开讲。
2.4 一张表看懂两条路怎么选
我把两条路线的关键差异整理成一张对照表,你按自己的项目对号入座就行:
|
维度 |
多参考直出流 |
图生控片流 |
|
核心逻辑 |
丢参考 + 写文字,一次直出 |
一镜一图,人先定帧、AI后执行 |
|
上手难度 |
低,新手友好 |
偏高,需要一点导演思维 |
|
出片速度 |
快,适合批量 |
慢一点,但返工少 |
|
稳定性/可控性 |
弱,容易漂移崩坏 |
强,画面基本钉死 |
|
出错后修改 |
难定位、常整条重来 |
出错点小、局部就能修 |
|
算力/积分消耗 |
试错都压在贵的视频阶段 |
试错压在便宜的图片阶段 |
|
适合场景 |
灵感探索、AI漫剧、量大不苛求质感 |
商业广告、品牌片、追求质感的剧情短片 |
再用一张流程简图,直观感受两者的差别:
flowchart LR
subgraph A[多参考直出流]
A1[堆一堆参考图] --> A2[写一大段文字] --> A3[AI一次直出15秒] --> A4{画面对不对?}
A4 -- 不对 --> A2
end
subgraph B[图生控片流]
B1[定创意方向] --> B2[逐类做参考图] --> B3[分镜图: 一镜一帧] --> B4[单镜生成3到4秒] --> B5{单镜对不对?}
B5 -- 不对 --> B3
B5 -- 对 --> B6[边生边剪成片]
end
要强调的是,这不是"图生流吊打多参考流"的意思。 如果你做的是AI漫剧,追求的就是效率,观众也不那么在意每一帧的质感,那多参考直出流完全够用,甚至更划算。工具没有高下,只有合不合适。但只要你的目标是"更优质、更稳定、更有质感"的作品,图生流这条路会走得更踏实。
顺带说一句合规的事:现在国内主流平台(像即梦、可灵、海螺、Vidu、通义万相、智谱清影这些)大多国内可直连、原生支持中文,做起来省心。也有一些以角色一致性见长的境外图像与视频模型,能力确实强,但境外模型的使用需要遵守国内网络与内容管理的相关规定,本文不展开任何绕开访问限制的操作,涉及时我会优先给国内可访问的合规替代方案。另外提醒一句,各平台的积分定价、免费额度、模型能力变动都很快,本文写到的都是写稿时的近似情况,请务必以各平台官方页面的实时信息为准。
三、动手之前先立规矩:创意不等于表现形式,先摸清AI的能力边界
进入具体流程之前,有一个观念得先掰扯清楚,不然后面全是白费功夫——创意,不等于表现形式。
3.1 先有创意方向,别急着把表现形式钉死
我举个通用化的例子。假设你想做一条概念短片,主题是"当代年轻人被手机吞掉的时间"——一个人不停地划手机,仿佛把自己的一生也一并划走了。这个"用滑动手机来隐喻人生流逝"的想法,就是你的创意。
但能表达这个创意的表现形式,可以有很多种。你最初可能设想:前景放一部手机,手指往上一划,背景里的人生画面跟着往上滑,滑一下人生阶段就猛地推进一格,冲击力拉满。这个想法听着很带感,可真到制作阶段,你大概率会发现它没那么容易实现。
为什么?因为AI当前还有一堆能力边界,你不真正上手,很难提前知道它到底能不能干成这件事。如果你一开始就把某个高难度的表现形式焊死,然后一根筋跟它死磕,很可能砸进去大把时间和积分,最后还是做不出来。
所以在图生流里,我的建议是:先定创意方向,表现形式留到制作过程中动态调整。 当你做出前几张图、试过前几个镜头,你会慢慢摸清——针对你这个项目、这个模型,它擅长什么、不擅长什么,哪些效果能稳定复现,哪些怎么都出不来。这时候再顺着AI的实际表现,去挑一种"它能稳定实现"的方式来表达同一个创意。这不是放弃创意,而是换一条更好走的路把创意落地。
做AI漫剧、剧情短片也是一个道理。你想讲一个关于重逢、关于亲情的故事,故事本身是创意;但它最后用什么画风、什么节奏、什么方式切入,不必一开始就全定死。我们要做的,不是逼AI完全服从脑子里那个画面,而是先锁方向、再按AI能实现的程度去找最合适的落地方法。
3.2 一份"AI当前不擅长什么"的清单,先收好
为什么强调要先摸边界?因为AI很擅长生成"看起来很像"的东西,却不一定能生成"结构严格正确"的东西。下面这张表,是我踩坑踩出来的一份"高风险清单",动手前先心里有数:
|
容易翻车的类型 |
具体表现 |
应对思路 |
|
文字生成 |
错别字、中英文混乱、小字不可读、logo 字母出错 |
关键文字/logo 尽量后期贴,别指望AI直出 |
|
精密结构 |
器械、乐器、精密机械零件、汽车细节容易变形 |
用参考图死死锁住结构,或避开正面特写 |
|
复杂动作 |
打斗、舞蹈、高难度肢体、复杂手部动作不稳 |
拆成短镜头、单独做手部/动作参考 |
|
长镜头连续性 |
一个长镜头里连续叙事,越到后面越崩 |
一律拆成三到四秒的短镜头 |
|
物理规律 |
玻璃破碎、吃东西、物体状态变化等交互不自然 |
回避高难度物理,或多抽几次挑可用的 |
|
主体一致性 |
产品比例、logo 位置、包装文字、材质细节难统一 |
前期用高质量参考图把主体钉死 |
|
风格统一 |
没锁风格时,不同镜头像来自不同片子 |
先做风格参考图,见第五章 |
这张表的意义不是劝你放弃创意,而是让你在设计表现形式的时候,主动绕开AI的雷区。现在的AI一直在进步,但它还不是万能的——很多时候不是你的创意不好,而是当前阶段实现它的成本太高。聪明的做法是顺势而为。
3.3 一个特别实用的判断标准:"连续三遍不对就停手"
给你一个我一直在用的土办法:同一个东西,你生成第一遍不好,可能只是算力分配或AI随机性的问题,再试试无妨;但如果你连续生成超过三遍都不对,就别再跟它较劲了。 这时候大概率不是AI的问题,而是你的思路或方法错了。
停下来,冷静想三件事:是哪一部分信息密度不够?是哪张参考图缺失了?还是哪句