真人版 AI MV 全链路拆解：从声音克隆到人物一致性,一篇文章把整个流水线讲透

本文由 莫潇羽@无忆研习社(www.wuyi.wiki) 撰写,转载请注明出处。

快速摘要

这篇文章把"AI 自动生成一支真人版 MV"这件事拆成七步,从写歌词、克隆声音、生成歌曲,到出主角图、做人物一致性、图生视频、对口型唱歌,再到最后剪映合成,每一步用什么工具、怎么写提示词、踩过哪些坑,我都会一次性讲清楚。 整条工具链可以简化成这样一句话:大语言模型负责剧本和分镜、Suno 负责声音和歌曲、图像模型负责静态画面、在线换脸工具负责锁死人物一致性、Grok Imagine 负责图生视频、即梦负责对口型、剪映负责最后合成。 文章里还会给出一套我自己反复打磨过的"人物一致性组合拳"——靠提示词加多图参考已经能搞定 70 分,剩下那 30 分的关键就是用换脸工具把脸"锁死",这套思路对真人 MV、短剧、广告片同样适用。

如果你只想拿走最实用的几条结论,这里先列出来:第一,先写词再出曲再出画面,情绪基调一锤定音;第二,Suno 声音克隆的样本质量决定输出像不像你;第三,人物一致性不要单押任何一种技术,组合拳才稳;第四,图生视频比文生视频可控太多,先准备好图;第五,关键镜头死磕,远景背影果断放行,精力分配是 MV 质量的隐形决定因素。 想看完整拆解,往下翻就行,后面每一步都有细节。

第 1 章 为什么真人版 AI MV 是创作能力的"试金石"

做一支真人版 AI MV,看上去只是把几段视频拼到一起,实际上把现阶段所有最难的 AI 创作环节都串了一遍。先说为什么——

第一,它对人物一致性的要求是顶格的。同一张脸要在唱歌镜头、骑车镜头、滑雪镜头、远景镜头里反复出现,只要其中一段脸"走样",整个 MV 的可信度就会塌掉一半。普通短视频可以靠剪辑技巧绕过去,MV 不行,因为观众的眼睛是死死盯着主角脸的。

第二,它对音视频同步要求很高。歌曲是一条主线,所有画面都要踩着节拍和情绪走,而对口型那一段更是 1 帧错位都明显。普通解说类视频音画对不齐还能忍,MV 一对不齐就出戏。

第三,它对工具协作的复杂度是叠加的。一支三分钟的 MV 背后,我自己粗略数了一下,涉及到的工具至少有六七个:写词的大模型、出音乐的 Suno、出图的图像模型、换脸的在线工具、出视频的 Grok Imagine、做对口型的即梦、剪辑的剪映。任何一个环节掉链子,前面再好的素材都没办法救。

所以我把这次的实操经验完整复盘出来,既是给自己做一份留档,也是希望给同样在折腾 AI 创作的朋友一份可以直接照抄的参考。整篇文章我会按真实的制作顺序往下走,先有词、再有曲、再有人、再有动、最后合成,每一步都聊一聊"为什么这么做"和"怎么做才稳",尽量避免那种"看完只觉得很厉害但不知道从哪下手"的尴尬。

第 2 章 整体技术栈先看一眼:七个工具一条主线

在动手之前,我习惯先把整条工具链画出来,这样过程中即使某个环节卡壳,也能知道自己在哪一站、要往哪儿走。下面这张流程图是我这次实际跑通的整条路:

flowchart TD
    A[大模型写歌词 + 风格提示词] --> B[Suno 克隆声音 + 生成歌曲]
    B --> C[剪映切音频:对口型用片段]
    A --> D[大模型规划分镜脚本]
    D --> E[大模型生成主角参考图]
    E --> F[在线换脸:锁死人物一致性]
    F --> G[Grok Imagine 图生视频]
    C --> H[即梦数字人对口型]
    F --> H
    G --> I[剪映合成最终 MV]
    H --> I
    I --> J[输出成片]

简单解释一下每个节点在做什么:

这条主线最关键的一点是:它不是单向流水线,而是有反馈循环的。比如换脸出来不像,要回到图像模型那一步重新生图;Grok Imagine 出的视频动作不对,要先回去用图像编辑功能改图;即梦出来的对口型嘴型偏差大,要回到剪映把音频段重新切一下。

我自己跑下来的感受是:绝大多数新手卡住的原因,不是某一个工具不会用,而是不知道自己当下应该回到哪一步重做。把整条链画清楚,后面遇到问题就有目标地往上回滚,而不是在同一个节点反复抽卡。莫潇羽@无忆研习社这边后续也会针对每个节点单独写更深的拆解,这一篇先把全流程过一遍。

第 3 章 第一步:用大模型写歌词与曲风提示词

整条链最上游的就是写词。我个人的偏好是先写词、再出曲、最后才考虑画面,因为歌词决定了整支 MV 的情绪基调,有了情绪基调,后面的分镜脚本、镜头节奏、画面色温才有锚点。

3.1 给大模型的最小可用提示词框架

写歌词的提示词其实不需要特别花哨,关键是把以下几个维度交代清楚:

帮我写一首中文流行情歌:
- 主题:[相遇/相恋/分别/重逢]
- 情绪:[温柔/治愈/略带忧伤/积极向上]
- 风格关键词:[抒情、流畅、画面感强]
- 副歌要求:[朗朗上口,有 hook,适合做 MV 高潮段]
- 长度:[主歌 + 副歌 + 桥段,大约 16 行]
请同时给出 Suno 的英文风格提示词。

这个框架的核心思路是:让大模型一次性把词和曲风提示词都生成出来,免得后面在两个工具之间来回切换。生成完之后我会先快速通读一遍,主要看三件事:第一,有没有词不达意的句子;第二,副歌部分够不够顺口;第三,有没有特别拗口的字音(比如平翘舌混在一起容易让 AI 唱跑调)。

3.2 中文提示词 vs 英文提示词,该选哪个

这是个老问题。我自己跑了一阵子下来的结论是:生成中文歌曲时,曲风提示词用英文更稳。

原因很现实:中文风格提示词偶尔会被模型"读进"歌词里跟着唱出来,出现"钢琴弦乐温柔抒情"这种字面被唱出来的乌龙。换成英文之后这种情况会明显少很多,模型会把英文风格词当作纯粹的控制信号,而不是要演唱的内容。

风格提示词样例(英文版):
romantic ballad, warm female and male duet, soft piano,
acoustic guitar, light strings, mid-tempo, emotional, 
cinematic build-up, suitable for MV soundtrack

3.3 别让 AI 帮你定标题

我个人的小执念:歌名最好自己定,不要让 AI 自动生成。AI 自动生成的歌名经常太"AI",比如"心之回响""时光絮语",有种千篇一律的味道。哪怕自己临时取一个普通的两到四字标题,都会让整首歌的辨识度高出一截。

3.4 歌词的节奏感:别让 AI 唱"散文"

这个坑我吃过亏。大模型默认生成的歌词,经常每一句的字数差异很大:这一句 7 个字,下一句 13 个字,再下一句又 5 个字。这种"散文化"的歌词扔到 Suno 里,AI 演唱时会努力把它们塞进同一段旋律里,结果就是有些字被拉得很长、有些字被一笔带过,听感非常奇怪。

修正办法是,在写词的提示词里加一句节奏要求:

请确保:
- 主歌每行字数控制在 8-12 之间,字数尽量接近
- 副歌每行字数控制在 7-10 之间,要有押韵
- 整首歌避免出现连续两行字数差异超过 4 的情况

加上这句之后,生成的歌词会"歌曲化"很多,Suno 演唱时也更稳。

3.5 字音的小坑:平翘舌别混在 hook 里

副歌(hook)是 MV 的最高潮,也是观众记忆点最强的部分。如果副歌里塞了一堆平翘舌混搭(比如"自""字""刺""赤"放在一起),Suno 演唱时很容易出现咬字不清的情况,听感会拉胯。

简单的自检方式:写完副歌之后,自己念一遍,如果你念都觉得拗口,AI 唱出来大概率会更糟。这种地方我一般会让大模型"在保持原意的前提下,把这一句改成更顺口的写法",改一两次基本就能解决。

写词这一关相对最轻松,但情绪基调要在这里一锤定音,后面所有的画面风格、色温、节奏点都要围绕它走。情绪不清,后面的图越生越乱。

第 4 章 第二步:用 Suno 克隆自己的声音并生成歌曲

歌词搞定之后,就进 Suno 出歌。这一步是整条链里最容易让人"上瘾"的一段,因为 Suno 现在已经把声音克隆这件事做得相当成熟了。

4.1 Suno 是什么 + 套餐怎么选

简单一句话:Suno 是目前最主流的 AI 音乐生成平台之一,文本到音乐的整套链路它都能跑,从风格控制到歌词输入,再到声音个性化。

关于套餐,我自己的建议(以撰文时主流套餐为准,价格请以 Suno 官网当下显示为准):

之所以会建议升级到付费档,不光是为了那点额度,更核心的是版权:免费账号生成的歌曲在分发上是有限制的。 如果你打算把 AI MV 发到平台上,起码要把这一步走通,否则后面所有的努力都可能因为版权问题白做。这一点和"赚不赚钱"无关,而是基本的合规要求。

4.2 声音克隆(Voices / Personas)的本质

Suno 在 v5.5 之后把声音相关功能进行了重整,当前主界面里的入口叫 Voices,旧的 Personas 入口被合并到 Voices 之下,但 Style Persona(风格人格)依然保留。这一点很多旧教程没更新,容易把人带偏。

声音克隆要先理解一件事:Suno 做的不是"逐帧复刻你的声音",而是从你的样本里抽出音色、音域、咬字习惯,然后在生成新歌时把这些特征作用到 AI 的演唱模型上。 通俗讲,它学的是"你这种嗓子大概什么气质",而不是"你怎么唱这首歌"。

正因如此,录制样本的质量直接决定了克隆出来像不像你:

• 录音环境要干净,没有混响、没有背景音乐
• 总时长建议 3–5 分钟,长不一定好,要的是音域和情绪的覆盖广度
• 用你平时唱歌的状态去录,不要刻意捏嗓子或装病恹恹
• 一次性录完,中间不要换设备、换房间

4.3 在 Suno 里做声音克隆的标准动作

我自己常用的路径,简化成下面这个流程:

flowchart LR
    A[准备一段干净的清唱样本] --> B[进入 Create 页面]
    B --> C[切到 Voices 选项卡]
    C --> D[Create New Voice / 录制或上传]
    D --> E[Suno 后台分析与验证]
    E --> F[完成,出现在我的 Voices 列表]
    F --> G[在 Custom Mode 里把它选成主唱]

特别提醒一句:Voices 功能现在通常要求做一次"读句验证",系统会随机给你一句话让你念,用来比对你上传的声音是不是本人。这是平台为防止用别人的声音去仿冒而做的合规设计,操作上多花不到一分钟,不要跳过。

4.4 Custom Mode 里那三栏怎么填

进到 Create 页面后,核心就是这三栏(Custom Mode 下):

• Lyrics(歌词):把第 3 章生成的歌词整段贴进来,可以保留 [Verse] [Chorus] [Bridge] 这类结构标签
• Style(风格):把英文风格提示词贴进来,长度控制在 20 个词以内为宜
• Title(标题):自己定的歌名,加一个版本号比如 V001,方便后面挑歌时区分

4.5 "抽卡式"挑歌的实战经验

要做好心理准备:AI 音乐生成本质上是带随机性的"抽卡"过程。每次点击 Create 都会出两个版本,差别可能很大。我自己一首歌经常要生 20-30 个版本才挑出最终能用的那一首。

挑歌的时候不要纠结"它哪里像我哪里不像我",只看一条标准:好不好听。具体可以分成三个判断维度:

1. 旋律记忆点:听一遍能不能哼出副歌?能,就是合格
2. 情绪匹配:情绪走向是不是和歌词的画面感对得上?
3. 演唱完成度:有没有破音、咬字含糊、跑调的硬伤?

通过这三关之后,你大概率会留下三到五首候选,再做 A/B 对比就能定下来。

4.6 输出格式的选择

最终下载时,Suno 提供 MP3 和 WAV 两种格式(WAV 需要付费账号)。

• 如果只是发短视频平台、做日常分享,MP3 足够
• 如果要进剪映做后期、做精细对齐,强烈建议下 WAV,无损,后期推平、压限、加混响的余地更大

到这里,一首属于你自己声音的歌曲就有了。下一步,就要开始为这首歌"配画面"。

第 5 章 第三步:用大模型生成人物一致性参考图

歌有了,接下来就是出主角。这一步是真人 AI MV 最难的一关,因为人物一致性是 AI 视觉生成至今没有被完全解决的问题之一。我会拆开来讲,从最基础的"参考图怎么选"开始。

5.1 真人 MV 最稳的开局:用一组老照片当参考

我自己的做法是优先用真人照片当参考图,而不是凭空让模型"画一个我"。

为什么这么干?原因有两层:

一是,真人照片本身就携带了大量"长相之外"的信息——气质、表情习惯、眼神方向、肤色光泽。这些都是文字提示词很难精确描述出来的。

二是,多张参考图一起上,比单张更稳。我一般会准备 3–5 张参考图,要求是:

• 至少一张正面清晰的脸
• 至少一张侧脸或四分之三角度
• 如果有,补一张自然光下的中景(用来给模型"参考肤色")

5.2 多图参考的提示词结构

把照片传上去之后,提示词的写法很有讲究。我的模板是这样:

以上传的三张照片为参考,严格保持人物一致性。
场景:[在录音棚唱歌 / 街头骑车 / 雪山滑雪]
镜头:[特写 / 中景 / 远景],[正面 / 侧面 / 过肩]
光线:[轮廓光 / 自然光 / 暖色调]
氛围:[安静 / 温柔 / 紧张]
比例:16:9
不要改变人物的五官特征,保持鼻型、眼型、脸型一致。

里面有几个关键技巧:

• "严格保持人物一致性"这句话,一定要写在最前面。模型对开头的指令权重更高
• 比例放在最后。模型容易把"