本文由 莫潇羽@无忆研习社(www.wuyi.wiki)撰写,转载请注明出处。
快速摘要
读完这篇文章你会得到什么?——一份可实操的 AI 视频自动化工作流手册。2026 年,AI 视频生成已经跨过了一个关键拐点:你不再需要自己在各个工具之间来回搬运素材、手写提示词、逐段拼接视频。借助 GPT-5.6 系列模型和 OpenAI Codex 这个 AI Agent 平台,再通过 MCP 协议或 CLI 命令行打通 Higgsfield、即梦(Seedance 2.0)等视频生成平台,你可以让 AI 自己完成"理解需求→写剧本→生成角色图→产出一段段分镜→自动拼接成片"的全链路。本文会手把手拆解两套主流方案:一套是 Codex + Higgsfield MCP 的云端自动化路线,另一套是 Codex + 即梦 CLI 的多工具联动路线。每套方案都有具体的配置步骤、提示词策略和踩坑经验。想看完整拆解,往下翻。
一、当 AI Agent 学会自己拍视频:2026 年的一个周末实验
先说一个我最近的体验。
某个周六下午,我给 Codex 发了一段话,大意是:"帮我做一个一分钟的短片,废土风格,男女主角在废弃工厂里对决,要有紧张的打斗和对话,最后自动拼成成品。"然后我就去泡了杯咖啡。大概四十分钟后回来,桌面上已经躺着一个完整的 MP4 文件——从剧本、角色设定、分镜脚本,到每一段视频的生成和拼接,全是 AI 自己干的。
说真的,不是炫技。我自己折腾 AI 视频创作快两年了,从最早的 Midjourney 出图再手动导入剪辑软件,到后来用 Runway 一段一段地生成,再到今年年初试着用各种 MCP 连接器做半自动——这次的感觉完全不一样。当 Agent 真的能自己拿主意的时候,创作者的角色在发生变化:你不再是一个"操作员",更像是一个"导演"或者"制片人",只需要把创意方向讲清楚,其他的交给 AI 去执行。
这篇文章就是要把我踩过的坑、跑通的流程、总结出来的方法论,完整地摊开来跟你聊。
莫潇羽@无忆研习社,这几年一直在折腾 AI 创作工具链的自动化。下面的内容,全是基于我个人的实操体验整理而成,没有玄学,只有能跑通的步骤。
这篇文章会覆盖两条主流的技术路线:
- 路线 A:GPT-5.6 + Codex + Higgsfield MCP。走云端多模型路线,Higgsfield 本身聚合了 Seedance 2.0、Veo 3.1、Kling 3.0 等十几个视频模型,通过 MCP 协议让 Codex 直接调用,不用在多个平台之间切换。
- 路线 B:GPT-5.6 + Codex + 即梦 CLI。走字节跳动 Seedance 2.0 的原生路线,通过即梦的命令行接口让 Codex 操控浏览器自动完成图片和视频的生成与拼接。
两条路各有优劣,后面会详细对比。另外,本文演示中使用的角色名称(林夕、凯恩)和故事设定均为虚构,仅用于说明技术流程。你在实际操作时完全可以替换成自己的创意。
先不管走哪条路,有几样基础的东西得先搞明白。往下看。
二、先搞懂三样东西:GPT-5.6、Codex 和 MCP 协议
在动手之前,有三样东西必须讲清楚。它们是这个工作流能够运转的底层支撑,理解之后你才不会被各种"连不上""报错""不知道发生了什么"的情况卡住。
2.1 GPT-5.6:三个"段位",各有所长
2026 年 6 月,OpenAI 正式发布了 GPT-5.6 系列模型。这次的命名方式挺有意思,用了太阳、地球和月亮来区分三个层级:
|
模型名称 |
定位 |
核心特点 |
适合场景 |
|
GPT-5.6 Sol(太阳) |
旗舰 |
最强推理能力,Agent 任务首选 |
复杂自动化工作流、长剧本创作、多步骤决策 |
|
GPT-5.6 Terra(地球) |
平衡 |
性能比肩前代 GPT-5.5,成本减半 |
日常视频生成、常规提示词撰写、中等复杂度任务 |
|
GPT-5.6 Luna(月亮) |
轻量 |
极低成本,快速响应 |
批量生成简单短视频、快速测试 Prompt |
对于咱们要做的视频自动化工作流来说,Sol 是首选。因为从写剧本到生成分镜提示词再到判断视频质量,每一步都对模型的推理深度有要求。Terra 适合在已经把工作流跑顺之后做日常批量任务。Luna 的话,处理一些简单的短视频脚本生成绰绰有余。
跟上一代比起来,GPT-5.6 系列最大的提升在于"Agent 原生能力"——它不是简单地把对话能力增强了,而是从底层就为"自主代理工作"做了优化。上下文窗口拉到了 105 万 token,最大输出 12.8 万 token。这意味着它可以在一轮对话里处理一整部短片的全部素材和提示词,不会因为上下文不够而"失忆"。
2.2 Codex:它不只是个写代码的
很多人对 Codex 的印象还停留在"GPT 的编程助手",这其实已经是老黄历了。
2026 年的 Codex,准确地说,是一个 AI Agent 操作系统。它能做的事情包括但不限于:
- 读写你电脑上的文件(项目文件夹级别的操作)
- 在终端里执行命令(安装依赖、运行脚本)
- 操控浏览器(自动登录网站、填写表单、点击按钮)
- 调用外部 API 和 MCP 服务
- 跨应用协作(Slack、邮件、GitHub 等 90+ 集成)
对于我们做视频自动化这件事,Codex 最核心的价值在于:它能把"在网页上点点点"这个动作变成自动化的。以前你得自己打开即梦网页、粘贴提示词、点击生成、等待、下载、再上传到剪辑软件……现在 Codex 可以替你完成这些机械操作,你只管确认质量和方向。
Codex 目前有 macOS 和 Windows 桌面版,也支持 iOS 和 Android。桌面版的体验最完整,因为它可以直接访问本地文件系统和终端。
2.3 MCP 协议:AI 世界的"万能转接头"
MCP 全称 Model Context Protocol(模型上下文协议),最早由 Anthropic 在 2024 年底推出,到了 2026 年已经成了 AI Agent 连接外部工具的行业标准。
你可以把 MCP 理解成 AI 的 USB-C 接口。在没有 MCP 之前,如果你想让 GPT 操作 Higgsfield 生成视频,开发者需要专门为 Higgsfield 写一套集成代码。换了即梦又得再写一套。有了 MCP 之后,Higgsfield 提供一个 MCP Server,GPT(作为 MCP Client)直接通过标准协议发现和调用它的全部功能,不需要任何定制开发。
用一个简单对比来说清楚:
|
没有 MCP 的时代 |
有 MCP 的现在 |
|
每个工具单独写集成代码 |
工具提供标准 MCP Server,一次配置 |
|
切换工具=重新开发 |
换工具=换一个 MCP 连接地址 |
|
AI 不知道工具有哪些能力 |
MCP Server 自动告知 AI 可用的全部功能 |
|
人工手动在工具间搬运数据 |
Agent 通过 MCP 自动完成数据流转 |
对我们做视频自动化的场景来说,MCP 的妙处在于:你告诉 Codex"帮我用 Higgsfield 生成一段十秒的废土风格视频",Codex 会通过 MCP 自动了解到 Higgsfield 支持哪些模型、需要什么参数、积分怎么扣,然后自己决定用哪个模型、写什么提示词、怎么提交生成任务——全程不需要你教它每一步怎么做。
好了,基础概念就到这里。下面来认识一下我们要联动的那两个视频生成平台。
三、工具链总览:AI 视频生成平台怎么选
目前市面上能打的 AI 视频平台不少,但能和 Codex 通过 MCP 或 CLI 做深度联动的,主要有两个方向。我先帮你梳理清楚,再做选择。
3.1 Higgsfield AI:多模型聚合的"创意操作系统"
Higgsfield 这家公司 2023 年由前 Google Brain 工程师创立。2026 年初,Higgsfield 宣布完成 8000 万美元的 A 轮扩展融资,使 A 轮融资总额达到 1.3 亿美元,估值达到约 13 亿美元,投资方包括 Accel、Menlo Ventures 和 GFT Ventures 等知名机构。它最大的特点是不自己训练视频模型,而是聚合了市面上几乎所有主流模型:
|
模型名称 |
出品方 |
擅长方向 |
Higgsfield 集成方式 |
|
Seedance 2.0 |
字节跳动 |
文生视频、图生视频、首尾帧控制 |
MCP / CLI / 网页端 |
|
Veo 3.1 |
|
高真实感视频 |
MCP / CLI / 网页端 |
|
Kling 3.0 |
快手 |
人物动作流畅度 |
MCP / CLI / 网页端 |
|
Sora 2 |
OpenAI |
复杂场景理解 |
MCP / CLI / 网页端 |
|
WAN 2.6 |
阿里 |
中文语义理解 |
MCP / CLI / 网页端 |
|
Hailuo |
MiniMax |
快速生成 |
MCP / CLI / 网页端 |
对于创作者来说,Higgsfield 的核心优势一句话就能概括:在一个地方用同一个积分体系调用所有模型。你不用在即梦充一笔、在 Runway 充一笔、在 Kling 充一笔——Higgsfield 帮你统一了入口和计费。
Higgsfield 于 2026 年 4 月 30 日正式发布了官方 MCP Server。这里有一个需要澄清的背景:Higgsfield MCP Server 最初是面向 Anthropic 的 Claude Code 设计的,发布时的官方教程和社区案例也大都围绕 Claude Code 展开。但由于 MCP 本身是一个开放标准协议,任何支持 MCP Client 的 AI Agent 平台——包括 OpenAI 的 Codex、ChatGPT、Antigravity、Gemini CLI 等——都可以通过同一个 MCP 端点连接 Higgsfield。换句话说,Higgsfield MCP 不挑"宿主",只要你的 AI 工具支持 MCP,就能接上去用。
连接成功后,Codex 能看到 Higgsfield 上所有可用的模型和参数,你可以直接用自然语言说"用 Seedance 2.0 生成一段十秒的好莱坞运镜视频",Codex 会自行选择正确的模型和参数来完成。
Higgsfield 的订阅从每月 15 美元(Starter)到 129 美元(Ultra)不等,不同套餐对应不同的月积分额度。积分价格变动很快,上面是写稿时的近似行情,请以官方定价页面的实时数据为准。
3.2 即梦 / Seedance 2.0:字节跳动的原生武器
即梦是字节跳动旗下的 AI 内容创作平台,底层模型是 Seedance 系列。2026 年 2 月发布的 Seedance 2.0 在 Artificial Analysis 的盲测榜上以 Elo 1269 分登顶,击败了 Veo 3 和 Sora 2,这在当时是相当炸裂的消息。
Seedance 2.0 的核心能力:
- 文生视频:根据文字描述直接生成视频
- 图生视频:上传参考图,让画面动起来
- 首尾帧控制:指定开头和结尾画面,AI 自动补足中间过渡(这个功能做转场特别好用)
- 运镜控制:推拉摇移等专业镜头语言
- 口型同步:配合音频实现人物说话效果
Seedance 2.0 还有一个"极速版"(Fast),牺牲一点画质换取更快的生成速度,适合做快速原型和批量内容。
在国内使用即梦,登录需要 +86 手机号,付费通过微信支付。新注册账户一般会有免费试用积分。境外用户可以通过 Dreamina(国际版)访问,但功能上有些差异。关于积分价格,即梦也经常调整,截止写稿时 Seedance 2.0 专业版 API 大约 0.247 美元/秒,极速版约 0.022 美元/秒——同样,具体以官方实时数据为准。
3.3 两条路线,怎么选?
|
维度 |
Codex + Higgsfield MCP |
Codex + 即梦 CLI |
|
模型丰富度 |
⭐⭐⭐⭐⭐ 15+ 模型任意切换 |
⭐⭐⭐ 主要用 Seedance 2.0 |
|
国内访问便利度 |
⭐⭐⭐ 境外平台,需注册 |
⭐⭐⭐⭐⭐ 国内原生,手机号登录 |
|
MCP 集成成熟度 |
⭐⭐⭐⭐⭐ 官方 MCP Server |
⭐⭐⭐ 走 CLI + 浏览器操控 |
|
自动化深度 |
⭐⭐⭐⭐⭐ Codex 原生调用 |
⭐⭐⭐ 需要 Codex 模拟浏览器操作 |
|
视频质量上限 |
⭐⭐⭐⭐⭐ 多模型可选最优 |
⭐⭐⭐⭐ Seedance 2.0 盲测第一 |
|
成本可控性 |
⭐⭐⭐ 统一积分但价格偏高 |
⭐⭐⭐⭐ 原生积分,经常有活动 |
简单说:如果你追求模型选择的灵活性和自动化深度,选路线 A(Higgsfield);如果你更看重国内使用的便利性和 Seedance 2.0 的原生画质,选路线 B(即梦)。我自己两条路都跑通了,后面会分别给出详细步骤。
3.4 成本估算:跑一个一分钟短片大概花多少钱
很多人关心这个。我以一个典型的一分钟双人对决短片为例,给出大致的成本估算。注意下面是写稿时的近似行情,实际价格随时在变:
|
环节 |
消耗项 |
路线 A(Higgsfield) |
路线 B(即梦) |
|
角色图生成 |
2张角色三视图 |
约 $0.3 到 $0.5 |
约 30 到 50 积分 |
|
场景参考图 |
3-5张场景图 |
约 $0.5 到 $1 |
约 50 到 80 积分 |
|
视频分镜 |
4段×15秒,480p预览 |
约 $2 到 $4 |
约 360 积分 |
|
高清重生成 |
替换不满意的镜头 |
约 $1 到 $2 |
约 100 到 200 积分 |
|
GPT-5.6 API |
剧本+提示词撰写 |
Plus订阅内包含 |
Plus订阅内包含 |
|
Codex 平台 |
任务编排 |
Plus订阅内包含 |
Plus订阅内包含 |
|
合计(估算) |
— |
约 $4 到 $8 |
约 500 到 700 积分 |
如果再加上 ChatGPT Plus 的月费(15/月)或即梦的积分包,算下来一个一分钟短片的完整制作成本大约在 5 到 10 美元之间。对比传统视频制作,这个成本已经低到不可思议。但也要注意——如果你经常翻车重来,成本可能轻松翻倍。最好的省钱策略就是把前面提到的提示词模板跑熟,减少无效生成。
AI 视频的价格变动非常快,上面是写稿时的近似行情,请以各平台官方定价页面的实时数据为准。
四、环境搭建:从零开始配置 Codex + 外部工具联动
这一章是实操部分的第一站。不管你选路线 A 还是路线 B,Codex 的安装和基础配置都是共通的前置步骤。
4.1 安装 Codex 桌面版
Codex 目前提供 macOS 和 Windows 桌面客户端。安装流程很简单:
第一步,打开 ChatGPT 网页版,直接在对话框里问它要 Codex 的下载链接。或者访问 OpenAI 官网的下载页面。
第二步,下载对应系统的安装包。macOS 是 .dmg 文件,Windows 是 .exe。安装完成后,用你的 ChatGPT 账号登录即可。
注意一个细节:Codex 需要 ChatGPT Plus 或更高等级的订阅才能正常使用。Plus 订阅目前是每月 20 美元。如果你用的是免费版 ChatGPT,Codex 的 token 配额很快就会耗尽,跑不完一个完整的视频工作流就得停下来。
安装完成后的界面大致是这样的结构:左侧是项目/文件列表,中间是对话区域,底部是输入框。输入框上面有一排插件入口,包括文档、画布、浏览器和 MCP 连接器。
4.2 配置 MCP 连接(以 Higgsfield 为例)
这是路线 A 的核心配置步骤。整个流程可以抽象成下面这个伪代码描述:
1. 打开 Higgsfield 官网 → 进入 MCP/CLI 页面
2. 复制 Higgsfield 提供的 MCP 端点 URL
(格式类似:https://mcp.higgsfield.ai/...)
3. 打开 Codex → 在插件面板中找到 MCP 连接器
4. 点击"添加新应用"
- 名称:Higgsfield
- MCP 端点:粘贴第 2 步复制的 URL
5. Codex 会弹出授权确认窗口
6. 使用 Higgsfield 账号登录并授权
7. 授权完成后,Codex 显示连接状态
实际配置中有几个容易踩坑的点:
首先,开发者模式要打开。在 ChatGPT 的账户设置里,找到"账户安全与登录",往下滑到"开发者模式",把它开启。不开的话,MCP 连接器那边不会出现手动添加应用的加号按钮。
其次,授权弹窗不要急着关。当你点击授权后,会跳出一个类似 OAuth 的页面让你确认。这个页面关掉之后不会再次出现(除非你换账号),所以要认真点完。
第三,连接验证。配好之后,在 Codex 对话框里直接问一句:"你现在连接了 Higgsfield 吗?能帮我生成视频吗?"如果 AI 回复说它能通过 Higgsfield 做文生视频、图生视频等操作,就说明连接成功了。
4.3 配置即梦 CLI(路线 B)
路线 B 的核心是通过即梦的命令行接口(CLI)让 Codex 能够操控即梦网页端。这个方案比 MCP 稍微"原始"一些——本质上 Codex 是通过自带的浏览器来模拟人类在即梦网页上的操作。
配置步骤如下:
1. 在 Codex 对话框中输入即梦 CLI 的安装指令
(即梦 CLI 是字节跳动即梦 AI 官方推出的命令行工具,安装脚本由官方维护,执行 `curl -fsSL https://jimeng.jianying.com/cli | bash` 即可一键安装)
2. Codex 会自动在终端执行安装命令
这个过程可能需要 10 到 15 分钟,耐心等待
3. 安装完成后,Codex 会给出一个授权链接
4. 点击链接,用自己的即梦账号登录并授权
5. 登录方式:+86 手机号验证
6. 授权完成后,Codex 的浏览器可以自动操控即梦网页
这个过程比 MCP 慢,因为涉及 CLI 工具的下载、依赖安装和浏览器驱动的配置。但好在一劳永逸,配好之后就不用管了。
验证方法也很简单,直接在 Codex 里问:"你现在能通过即梦生成视频了吗?"如果它回复说可以,并且能报出你当前的积分余额,就是连上了。
提前打个预防针:Codex 的浏览器操控功能依赖网页 DOM 结构的稳定性。即梦作为国内平台,前端更新比较频繁,网页结构一旦变化(比如按钮位置改了、弹出了新的活动弹窗),Codex 可能会出现定位失败、"点错按钮"或任务假死的情况。这并不代表环境配错了,更多是网页端的变动导致的临时问题。如果在后续实操中遇到浏览器操控卡住,先别急着重新配置——手动打开即梦网页检查一下视频是不是已经生成好了,很多时候是"虚惊一场"。详细的应对策略会在第九章「踩坑实录」里展开。
4.4 权限管理:让 Codex 干活,但不让它乱来
Codex 的能力很强,但越强的工具越需要管好权限。视频生成会消耗积分(也就是钱),如果 Codex 权限全开,万一提示词没写好,它可能哗哗哗地给你生成一堆废片,积分就白花了。
我的做法是分阶段授权:
|
阶段 |
权限策略 |
说明 |
|
剧本创作阶段 |
允许读取文件、联网搜索 |
不涉及积分消耗 |
|
角色图生成阶段 |
允许调用图像模型 |
单次确认消耗 |
|
视频分镜生成阶段 |
每次生成前需要确认 |
避免批量跑偏 |
|
拼接导出阶段 |
允许自动操作 |
纯本地处理,无额外消耗 |
Codex 在执行敏感操作(比如调用需要积分的外部服务)时,通常会弹出一个确认窗口,你可以选择"允许一次"或"始终允许"。我的建议是:前期测试阶段全部用"允许一次",等你对工作流有足够信心了,再对某些步骤开启"始终允许"。
另外,在每次跑自动化任务之前,一定要先确认目标平台的积分余额。有一次我没注意,Higgsfield 的积分只剩个位数,Codex 提交了生成任务之后一直报"credit insufficient",排查了半天才发现是积分用完了——白白浪费了等待的时间。
4.5 多账号场景下的配置管理
如果你同时用着 Higgfield 和即梦(像我一样),Codex 可以同时维护多个 MCP 和 CLI 连接。你不需要每次切换平台就重新配置——配好之后它们会同时出现在 Codex 的插件面板里,你在对话中指定用哪个就行。
一个小技巧:给不同连接起不同的名字,比如"Higgsfield-主号"、"即梦-测试号",避免混淆。Codex 会根据你在对话中提到的平台名称自动选择对应的连接。比如你说"用 Higgsfield 生成……",它就走 MCP 路线;说"用即梦生成……",它就走 CLI 路线。同一个对话里可以随时切换,非常灵活。
还有一个容易被忽略的点:Codex 的项目文件夹管理。每次视频生成的素材(角色图、场景图、生成的视频片段、最终成片)都会散落在不同位置。我的习惯是每开始一个新项目,先让 Codex 创建一个项目文件夹,然后所有素材都存到这个文件夹里。项目结束后整个文件夹一键归档,干净利落,不会出现"这张图跑哪去了"的尴尬。
五、实战一:Codex + Higgsfield MCP 全自动视频工作流
好了,环境配完了,现在进入正题。这一章我会完整拆解"从一张角色海报到一个成片"的全流程。整个过程最让我惊讶的不是最终成片的质量,而是中间几乎不需要我插手。
5.1 第一步:用提示词生成角色设定图
一切从角色开始。不管做什么类型的短片,角色立住了,片子就成功了一半。
我习惯先用 GPT-5.6 帮我"捏"角色。在 Codex 对话框里输入类似这样的提示词:
请帮我设计一个末世废土风格的女性角色,要求:
- 日系面孔,青年女性,体型标准,气质柔美中带着坚毅
- 服装:磨损的皮夹克 + 军用长裤 + 护目镜
- 光线:暖色逆光,营造末世氛围
- 格式:三视图(正面全身 + 侧面全身 + 背面全身)
- 比例:21:9 宽银幕画幅
- 风格:电影级写实
GPT-5.6 会把这个需求翻译成 Higgsfield 能理解的提示词,然后通过 MCP 自动提交给图像生成模型。大概等十几秒,一张三视图就出来了。
这里有个小技巧:角色三视图比单张正面图好用得多。因为后续视频分镜可能需要角色侧面或背面的镜头,三视图能让 AI 在生成视频时更准确地理解角色全貌。如果只给一张正面图,侧面镜头容易出现"角色变了一个人"的情况。
生成完女性角色后,同样的流程再来一个男性角色。两个人物的灯光、风格保持统一(比如都用暖色逆光),这样后续视频里他们出现在同一个画面时才不会违和。
小提示:上面示例中提到的"21:9 宽银幕画幅",并非所有 AI 视频模型都原生支持。部分模型只支持 16:9、9:16、1:1 等常见比例,如果提交了不支持的画幅参数,可能会被自动裁剪成模型默认比例(通常是 16:9),或者在生成时报错。具体支持的画幅比例请以目标模型的实际参数为准——在写提示词之前,先确认一下模型的能力边界,能省掉不少无效生成。
5.2 第二步:让 AI 自己写剧本和分镜脚本
有了角色参考图之后,最省力的做法是把剧本也交给 AI。
在 Codex 里上传两张角色图,然后说:
根据这两张角色图,帮我设计一个一分钟的短片剧本。
- 故事背景:近未来雨夜的废土地铁站
- 角色关系:女特工林夕试图阻止男雇佣兵凯恩引爆数据核心
- 需要有激烈的打斗、对话和表情细节
- 全片只出现这两个人,不要出现其他角色
- 输出完整剧本 + 分镜脚本(每个镜头标注时长、运镜方式、关键动作)
GPT-5.6 会先分析两张角色图里人物的外观特征,然后围绕这些特征来写剧本。它生成的剧本通常会包含:
|
剧本要素 |
示例内容 |
|
场景设定 |
废弃地铁站的雨夜,霓虹灯残光闪烁 |
|
角色动机 |
林夕:阻止引爆,保护城市 / 凯恩:执行任务,内心动摇 |
|
关键对话 |
"凯恩,手离开核心,你迟了十秒。" |
|
分镜拆解 |
4 段 × 约 15 秒 = 60 秒成片 |
拿到剧本之后,先别急着全自动跑。我建议花两分钟快速过一遍:人物台词合不合理?动作描述清不清晰?有没有会出现歧义的场景?微调一两句话往往能显著提升最终成片的效果。
5.3 第三步:自动生成所有分镜视频
这是最核心的自动化环节。确认剧本没问题之后,给 Codex 下达视频生成的指令:
使用 Higgsfield 的 Seedance 2.0 模型,按照上面的分镜脚本,逐段生成视频。
参数:
- 每段时长:约 15 秒
- 比例:21:9
- 分辨率:480p(先做预览,确认后再升级到高清)
- 运镜:专业好莱坞级别
- 音效:保留原声环境音效
- 不要背景音乐,不要字幕
- 角色一致性:严格参考上传的两张角色图
这里为什么要先用 480p?因为高清视频消耗的积分是 480p 的好几倍。先用低分辨率出一版预览,确认每个镜头的构图、动作、人物都没问题之后,再针对性地重新生成需要调整的镜头——这样能省下不少积分。
Codex 收到指令后会:
- 读取分镜脚本中的每个镜头描述
- 将角色参考图和场景描述一同上传到 Higgsfield
- 为每个镜头生成对应的提示词
- 提交生成任务并轮询完成状态
- 把生成好的视频逐段下载到本地
整个过程大约 15 到 30 分钟(取决于同时提交的镜头数量和模型排队情况)。你可以离开电脑干别的事,回来直接收菜。
不过,不是每个镜头都能一次跑对。有时候人物面部会崩,有时候动作出现奇怪的扭曲。这是目前 AI 视频的常态——做好心理预期,通常四段里有两三段可以直接用,剩下的一两段需要微调提示词重新生成。
下面是几种常见的生成问题及其应对策略,我按照遇到频率从高到低排列:
|
问题类型 |
典型表现 |
根因分析 |
应对策略 |
|
面部崩坏 |
五官扭曲、眼睛位置偏移、面部模糊 |
模型在小面积人脸区域上细节重建不足 |
增大角色在画面中的占比;给角色特写镜头单独用更高分辨率生成 |
|
动作诡异 |
肢体弯曲方向不对、关节反折 |
模型对复杂人体运动学的理解有限 |
简化动作描述;避免"同时做多个复杂动作" |
|
物体变形 |
武器、道具在运动过程中融化成奇怪形状 |
模型对刚性物体的运动一致性保持较差 |
减少道具数量;重要道具用静态帧作为首帧参考 |
|
背景闪烁 |
背景元素在不同帧之间跳跃或消失 |
时序一致性不足 |
使用场景参考图锁定背景;降低运镜速度 |
|
人物漂移 |
同一个角色在不同镜头里长相不一致 |
多段生成缺乏全局一致性约束 |
每段都上传同一张角色参考图;提示词保持外貌描述完全一致 |
这些问题的出现概率跟你选择的模型也有关系。以我的经验,Kling 3.0 在人物动作流畅度上表现最好,Seedance 2.0 在画面稳定性和不崩脸上有明显优势,Veo 3.1 的整体真实感最强但偶尔会有奇怪的物体变形。多试几个模型,找到最适合你内容风格的,比死磕一个模型效率高得多。
5.4 第四步:自动拼接成片
所有分镜视频生成完毕后,最后一步是拼接。Codex 可以调用它内置的媒体处理能力来完成:
请将刚才生成的四段视频按脚本顺序拼接成一个完整的 60 秒成片。
- 统一转码参数(如有不一致的参数)
- 不需要加背景音乐
- 输出格式:MP4
如果四段视频的分辨率或帧率不一致,Codex 会自动统一转码后再拼接。拼接完成后,一个完整的视频文件就躺在了你的本地目录里。
5.5 工作流总结:一张 Mermaid 图说清楚
整个流程用一张图来概括:
flowchart TD
A[输入创意方向] --> B[GPT-5.6 生成角色提示词]
B --> C[Higgsfield MCP 生成角色三视图]
C --> D[上传角色图到 Codex]
D --> E[GPT-5.6 自动编写剧本和分镜脚本]
E --> F{人工审核剧本}
F -->|通过| G[Codex 逐段提交视频生成任务到 Higgsfield]
F -->|需要修改| E
G --> H[轮询等待 + 下载生成的480p预览视频片段]
H --> I1{检查480p预览质量}
I1 -->|有问题的片段| J[微调提示词重新生成]
J --> H
I1 -->|预览通过| I2{是否需要升级高清}
I2 -->|是| I3[升级到高清版本]
I2 -->|否/480p够用| K[Codex 自动拼接成片]
I3 --> K
K --> L[输出最终 MP4 文件]
这就是路线 A 的完整流程。下面咱们来看路线 B——怎么用即梦来实现类似的效果。
六、实战二:Codex + 即梦 CLI 打通多工具联动链路
路线 B 的核心差异在于:不走 MCP 的"标准协议调用",而是让 Codex 像一个真人用户一样,通过浏览器去操控即梦网页端。听起来像"土办法",但实际跑起来的效果比想象中好很多。
6.1 故事构思到角色定妆:AI 自主操控即梦网页
我们来跑一个完整的案例。我在 Codex 里输入了这样的需求:
帮我做一个一分钟左右的短片,要求:
1. 风格:奇幻微观世界
2. 角色:一对年轻情侣(一男一女),写实风格
3. 故事:两人在天上飞翔→穿越城市河流建筑→突然坠落→
落在草坪上变成了微观世界的小人→被巨型蚂蚁追逐→
骑上蜜蜂逃脱→完美结局
4. 使用即梦 Seedance 2.0 Mini 模型(不用排队)
5. 每个镜头的时长你来控制
6. 最后自动拼接成完整视频
7. 配上合适的环境音效
Codex 收到后,先做了一件事:读取即梦 CLI 的工作规范,检查当前可用的模型参数和积分余额。确认一切就绪后,它开始自主行动。
第一步是生成角色三视图。在 Codex 自带的浏览器窗口里,你能看到它自动打开即梦网页,填入提示词,选择模型(它自己选了最新的 Seedance 2.0 Pro,虽然我没指定),然后提交生成。两张角色图(一男一女)大约花了 25 分钟——老实说,这个速度不算快。主要原因有两个:一是 Codex 操控浏览器的每一步操作都有延迟;二是即梦的服务端本身也有排队时间。
角色图出来后,Codex 自己选了两张它认为效果最好的,自动下载到本地。然后继续生成场景参考图:城市鸟瞰、河流、森林草坪、巨型蚂蚁、蜜蜂——大约七八张场景图,为后续的分镜视频做准备。
6.2 分镜视频的自动化生成与质量观察
准备工作做完后,Codex 进入了批量视频生成阶段。它一次性提交了大约八个视频生成任务,每个对应一段分镜:
|
分镜序号 |
内容描述 |
时长 |
模型 |
|
1 |
情侣手拉手在云层中飞翔,镜头环绕 |
8秒 |
Seedance 2.0 Mini |
|
2 |
穿越城市天际线,快速推镜 |
7秒 |
Seedance 2.0 Mini |
|
3 |
飞过河流和森林,航拍视角 |
8秒 |
Seedance 2.0 Mini |
|
4 |
突然失去飞行能力,两人惊恐下坠 |
6秒 |
Seedance 2.0 Mini |
|
5 |
轻轻落在草坪上,特写表情 |
5秒 |
Seedance 2.0 Mini |
|
6 |
巨型蚂蚁出现,紧张追逐 |
10秒 |
Seedance 2.0 Mini |
|
7 |
骑上蜜蜂飞走,中景跟拍 |
8秒 |
Seedance 2.0 Mini |
|
8 |
蜜蜂载着两人飞向夕阳,远景 |
8秒 |
Seedance 2.0 Mini |
Seedance 2.0 Mini 不需要排队,所以八段视频在十几分钟内就全部完成了。这里需要特别说明一下积分消耗的实际情况:即梦平台不同模型版本的积分消耗差异很大,以 5 秒视频为例,标准版约消耗 40 积分,VIP 版约 70 积分,Mini(Fast)版约 45 积分。上述八段视频时长为 5 到 10 秒不等,使用的是 Mini 版,每段实际消耗在 45 到 90 积分之间(依时长浮动),八段总计大约 500 到 720 积分。这个数字仅为本轮测试的近似值,即梦的积分定价调整频繁,请以生成前即梦界面显示的实时消耗为准。
这里要着重说一个观察:人物一致性在八段视频里的表现有不小的波动。前几段飞翔场景里,人物的面部特征保持得不错;但到了坠落和草坪段落,女主角的脸明显有点"变形"。这不是 Seedance 的问题,而是目前所有 AI 视频模型的通病——当角色经历剧烈的动作变化或角度切换时,一致性容易丢失。
Codex 的处理方式值得参考:它会把每段视频生成完后自己"看"一遍(通过抽帧分析),发现明显崩坏的会自动标记并重新生成。虽然增加了时间成本,但保证了最终成片的下限。
6.3 自动拼接与音效合成
所有分镜通过检查后,Codex 开始拼接。这里它做了几件事:
- 统一转码:检查八段视频的参数(分辨率、帧率、编码格式),不一致的自动统一
- 按脚本顺序拼接
- 根据剧情节奏自动调整片段之间的过渡(硬切或淡入淡出)
- 生成环境音效并混入(风声、城市背景音、蜂鸣声等)
最终输出一个约 65 秒的完整 MP4。从发出指令到拿到成片,全程大约 55 分钟——其中大概有 20 分钟是在等 Codex 操作浏览器(速度确实慢),剩下的是模型生成时间。
6.4 两条路线的实战对比
跑完两个案例之后,我的体感差异总结如下:
|
对比维度 |
Codex + Higgsfield MCP |
Codex + 即梦 CLI |
|
首次配置难度 |
中等(配 MCP 连接) |
偏高(装 CLI + 等依赖) |
|
单次任务速度 |
较快,MCP 直连 |
较慢,浏览器操控有延迟 |
|
模型选择自由度 |
极高,15+ 模型随便换 |
受限,只能用即梦 |
|
生成质量 |
看选的模型,上限极高 |
Seedance 2.0 画质优秀 |
|
国内使用体验 |
需要境外账号和网络 |
原生中文,+86 手机号 |
|
适合场景 |
多模型对比测试、追求特定风格 |
稳定批量产出、重视国内合规 |
莫潇羽的个人建议:如果你主要是做国内自媒体内容,即梦这条路更顺——账号好注册、付费方便、内容风格也更符合国内平台调性。如果你是做海外内容或者对特定模型(比如 Veo 3.1 的真实感)有刚需,Higgsfield MCP 是