MiniMax H3 全模态视频模型完全拆解：多模态上下文原理、提示词写法、按秒计费与开源部署实操指南

本文由 辛梓煜@词元2号站（www.ciyuanerhao.com）撰写，转载请注明出处。

快速摘要

MiniMax 在 2026 年 7 月 31 日发布了新一代全模态生成模型 MiniMax H3，并宣布开放模型权重。它不是一个单纯的“文生视频”模型，而是把文本、图像、视频、声音放进同一个上下文里统一理解、统一生成的通用模型：最高 2K 分辨率直出、单条 5 到 15 秒、24 帧、自带原生双声道音频，单次任务最多可以塞进 9 张图 + 3 段视频 + 3 段音频（合计不超过 12 个文件）。在第三方评测机构 Artificial Analysis 的盲测竞技场里，H3 在视频编辑榜（带音频）排名全球第一，文生视频榜第二（两张榜前面都只有 Gemini Omni Flash），图生视频带音频榜第三、不带音频榜第二。官方按秒计费，2K 档位每秒 0.13 美元（折合约 0.8 元人民币），768P 档位每秒 0.09 美元，尚在小范围开放中。对创作者来说，最实际的三个变化是：指令遵循强到可以按时间码写分镜、中文文字与品牌标识终于能稳定呈现、局部修改不用整条重生成。

上面这段是结论。但真正决定你能不能把它用出来的，是原理、提示词结构、计费公式和合规红线这四件事——这些都写在下面。想看完整拆解，往下翻。

一、先把 H3 这件事说清楚：改的不是画质，是任务边界

1.1 发布当天的行业坐标

7 月 31 日这一天挺热闹的。MiniMax 放出 H3 的同时，字节的 Seedance 2.5 也正式对外，单条 30 秒、最多 30 张图 + 10 段视频 + 10 段音频参考、支持时间戳定向编辑。两家在同一天把牌摊开，本身就说明视频生成这条赛道已经卷到了“谁能交付成片”的阶段，而不再是比谁的 demo 更炫。

但 H3 有一个别人没有的动作：开放权重。魔搭社区的页面显示，模型权重在北京时间 8 月 3 日 0 点正式开源，官方口径是“在符合相关法律法规的前提下”开放。这在视频生成领域是件稀罕事——文本模型这两年开源开得热火朝天，从 Kimi K3 的 2.8 万亿参数权重全量放出，到各家小尺寸模型满天飞，可视频侧一直是闭源模型的天下，Sora、Veo、可灵清一色只给 API 和订阅。

我自己关注这条线挺久了，感觉这次的意义不在于“又多了一个能生成视频的模型”，而在于视频模型第一次有了可以被拆开看、可以被本地跑、可以被微调的样本。

1.2 H3 到底是什么

官方给它的定义是“通用的全模态生成模型”。这个说法有点抽象，我换个白话讲法：

过去做 AI 视频，你面对的是一堆功能按钮——文生视频、图生视频、首尾帧、主体参考、动作参考、音色参考、视频编辑，每一个背后往往是一个单独训练的专家模型。你想做一件复杂的事，就得在这些按钮之间来回切换，每切一次就掉一层信息。

H3 把这些按钮全拆了，只留一个入口：你把手上所有的素材丢进去，用一句自然语言说清楚“这些素材和我要的结果之间是什么关系”，剩下的它自己处理。

产品端这个入口叫全能参考。官方博客里给的示范提示词很能说明问题：参考视频 1 的希区柯克镜头运动，让图 2 中的人物唱歌，歌声参考音频 3。三个模态、三种参考关系、一句话说完。放在半年前，这至少是三个模型加一个剪辑软件的活儿。

1.3 核心参数速览

先把硬指标摆出来，后面的所有讨论都基于这张表：

有几个数字值得单独拎出来说。

2K 是默认档而不是加钱档，这一点和市面上大多数模型的策略是反的——别家通常 720P/1080P 起步，超分要另算。H3 直接把 2K 当基准线，靠的是后面会讲到的 tokenizer 压缩率。

24 帧这个数字有人会觉得低。但视频生成里帧率不是越高越好，24 帧是电影的标准帧率，配合原生音频做叙事内容反而更对味。真要做高帧率的运动画面，后期补帧比模型直出更可控。

合计 12 个文件的上限看起来不多，对比 Seedance 2.5 的 50 份确实少一截。不过实测下来，商业短片的参考素材超过 8 个之后，模型的注意力就开始分散了，能不能塞和该不该塞是两回事。

1.4 为什么说它改的是“边界”

MiniMax 之前有两代模型：第一代从零搭系统，第二代打磨架构效率和数据质量。到 H3 这一代，官方在博客里说得很直白——过去那套按任务切分的做法，既限制了使用自由度，也从训练范式上限制了模型的泛化能力。

所以 H3 的第一纲领是任务的统一和泛化。为了这个目标，他们甚至主动放弃了上一代给自己带来明显架构优势的方案，理由是那套方案在“以任务泛化为核心”的定义下会带来额外复杂性。

这个取舍我觉得挺关键的。它说明团队认定的方向不是“把视频生成做得更好”，而是“让模型能理解任意的创作意图”。这两条路径最后长出来的东西，形态会完全不一样。

1.5 榜单成绩要分榜看，别被“第几名”三个字骗了

网上关于 H3 排名的说法很乱，一句“全球第一”能指代好几件不同的事。我把 Artificial Analysis 的原始数据摊开讲，这一节稍微啰嗦点，但对选型很重要。

先理解它的评测机制：Artificial Analysis 的 Video Arena 用的是 Elo 盲测——同一条提示词让两个模型各生成一次，用户在不知道来源的情况下二选一，投票结果换算成 Elo 分。这套机制的特点是反映主观偏好，不是客观画质指标。

关键在于，它不是一张榜，而是按任务类型和是否带音频交叉切出的四张榜，外加一张视频编辑榜。H3 在每张榜上的位次并不一样：

几点值得注意：

唯一的第一名是视频编辑。 这一项的样本量是截至 7 月 31 日的 5043 次盲测。其余四张榜 H3 都是第二或第三，前面基本都站着 Gemini Omni Flash。媒体报道里“全球最强视频模型”这类说法，准确的表述应该是“视频编辑能力全球第一”，两者差别不小。

分差很小，别当成代差。 文生视频带音频榜上，第一名 1245 对 H3 的 1242，差 3 分。Elo 系统里这个差距意味着两个模型在盲测中的胜率几乎五五开，任何一方在某类题材上都可能更强。看到“第二名”就认为差一档，是误读。

带不带音频，排序会变。 图生视频这一项最典型：不带音频时 H3 第二、Seedance 2.0 第三；带上音频之后 Seedance 2.0 反超到第一、H3 掉到第三。这说明各家在音画协同上的投入并不一致，你的项目要不要原生音频，会实打实影响选型结论。

开放权重是另一条赛道。 在“仅看开放权重模型”的筛选下，此前的领跑者是 LTX 系列，Elo 在 950 到 1120 之间——与 H3 的 1242 至 1351 有明显差距。这也是为什么第三方机构会说，权重一旦如期放出，H3 会成为开放权重视频模型里领先幅度很大的那一个。

最后，这是快照不是定论。 Elo 会随投票累积变动，新模型上榜后位次也会重排。本文写作时点是 2026 年 8 月初，真要拿它做决策，去榜单页面看当天的数据。

二、全模态上下文：H3 的“多”到底多在哪里

2.1 先解释三个词

写到这里得先停一下，把三个术语讲清楚，不然后面看不懂。

模态（modality）：信息的形式。文字是一种模态，图片是一种，视频是一种，声音是一种。人天生就是多模态动物，你看一部电影同时在处理画面、对白、配乐、字幕。

上下文（context）：模型在生成时“手边能看到的全部材料”。在文本模型里，上下文就是你输入的那段话加上之前的对话历史。在 H3 里，上下文变成了你上传的所有图片、视频、音频，加上你写的提示词。

Caption（描述）：训练视频模型时，每一条训练视频都需要配一段文字描述，告诉模型“这段画面里发生了什么”。Caption 的质量直接决定模型的理解能力上限——这几乎是所有生成模型的隐藏胜负手。

2.2 传统做法的分裂

把过去的模型架构画成表格，问题会特别直观：

每一格都是一个单独的模型，每一次跨格调用都是一次信息损耗。做过成片的人都懂那种感觉：第一版画面还行，加完音效就不对了；改完背景，人物又变样了。

辛梓煜@词元二号站 在整理这份对照表的时候有个体会——这些格子之间的墙，不是技术上不得不有，而是训练范式懒得打通的产物。因为分开训练又快又好评估，合起来训练是个脏活。

2.3 H3 的解法：让语言当中间层

H3 的预训练范式，官方给出的概括是这样的：

数据与任务（全部混在同一个预训练里）
├── 文生图
├── 文生视频
│   ├── 联合的音频生成，所有音频输出都是原生双声道
│   └── 原生的多镜头建模
├── 文生音频
│   └── 不区分人声、音效、音乐，统一联合建模
└── 广义的参考与编辑
    ├── 图片 → 图片
    ├── 图片 → 视频
    ├── 音频 → 音频
    └── 音视频 → 音视频

注意最后那一块“广义的参考与编辑”。官方对它的设计有两条硬约束：

1. 完全由真实自然数据构成，从而具备良好的数据扩展性；
2. 由自然语言表述参考和编辑关系，不局限于有限任务。

第二条是灵魂。它的意思是：模型不再学习“什么叫主体参考”这种被人为定义的任务，而是学习“这段文字描述的是素材与结果之间的哪种关系”。任务从枚举变成了开放描述。

官方博客里有一句话我觉得写得很好——语言（或者说，广义的智力结构）是泛化的桥梁。

2.4 Contextual Omni Representation：把关系也描述出来

理解了上面那层，就能理解 H3 最核心的那个技术名词了。

传统的 caption 只描述目标视频本身：画面里有什么人、做了什么动作、什么风格。H3 的 caption 要多描述两层：

• 上下文素材与目标视频之间的关系（这张图是主体来源，那段视频是运镜来源）；
• 上下文素材彼此之间的关系（图 2 里的人要唱音频 3 里的歌）。

再叠加上音视频要联合描述、多镜头下音画关联更复杂，最终形成的就是官方所说的 Contextual Omni Representation。

为了做到这件事，团队定制了专门的模型和全模态理解管线。这里有一个特别能体现工程量的数字：大部分素材需要消耗 100K token 的推理，最终得到平均约 4K token 的表示。

我把这个压缩关系写成公式感受一下：

[

r = \frac{T_{\text{推理}}}{T_{\text{表示}}} = \frac{100{,}000}{4{,}000} = 25

]

也就是说，为了给一条训练素材产出 4K token 的高质量描述，管线要在背后烧掉 25 倍的推理量。这不是靠堆规则能堆出来的，是实打实用算力换理解深度。

2.5 用一张流程图理解 H3 的推理路径

flowchart TD
    A[用户输入] --> A1[文本提示词]
    A --> A2[参考图片 ≤9]
    A --> A3[参考视频 ≤3]
    A --> A4[参考音频 ≤3]
    A1 --> B[全模态上下文编码]
    A2 --> B
    A3 --> B
    A4 --> B
    B --> C[Contextual Omni Representation<br/>描述素材关系与目标关系]
    C --> D[H3-Omni Transformer<br/>理解与生成异构计算]
    D --> E[低分辨率音视频草稿]
    E --> F[In-context Regeneration<br/>复用上下文重新生成]
    F --> G[2K 音视频成片<br/>原生双声道]

这条路径里有两个反直觉的设计：一是理解和生成不是两个模型接力，而是同一个 Transformer 里的两种计算负载；二是 2K 不是靠超分模块放大出来的，而是把低分辨率结果重新丢回上下文再生成一遍。这两点下一章展开。

2.6 这套设计带来的实际差别

说了这么多原理，落到使用层面就是三句话：

你可以用大白话描述任务。不需要背“主体参考”“风格迁移”这些黑话，直接说“照着第一段视频的镜头走位，把第二张图里的产品放进去”。

素材之间可以互相指认。以前多张参考图丢进去，模型不知道哪张管人、哪张管景，只能糊在一起。现在可以在提示词里写清楚“图 1 是模特，图 2 是场景，图 3 是产品”。

音画是一次成型的。口型、脚步声、环境音、配乐不是后期贴上去的，而是与画面在同一次生成里长出来的。这也是为什么它在快节奏对白上不容易穿帮——两帧的误差在人眼里非常明显，靠后期对齐几乎不可能做到帧级准确。

三、四项核心技术拆解：效率是怎么省出来的

这一章会稍微硬一点，但我尽量用能听懂的话讲。理解这几项技术，你才能明白为什么 H3 敢把 2K 当默认档，也才能判断它在你的场景里靠不靠谱。

3.1 H3-VAE：把序列长度砍掉四分之三

先解释 VAE / tokenizer 是什么。视频是一堆像素，模型没法直接处理像素，得先把它压成一串“token”（可以理解成模型能读懂的最小信息单元）。负责压缩和还原的这个模块，就是 tokenizer，通常用 VAE 这类结构实现。

压缩率决定一切。同样一条 5 秒的 2K 视频，压成 10 万个 token 和压成 2.5 万个 token，训练和推理的开销差着一个数量级。但压得太狠，还原出来就糊了——这是压缩率和重建质量之间的经典权衡。

H3 这一代彻底重做了 tokenizer，官方说法是在重建质量和易学性上取得全面提升，高压缩率带来了 4 倍的序列长度收益。

序列长度收益是什么概念？Transformer 的注意力计算量与序列长度大致是平方关系：

[

\text{Cost}_{\text{attn}} \propto L^{2}

]

序列长度砍到原来的四分之一，注意力部分的开销理论上降到：

[

\frac{(L/4)^{2}}{L^{2}} = \frac{1}{16}

]

当然实际系统里还有大量线性部分和访存开销，不可能真省 16 倍，但方向是对的。这也是为什么官方能把 2K 做成默认分辨率而不是溢价选项——底层省下来的那部分，直接转成了定价空间。

“易学性”这个词值得多说一句。它指的是压缩后的表示是否容易被生成模型学习。有些 tokenizer 重建指标很漂亮，但压出来的隐空间结构混乱，生成模型学得很吃力。重建好不等于易学，两者要同时优化，这是很多团队栽跟头的地方。

3.2 H3-Omni Transformer：主动放弃上一代优势架构

这是 H3 里最有“取舍味道”的一个决定。

MiniMax 上一代模型有一套自研架构，是它当时的显著优势。但在 H3 的设计里，团队把它抛弃了，理由写得很坦率：那套架构在以任务泛化为核心的模型定义中会带来额外的复杂性，而他们相信任务泛化是不可逆转的趋势，架构技巧应该为模型定义让路。

放弃一个已经验证过的优势，去赌一个方向，这种决策在工程上不常见。

新架构要解决的问题也很实际。多模态上下文引入之后，出现了两个麻烦：

第一，序列长度的方差变大了 3 倍。 有的任务只输入一句话，有的任务要塞 9 张图 3 段视频。这些样本长度天差地别，混在一个批次里训练，短的等长的，GPU 大量空转。

第二，理解和生成的计算负载开始显著异质化。 理解部分偏向于“读”，生成部分偏向于“写”，两者对硬件的压榨方式完全不同。

H3 的做法是采用理解与生成异构的训练架构，分别针对不同负载精调硬件利用率，同时联合考虑单样本内部的异构计算与样本之间的负载均衡，端到端把训练吞吐提升了近 30%。

用伪代码表达这个思路大概是这样：

# 传统做法：统一处理，长短样本混在一起，短样本等长样本
for batch in dataloader:
    loss = model(batch)          # 同一套计算图，硬件利用率被最长样本拖累
    loss.backward()

# H3 的思路：理解与生成分开调度 + 跨样本负载均衡
for batch in dataloader:
    ctx_jobs, gen_jobs = split_by_workload(batch)   # 按负载类型拆开

    ctx_jobs = balance_by_seqlen(ctx_jobs)          # 按序列长度重新装箱
    gen_jobs = balance_by_seqlen(gen_jobs)

    ctx_out = run_understanding(ctx_jobs, tuned_for="memory_bound")
    gen_out = run_generation(gen_jobs, ctx_out, tuned_for="compute_bound")

    loss = joint_loss(ctx_out, gen_out)
    loss.backward()
# 端到端训练吞吐提升约 30%

这段伪代码是我按公开描述整理的示意，不是官方实现，但逻辑方向是对的：把不同性质的计算分开调度，再把长度不均的样本重新装箱，这是大规模多模态训练里最实在的提效手段。

3.3 In-context Regeneration：2K 不是“放大”出来的

这一项是我个人最喜欢的设计。

常规做法是：模型先生成低分辨率结果，再接一个专用的超分模块把画面放大。超分模块的本质是“猜”——它看不到原始的创作意图，只能根据像素邻域推测细节该长什么样。所以超分之后，小字会糊成一团马赛克，细密纹理会变成塑料感，这是超分方案的先天缺陷。

H3 没有用超分模块。它的做法是：用 H3 基座模型对自己的低分辨率结果做一次 in-context 的重新生成。

差别在哪？

关键在于第二次生成时，模型手上还握着你最初给的所有素材和提示词。它知道那块小字应该写“限时优惠”而不是随便四个字符，知道那个 logo 的准确形状。传统超分靠“猜”无法还原的信息，在这里是有据可查的。

官方把这个也归为任务泛化的一种体现——连超分这种看起来很专用的任务，都被吃进了统一框架里。

3.4 从文本模型那边借来的方法

还有一条容易被忽略的信息：H3 借鉴了文本模型发展过程中已被验证的方法，包括复杂问题拆解、推理、上下文扩展，以及 Muon 优化器，并把这些应用到多模态理解、数据构建和模型训练里。

这条路径挺有意思。文本模型这两年跑得比多模态快得多，积累的训练技巧、数据构建方法论、优化器选择都很成熟。H3 相当于把文本侧的成熟经验横向搬到了多模态侧。官方在展望里也说了，后续会推动 H 系列的下一个版本与自家 M 系列文本模型的能力融合。

理解和生成本来就该是一件事，这个方向我判断会是接下来一两年的主线。

四、能力边界：能做什么，做不到什么

技术讲完，回到实际使用。这一章我想把边界划清楚，避免带着错误预期上手。

4.1 官