引言：多出一维，难出一个量级

2022 年，扩散模型让"文生图"从实验室概念变成人人可用的工具；两年后，Sora 的演示视频却让整个行业意识到，从图像到视频并不是"把单帧生成重复几十次"那样简单。图像是静态的，模型只需要让单次输出自洽；视频却要求几十上百帧在时间轴上连续、运动合理、物理自洽，任何一环失守，都会以"画面闪烁""肢体扭曲""物体穿模"的形式暴露出来。如果说图像生成解决的是"像不像"的问题，视频生成要解决的则是"动得对不对"的问题——后者比前者难出一个量级。

本文从扩散模型如何扩展到时序域讲起，解析以 DiT 为代表的架构路线与主流工程实现，梳理首尾帧、运镜、角色一致性等可控生成技术，并结合 2026 年主流视频模型的公开能力数据，讨论商业化路径与尚未攻克的技术瓶颈。

从图像扩散到视频生成：时序维度的扩展

扩散模型的基本思路，是学习从纯噪声到真实数据的逆向去噪过程。图像扩散模型在二维空间完成这一过程，而视频生成必须把时间纳入建模：输入不再是单张图像，而是长度为 T 的帧序列，模型要同时保证每一帧的空间质量与帧间的时序连续性。

把时间维度"塞进"扩散模型，主流路线大致有三条。其一是"逐帧生成 + 时序校正"：先用图像模型逐帧生成，再用光流或后处理网络修正帧间一致性。好处是能复用成熟的图像生成能力，坏处是全局运动难以约束，长序列容易发生颜色漂移与身份漂移。其二是"时空联合扩散"：训练阶段直接使用视频数据，让模型在空间与时间两个维度上联合去噪，这是当前主流视频模型的基本范式。其三是"隐空间视频扩散"：先训练视频自编码器，把高分辨率视频压缩到低维隐空间，再在隐空间上执行扩散，Sora 与可灵等模型均采用类似思路——直接在像素空间处理高分辨率长视频，计算代价高到无法落地。

值得强调：时序建模不只是"多一个注意力维度"。视频模型要学到的是一组更难的归纳偏置——物体运动要大致符合物理直觉，遮挡关系要在帧间保持正确，镜头运动要与场景内容解耦。早期视频模型生成的结果往往"时长只有两三秒、动辄穿模"，本质是模型把时间当成了可被近似忽略的统计维度；而成熟的视频模型，必须在表征层面把时间当作一等的建模对象，这正是架构演进的核心动力。

DiT 架构：Sora 路线与主流实现

2023 年，Peebles 与 Xie 提出 DiT（Diffusion Transformer），用视觉 Transformer 替换扩散模型中经典的 UNet 骨干，并验证了扩散模型性能可随参数与计算量平滑扩展（scaling）。这一性质直接奠定了 Sora 的路线选择：既然 DiT 具备类似语言模型的扩展性，那么把视频切成时空 patch（spacetime patches），用 Transformer 统一建模空间与时间，理论上就能像训练语言模型一样训练视频模型。

Sora 路线对行业的启示有三层。第一，视频生成骨干从卷积网络转向 Transformer，统一了视觉与语言两大领域的架构语言，工程上可以大量复用 LLM 的分布式训练、并行化与推理优化工具链。第二，时空 patch 把视频、图像统一为同一种 token 序列，"文生视频""图生视频""视频续写"可以共享同一套预训练权重，数据利用效率显著提升。第三，也是最关键的：DiT 让视频模型的规模法则变得清晰——模型越大、数据越多、算力越足，生成质量的可预测提升就越明显。这为整个行业指明了一条确定性路径：堆数据、堆算力、堆参数。

主流视频模型在 DiT 大框架下走出了不同工程分支。可灵选择大规模 DiT 与高质量中文视频数据结合，在中文语义理解与视频质量之间取得平衡；Runway Gen-4 更强调多镜头叙事与场景一致性，架构在自回归扩散与 DiT 之间做了折中；Luma Ray2 与 Pika 2.2 在推理速度与可控性上发力，前者主打多模态条件输入，后者以轻快生成体验见长。这些差异直接反映在公开能力数据上。据昆仑镜 AI 中心模型库（2026-08 验证），可灵 2.1 的中文/质量/速度能力分为 93/95/85，Runway Gen-4 为 82/93/84，Luma Ray2 为 82/92/85，Pika 2.2 为 80/88/90，通义万相 2.5 为 95/90/88。一个值得注意的规律是：速度分领先的模型往往在质量分上有所让步，而中文语义理解领先的模型在视频质量上并不落下风——2026 年，中文视频模型已经不再是"追赶者"。

可控生成：从"能生成"到"按需生成"

架构决定模型上限，可控性决定它能否装进真实生产流程。文生视频最大的问题是"不可控"：模型自由发挥，用户却往往只需要一个明确分镜。2026 年的可控生成技术大致沿三个方向展开。

首尾帧控制是应用最广的技术。给定第一帧与最后一帧，模型"脑补"中间过渡，本质是视频插值问题的生成式版本。它让创作者先用图像模型确定关键帧构图，再由视频模型补全运动，把"创意决策"与"运动生成"分离，大幅降低单次生成失败的成本——这是目前商业工具里最稳定、最常用的控制手段。

运镜控制解决"镜头语言"问题。推拉摇移、环绕、跟拍等相机运动被显式编码为条件，与场景内容解耦，这正是影视与广告行业最看重的功能：镜头运动本身就是叙事的一部分，能控制相机，分镜语言才真正成立。

角色一致性是更难的一环。生成一个"像某个人"的角色相对容易，难的是让它在几十秒、多个镜头、不同角度下保持外貌、服装、神态的统一。当前主流方案包括参考图像注入、身份编码器与基于 LoRA 的角色定制，但长时程一致性至今没有完全解决。从工程视角看，可控生成的本质，是把用户意图从自然语言这种低带宽通道，升级为图像、运动、相机等多模态高带宽通道——条件注入做得越精细，越接近"可用的生成工具"，而非"碰运气的玩具"。

商业化：短视频、广告与影视预演

技术只有进入生产流程才有商业价值。视频生成的商业化在 2026 年已形成三个清晰场景。短视频与内容营销是最先跑通的场景：口播视频、电商商品展示、社媒素材的批量生产，成本相对传统拍摄下降明显（具体幅度因品类而异，这里仅作趋势性估算），且天然适合"首帧 + 文案"的工作流。广告行业则把视频生成用于动态分镜与多版本素材测试：同一个创意脚本，可以快速产出横竖屏、多时长、多风格的变体，过去需要数日的提案周期被压缩到小时级。

影视预演（previsualization）是想象力更大的市场。导演用生成视频快速验证镜头设计、场面调度与节奏，在正式拍摄前就"看"到成片的大致效果，从而降低实拍风险。这条路径的挑战在于：预演要求的是"可修改的草稿"，而当前模型对细节修改的响应仍然偏慢、偏粗。值得注意的是，商业化落地并非纯技术问题，而是工作流问题——生成质量再高，如果无法与剪辑软件、资产管理流程衔接，价值也会大打折扣。工具链的整合，可能比模型本身更早决定商业化的成败。

技术瓶颈：一致性、物理真实感与时长

尽管进展显著，视频生成仍有三大瓶颈。其一是长时程一致性：几十秒以上的视频中，角色外观、场景光照、物体状态会逐渐"漂移"，模型缺乏对"这个物体此前是什么样"的长期记忆。其二是物理真实感：手部细节、流体、布料、刚体碰撞等交互场景仍是重灾区，模型学到的往往是"看起来合理"而非"物理上正确"的近似——这在单一镜头内尚可接受，一旦要求物体持续交互，破绽立刻显现。其三是时长与分辨率的成本约束：生成高质量长视频的推理成本仍高，制约了"整段生成"类应用的普及，业界因此普遍采用"片段拼接 + 一致性后处理"的工程妥协。

这三个瓶颈指向同一个方向：视频生成模型正在从"模式匹配"走向"世界模拟"。能不能生成一以贯之的长视频，本质上取决于模型有没有建立对场景、物体与时间的内部表征——这恰恰是下一波技术浪潮的接口。

结语

视频生成的技术叙事，已经从"能不能生成"推进到"能不能按需、可控、低成本地生成"。DiT 统一了架构语言，时序建模解决了"动起来"的问题，可控生成则把模型推进了生产流程；而在瓶颈一侧，一致性、物理真实感与时长问题，正在把视频生成推向世界模型的深水区。对于需要对比主流视频模型能力与成本选型的团队，昆仑镜（aigc.fushtn.com）AI 中心提供了全球模型的公开能力分与价格数据，可作为决策参考。可以预见，2026 年之后，视频生成的竞争将不再只是"谁生成得更惊艳"，而是"谁能在生产级工作流里稳定交付"。