1. Plan-X视频生成框架概述

视频生成技术正经历从简单运动建模到复杂语义理解的范式转变。传统方法通常将文本描述直接映射到视频像素空间，这种端到端方式往往导致语义丢失和时空不一致问题。Plan-X框架的创新之处在于将视频生成分解为语义规划和视觉实现两个阶段，通过引入多模态大语言模型（MLLM）作为语义规划器，配合扩散变换器（DiT）完成高质量视觉合成。

核心架构包含三个关键组件：

• 语义规划器 ：基于指令生成帧级语义描述序列
• TA-Tok多尺度表征 ：实现视觉信息的紧凑编码
• 双分支DiT模型 ：同时处理文本和语义条件

这种分层设计使得系统能够保持宏观叙事连贯性的同时，精确控制微观层面的物体交互细节。例如在"手持咖啡杯"场景中，系统会先规划"手指接触杯柄-握紧-抬起"的动作序列，再交由DiT模型生成符合物理规律的运动轨迹。

2. 核心技术实现细节

2.1 语义规划器训练方案

训练数据采用对话格式组织，每个样本包含：

{
  "role": "user",
  "content": "Given the initial frame description: [图像描述], generate the subsequent F-1 frames based on the instruction: [视频提示]"
}

系统使用三阶段训练策略：

1. 预训练阶段 ：在450万文本-视频对上训练基础语义理解能力
2. 微调阶段 ：采用混合文本-图像输入（50%概率mask图像token）
3. 联合训练 ：与DiT模型进行端到端优化

关键创新点是采用动态token数量的TA-Tok编码方案：

• 输入帧：729个细粒度token（尺度0）
• 输出帧：81个粗粒度token（尺度2） 这种多尺度表征既保留了足够的细节信息，又避免了过高的计算开销。

2.2 语义引导的DiT架构

在基础DiT模型上新增语义条件分支，具体实现分为两种方案：

方案A：MMDiT架构（Seedance）

K = [K_text ∥ K_sem]  # 键向量拼接
V = [V_text ∥ V_sem]  # 值向量拼接

直接扩展注意力头的键值对维度，保留原始文本条件的RoPE位置编码。

方案B：双分支架构（Wan2.2）

L_text = QK_text^T/√d
L_sem = Q̃K̃_sem^T/√d
Attention = softmax([L_text ∥ L_sem])[V_text ∥ V_sem]

分别计算文本和语义的注意力logits后合并，避免两种条件的相互干扰。

实际测试表明，方案B在复杂交互场景下比方案A的提示对齐准确率高12.7%，但训练成本增加约23%

3. 端到端训练优化

联合训练阶段采用两阶段损失函数：

L_total = 1.0 * L_diffusion + 0.1 * L_TA-Tok

关键改进点包括：

1. 梯度直通 ：跳过VAE量化层，直接传递隐变量梯度
2. 权重解耦 ：语义分支投影层从文本分支初始化但独立更新
3. 动态调度 ：随着训练进行逐步降低TA-Tok损失权重

消融实验显示（表2），端到端训练带来以下提升：

• 提示跟随准确率：+7.6%
• 运动自然度：+4.1%
• 物体一致性：+2.3%

典型失败案例的分析：

1. 非刚性形变 ：如勺子弯曲问题（图7上），源于DiT对金属材质的物理模拟不足
2. 属性丢失 ：画笔颜色消失（图7左下），由于语义规划器未持续跟踪颜色属性
3. 计数错误 ：儿童数量不符（图7右下），反映常识推理的局限性

4. 多模态评估体系

4.1 自动化评估流程

采用Gemini-2.5作为评估模型，设计多维度的评分标准：

提示对齐维度

{
  "interaction_fidelity": {
    "analysis": "检查物体、动作、结果三要素的准确性",
    "score": 0.82
  },
  "object_consistency": {
    "analysis": "物体外观和存在性的持续跟踪",
    "score": 0.91
  }
}

技术质量维度

{
  "motion_naturalness": {
    "analysis": "运动轨迹的物理合理性",
    "score": 0.87
  },
  "visual_quality": {
    "analysis": "分辨率和伪影控制",
    "score": 0.93
  }
}

4.2 人工评估方案

从测试集随机选取20个样本，每个视频由16位评审员从以下维度评估：

1. 整体质量排序（Top-2选择率）
2. 逐帧一致性检查
3. 动态模糊程度评分

评估结果显示（表1）：

• 端到端训练版本首选率达73.5%
• 纯文本条件版本的视觉质量下降明显（出现油画状伪影）
• 消融实验验证了语义分支对复杂交互场景的关键作用

5. 实战应用建议

5.1 参数调优经验

1. TA-Tok尺度选择 ：

   • 静态场景：尺度0（729 tokens）
   • 动态场景：尺度1→2渐进（169→81 tokens）
   • 内存受限时：全局尺度2+局部尺度0混合

2. 注意力头配置 ：

# Wan2.2架构推荐设置
num_heads = 16  # 文本头
num_sem_heads = 8  # 语义头
head_dim = 64  # 统一维度

3. 训练技巧 ：
   • 初始10%步数仅训练语义分支
   • 采用梯度裁剪（max_norm=1.0）
   • 学习率warmup持续5000步

5.2 典型问题排查

问题1：物体中途消失

• 检查语义规划器的注意力图
• 增加物体持久性损失权重
• 在DiT中强化跨帧注意力

问题2：运动卡顿

• 调整TA-Tok的时间平滑系数
• 检查帧间光流一致性
• 尝试降低CFG引导强度

问题3：材质失真

• 在VAE编码器中添加材质感知损失
• 增加金属/透明物体的训练样本
• 使用物理引擎辅助渲染

实际部署中发现，将规划器生成的语义图与DiT的中间特征进行逐层融合（而非仅在最深层注入），可将物体形变问题减少约40%。对于需要精确物理模拟的场景，建议在推理时叠加刚体动力学约束。