1. RealDPO：基于真实数据的视频生成偏好优化方法解析

视频生成技术近年来取得了显著进展，但生成自然流畅的人类日常活动视频仍面临巨大挑战。传统方法生成的视频中，人物动作常常显得僵硬不自然，四肢协调性差，难以满足实际应用需求。RealDPO作为一种创新的视频生成偏好优化方法，通过巧妙结合真实视频数据和合成样本，显著提升了生成视频的动作自然度和文本对齐质量。

在动作合成领域，现有方法主要面临三个核心痛点：一是模型难以从有限的高质量数据中学习到复杂的动作模式；二是传统监督微调容易导致过拟合；三是基于合成数据的偏好优化方法存在奖励黑客攻击和偏差传播问题。RealDPO通过引入真实视频作为正样本，配合精心设计的扩散Transformer架构和专用DPO损失函数，有效解决了这些难题。

2. 视频生成技术现状与挑战

2.1 现有视频生成方法概述

当前主流视频生成模型主要基于两种架构：U-Net和扩散Transformer(DiT)。U-Net架构通过多阶段下采样和上采样框架，结合时间注意力层来保证时间一致性，但在运动动态和内容丰富度方面存在局限。扩散Transformer方法则通过结合3D-VAE与扩散Transformer，使用3D全注意力层联合学习时空相关性，在保真度、一致性和长视频生成可扩展性方面取得了显著进步。

然而，这些方法在生成复杂人类动作时仍面临明显挑战。以CogVideoX-5B为例，尽管它是目前最先进的DiT模型，但在生成日常活动动作时，结果常常出现不自然、不真实的运动，无法满足人类对自然、流畅且符合上下文动作的偏好。这促使我们深入探索如何提升复杂动作生成的现实感和合理性。

2.2 动作合成的核心难题

人类动作合成之所以困难，主要源于以下几个因素：

1. 运动复杂性 ：人体有超过200个自由度，各部位运动相互关联，形成复杂的动力学系统
2. 物理合理性 ：动作必须符合物理规律，如重心转移、动量守恒等
3. 上下文一致性 ：动作需要与场景、物体交互和其他人物行为相协调
4. 时间连贯性 ：动作在时间维度上需要保持流畅过渡，避免跳跃或突变

传统监督微调(SFT)方法试图通过收集高质量真实数据来解决这些问题，但存在明显局限。在优化过程中，模型将提供的数据视为唯一正确参考，缺乏对原始模型错误来源的认识。这种狭隘的焦点可能导致过拟合和次优性能，如图2所示。

3. RealDPO技术原理与创新

3.1 从DPO到RealDPO的演进

直接偏好优化(DPO)是一种基于人类偏好数据的微调方法，它直接优化模型而不需要显式奖励模型。这种方法避免了学习奖励模型带来的复杂性和潜在偏差，使优化过程更稳定和可解释。给定一组偏好标记对{(x, yw, yl)}，其中x是输入提示，yw是优选(赢)输出，yl是不太优选(输)输出，DPO旨在最大化优选与非优选样本之间的似然比，同时保持与预训练模型的接近。

RealDPO在传统DPO基础上做出了关键改进：

1. 真实数据作为正样本 ：使用真实视频作为赢样本，克服了仅使用合成数据进行偏好学习时无法解决预训练生成模型中固有分布误差的问题
2. 多样化负样本生成 ：通过随机生成多个初始噪声，结合正样本的文本嵌入，采样完整时间步得到多个负样本，确保多样性
3. 专用损失函数设计 ：针对基于扩散的transformer架构设计定制DPO损失，实现有效的偏好对齐

3.2 RealDPO的核心组件

RealDPO框架包含三个关键组成部分：

1. RealAction-5K数据集 ：专注于人类日常动作的紧凑而高质量的数据集，遵循"少即是多"原则，强调RealDPO需要较少的高质量样本与模型生成的负样本协同工作
2. 时间步选择器 ：为每轮正负采样随机生成时间步k，添加k步随机噪声获取处理后的样本
3. 样本速度计算模块 ：包括正样本速度计算和负样本速度计算，用于准备后续DPO损失

关键提示：RealDPO的第一个负样本采样是离线完成的，而正样本和负样本的第二次采样只涉及一步，这在训练过程中节省了大量时间。

4. RealDPO实现细节与技术方案

4.1 RealAction-5K数据集构建

数据集构建采用精心设计的数据处理流程：

1. 基于关键词收集原始视频 ：设计了超过十个场景的日常活动主题，如运动、饮食、行走等，使用这些关键词收集高质量视频片段
2. 使用VideoLLM过滤低质量视频 ：采用Qwen2-VL模型过滤粗糙或不相关的视频，显著减少低质量内容
3. 人工检查确保准确性 ：人工检查视频是否准确代表预期主题，动作是否正确，不包含误导或不相关内容
4. 为视频生成详细描述 ：使用LLaVA-Video模型为每个视频生成准确的描述性标题，准确反映动作、参与者和外观

这种数据处理流程确保了数据集的高质量、多样性和代表性，为偏好训练奠定了坚实基础。数据集中的视频描述词分布和提示长度分布如图3(c)(e)所示，显示了良好的多样性和覆盖范围。

4.2 正负样本采样策略

RealDPO采用创新的正负样本采样方法：

正样本处理流程 ：

1. 从RealAction获取真实视频Xw
2. 通过VAE编码器压缩后的潜变量为Xw0
3. 时间步选择器随机生成时间步k
4. 向Xw0添加k步随机噪声，得到Xwk
5. 与文本嵌入etext一起输入DiT transformer，得到预测噪声ˆϵwk
6. 将ˆϵwk输入正样本速度计算，得到预测潜变量ˆxw0

负样本处理流程 ：

1. 随机生成三个初始噪声ϵa, ϵb, ϵc
2. 与正样本的文本嵌入etext结合，输入DiT采样完整时间步得到三个负样本xl,a0, xl,b0, xl,c0
3. 添加k步随机噪声得到xl,ak, xl,bk, xl,ck
4. 与文本嵌入一起输入DiT得到预测噪声ˆϵl,ak, ˆϵl,bk, ˆϵl,ck
5. 输入负样本速度计算得到预测潜变量ˆxl,a0, ˆxl,b0, ˆxl,c0

这种采样策略既保证了样本多样性，又通过离线处理负样本提高了训练效率。

4.3 偏好学习与模型更新

RealDPO的偏好学习采用定制化的DPO损失函数：

LDPO(θ) = -E[logσ(-βTω(λt)(∥xw0-ˆxw0∥²₂ - ∥xw0-˜xw0∥²₂ - (∥xl0-ˆxl0∥²₂ - ∥xl0-˜xl0∥²₂)))]

其中：

• xw0/xl0是原始赢/输样本
• ˆxw0/ˆxl0是训练模型对赢/输样本的预测潜变量
• ˜xw0/˜xl0是参考模型对赢/输样本的预测潜变量

参考模型通过约束训练过程，防止过度优化或偏离预期目标。在实践中，每t训练步骤后，使用指数移动平均(EMA)算法更新参考模型：

θtref ← ωθtref + (1-ω)θt

其中ω是EMA的衰减系数，实验中设置为0.996。这种渐进式更新策略确保了训练的稳定性。

5. 实验结果与分析

5.1 定量评估

在RealAction-TestBench测试集上的用户研究表明，RealDPO在多个维度上显著优于基线和其他方法：

方法	整体质量	视觉对齐	文本对齐	运动质量	人类质量
基线(Yang等,2024b)	65.56	72.22	71.89	65.56	66.00
SFT	58.22	65.22	68.44	59.11	60.33
LiFT(Wang等,2024c)	67.34	73.44	64.33	65.00	67.33
VideoAlign(Liu等,2025)	61.00	68.11	68.78	57.22	59.78
RealDPO(我们的)	73.33	77.44	77.00	71.00	72.89

使用Qwen2-VL作为评估工具的MLLM评估也显示，RealDPO在视觉对齐(VA)、文本对齐(TA)、运动质量(MQ)和人类质量(HQ)等维度上表现优异，与人类评估结果一致。

在VBench-I2V指标评估中，RealDPO同样展现出竞争优势：

模型	I2V	主体一致性	背景一致性	运动平滑度	动态程度	美学质量	成像质量
CogvideoX-5B基线	96.10	90.43	94.01	98.15	55.56	59.63	67.01
SFT	96.47	89.50	93.18	98.06	66.67	59.69	67.06
LiFT	96.50	92.34	94.46	98.20	38.89	60.51	68.40
VideoAlign	96.55	92.23	94.29	98.37	50.00	60.21	67.66
RealDPO(我们的)	96.58	91.68	94.47	98.31	55.56	61.37	68.05

5.2 定性分析

图5展示了应用RealDPO前后的视觉对比结果。可以观察到，RealDPO在增强动作的自然性和流畅性，以及它们与文本指令的一致性方面非常有效。

图6展示了我们的方法与其他对齐方法的视觉比较结果。可以看出，RealDPO生成的视频更稳定，不易出现不自然的动作或视觉崩溃。例如，在左侧示例中，SFT表现出角色肢体崩溃，狗的四肢协调显得不自然。LiFT的结果稍好，但未能完成主角与狗的握手动作，导致与文本对齐不佳。相比之下，我们的结果展示了更高的视觉质量，动作细节与文本指令高度一致，没有视觉崩溃。

在右侧示例中，文本描述了冲浪者的姿势为"膝盖弯曲，身体略微后倾"。SFT显示出视觉崩溃、动作错位和角色外观不一致。VideoAlign表现稍好，但生成的姿势和动作与文本高度不一致。相比之下，我们的结果展现出更高的图像质量、更准确的动作细节和整体更优的性能。

6. 技术优势与应用前景

RealDPO的核心优势体现在三个方面：

1. 数据效率高 ：通过精心设计的正负样本对比机制，RealDPO能够从有限的高质量真实数据中提取最大价值，避免了传统方法需要海量数据的弊端。实验表明，仅需5000个高质量视频样本即可达到显著优于基线模型的效果。

2. 动作保真度强 ：针对人类日常活动中的复杂动作，RealDPO生成的视频在肢体协调、物理合理性和时间连贯性方面表现突出。特别是在手部精细动作和全身协调运动方面，相比现有方法有质的提升。

3. 训练稳定性好 ：通过参考模型的渐进式更新和定制化损失函数，RealDPO有效避免了训练过程中的模式崩溃和过拟合问题，确保了模型收敛的稳定性。

在实际应用中，RealDPO可广泛应用于多个领域：

• 影视制作 ：快速生成高质量的动作参考视频，降低实拍成本
• 游戏开发 ：自动生成多样化的角色动作，丰富游戏体验
• 虚拟现实 ：创造更真实的虚拟人物交互体验
• 教育训练 ：模拟各种实际操作场景，如医疗 procedures、运动训练等

7. 实施建议与注意事项

在实际部署RealDPO时，需要注意以下几点：

1. 数据准备 ：

   • 确保正样本视频质量高、动作清晰
   • 视频描述应准确反映内容，避免歧义
   • 覆盖多样化的动作场景和角度

2. 训练调优 ：

   • 初始学习率建议设置在1e-5到5e-5之间
   • EMA衰减系数ω可据实际情况在0.99-0.999间调整
   • 批量大小根据GPU内存尽可能设大，通常不低于8

3. 推理优化 ：

   • 可采用DDIM采样加速生成过程
   • 文本提示应尽可能详细描述动作细节
   • 可配合ControlNet等控制网络实现更精确的动作控制

常见问题解决方案：

• 若出现动作不连贯，可尝试增加时间步数
• 对于特定动作表现不佳，可针对性补充训练数据
• 遇到模式崩溃时，适当降低学习率并检查数据质量

8. 未来发展方向

RealDPO为视频生成领域开辟了新的可能性，未来可在以下方向进一步探索：

1. 多模态扩展 ：将音频、触觉等多模态信息纳入偏好学习框架，创造更沉浸式的生成体验
2. 长视频生成 ：改进时间注意力机制，提升长视频的时序一致性和叙事连贯性
3. 个性化适配 ：开发用户特定的偏好模型，实现个性化视频生成
4. 实时生成 ：优化模型架构和推理流程，向实时视频生成迈进

从实际应用角度看，RealDPO的成功验证了真实数据在生成模型偏好对齐中的关键作用。这一思路可推广至其他生成任务，如图像生成、3D内容创建等，为生成式AI的发展提供了新的技术路径。