1. Senna-2：自动驾驶决策与规划的一致性革命

自动驾驶技术正面临一个核心矛盾：高层的语义理解与低层的轨迹规划如何实现无缝协同？传统方法往往将视觉语言模型（VLM）的决策能力与端到端（E2E）驾驶策略割裂处理，导致"想的"和"做的"不一致——就像导航说"右转"而车辆却直行，这种认知与执行的断层直接威胁驾驶安全。

Senna-2的创新在于构建了一个双系统协同架构，通过三阶段训练范式将VLM的语义推理与E2E的轨迹生成深度绑定。其核心突破点在于：

• 决策-规划一致性指标 ：首次量化定义VLM决策与E2E轨迹的匹配程度（F1分数）
• 动态对齐机制 ：开环阶段选择性优化不一致样本，闭环阶段通过分层强化学习（HRL）实现双向调节
• 条件嵌入融合 ：决策适配器将语言指令转化为可解释的嵌入向量，指导扩散模型生成符合语义的轨迹

实验数据显示，在3D高斯泼溅（3DGS）仿真环境中，Senna-2相比前代Senna将方向控制一致性从76.3%提升至80.9%，速度控制一致性从63.7%跃升至76.0%。这种提升不是简单的性能迭代，而是从根本上重构了自动驾驶系统的决策逻辑。

1.1 传统方法的局限性分析

当前主流方案存在三类典型问题：

1. 特征空间异构性 ：VLM的语义空间（如"加速"）与E2E的动作空间（如油门开度）存在映射断层
2. 优化目标冲突 ：VLM追求决策准确性，E2E关注轨迹平滑性，两者缺乏联合优化
3. 长尾场景失效 ：紧急情况下的决策-规划脱节导致碰撞风险上升

以NuScenes数据集为例，现有方法在cut-in场景中误判率高达32%，其中68%的案例源于决策与规划的不一致。Senna-2通过三阶段对齐策略，将此类场景的误判率降低至9.7%。

2. 系统架构设计解析

2.1 双系统协同机制

Senna-2的架构包含三个核心组件：

1. VLM模块 ：基于Qwen2.5-VL-3B构建，输入前视图像+导航文本+自车状态，输出结构化元动作（如"加速/左转"）
2. 决策适配器 ：创新性地生成两类token：
   • VLM token：保留语言模型的推理上下文
   • 决策token：编码具体的速度/方向控制指令
3. E2E策略 ：采用DiT架构的扩散模型，通过AdaLN机制将VLM条件全局注入规划过程

# 决策适配器的伪代码实现
class DecisionAdapter(nn.Module):
    def __init__(self, hidden_size):
        self.vlm_proj = MLP(hidden_size, 256)  # VLM特征投影
        self.vel_embed = nn.Embedding(4, 128)  # 速度控制编码
        self.dir_embed = nn.Embedding(5, 128)  # 方向控制编码
        
    def forward(self, vlm_hidden, vel_idx, dir_idx):
        tvlm = self.vlm_proj(vlm_hidden)
        tvel = self.vel_embed(vel_idx)
        tdir = self.dir_embed(dir_idx)
        return MLP(concat([tvlm, tvel, tdir]))  # 条件特征融合

2.2 扩散规划器的改进

传统扩散模型直接预测轨迹坐标，Senna-2引入两项关键改进：

1. 残差轨迹预测 ：模型输出与参考轨迹（基于初始速度推算）的差值，降低学习难度
2. VLM条件调制 ：在DiT的每个注意力层注入VLM条件，公式表示为：

$$ \epsilon_\theta(r_t,t,c,f_{vlm}) = \text{AdaLN}(\text{Attention}(Q,K,V), f_{vlm}) $$

其中$f_{vlm}$包含语义推理结果，确保生成的轨迹既符合物理约束，又满足高层决策意图。

3. 三阶段训练范式详解

3.1 驾驶预训练阶段

VLM预训练 ：构建QA形式的监督信号：

• 问题：前视图像+导航指令+自车状态
• 答案：从专家轨迹反推的元动作标签 损失函数采用标准语言建模损失：

$$ \mathcal{L} {VLM} = -\sum \log P(d_t|d {<t},Q) $$

E2E预训练 ：使用扩散损失优化轨迹生成：

$$ \mathcal{L} {E2E} = \mathbb{E}[|\epsilon - \epsilon \theta(r_t,t,c)|^2] $$

此时决策适配器与E2E策略联合训练，但冻结VLM参数，防止语义知识被破坏。

3.2 开环对齐阶段

核心创新在于 一致性感知的动态监督 ：

1. 通过运动学映射$f_K$将预测轨迹$\tau$转换为决策类别
2. 定义一致性指示函数：

$$ C(\tau,d) = \begin{cases} 1 & \text{if } f_K(\tau)=d \ 0 & \text{otherwise} \end{cases} $$

3. 自适应损失函数：

$$ \mathcal{L} {stage2} = (1-C(\tau,d))(\mathcal{L} {E2E}+\gamma\mathcal{L}_{VLM}) $$

这种设计实现"错则改，对则奖"的智能优化，相比均匀采样训练效率提升3.2倍。

3.3 闭环强化学习阶段

在3DGS重建的高风险场景中实施分层强化学习：

低层规划器优化 ：

• 安全奖励：基于TTC（Time-to-Collision）的纵向惩罚
• 效率奖励：参照导航限速与演示速度的纵向激励

高层决策对齐 ： 将优化后的轨迹反向映射为决策标签，通过交叉熵损失更新VLM：

$$ \mathcal{L}_{high} = -\log P(f_K(\tau)|Q) $$

实验表明，这种bottom-up的优化方式使cut-in场景的AF-CR（责任碰撞率）降低42%。

4. 关键实验与性能对比

4.1 一致性提升验证

在10,000小时真实驾驶数据上的测试结果显示：

指标	Senna	Senna-2	提升幅度
路径F1	0.763	0.809	+6.0%
速度F1	0.637	0.760	+19.3%
综合一致性	0.700	0.785	+12.1%

特别值得注意的是，在"减速"指令下的速度控制一致性达到83.8%，显著优于前代的80.2%。

4.2 闭环驾驶安全性

在256个高风险场景的3DGS测试中：

方法	AF-CR	Safety@1s	平均TTC
TransFuser	0.269	0.531	2.4s
VADv2	0.199	0.514	2.7s
Senna	0.111	0.638	3.1s
Senna-2	0.077	0.667	3.8s

Senna-2在保持决策精度的同时，将最小安全距离延长22%，这得益于HRL阶段对边缘案例的针对性优化。

5. 实战经验与调优建议

在实际部署中发现三个关键调优点：

1. VLM异步处理 ：

   • 现实问题：Qwen2.5-VL-3B在车载芯片上无法达到10Hz实时推理
   • 解决方案：建立记忆银行缓存VLM特征，采用5Hz更新+运动补偿
   • 效果：延迟从320ms降至110ms，且一致性损失<3%

2. 决策token设计 ：

   • 错误做法：直接使用one-hot编码
   • 正确方案：可学习的embedding+类别间余弦相似度约束
   • 收益：方向控制混淆矩阵对角线元素提升15%

3. 安全-效率权衡 ：

   # 奖励函数实现示例
   def calculate_rewards(trajectory):
       ttc = compute_ttc(trajectory)  # 计算碰撞时间
       vel = get_velocity(trajectory)
       
       safety_rew = -torch.sum(ttc < 3.0) * 0.5  # TTC<3s惩罚
       eff_rew = torch.mean(vel / target_speed) * 0.3
       return safety_rew + eff_rew
   

   调参发现β=0.3时能在安全与效率间取得最佳平衡。

6. 局限性与未来方向

当前系统存在两大待改进点：

1. 实时性瓶颈 ：

   • VLM推理耗时仍是硬伤
   • 探索：知识蒸馏到轻量级模型（如MobileVLM）

2. 极端场景覆盖 ：

   • 现有3DGS环境仅包含1300个高风险场景
   • 计划：构建百万级场景库，引入对抗样本生成

一个有趣的发现是：在5%的极端案例中，人类驾驶员会违反VLM的决策逻辑（如激进变道），这提示我们可能需要引入风险偏好可调的机制。