场景图生成技术：从视觉理解到结构化推理

learning_1

468人浏览 · 2026-06-15 12:54:11

learning_1 · 2026-06-15 12:54:11 发布

1. 场景图生成技术演进与挑战

计算机视觉领域近年来最引人注目的突破之一，就是场景图生成（Scene Graph Generation, SGG）技术的快速发展。这项技术能够将复杂的视觉场景解析为结构化的语义图表示，其中节点代表场景中的物体实例，边则描述物体之间的相互关系。这种结构化表示不仅为机器理解图像内容提供了可解释的框架，更为视觉问答、图像检索、机器人导航等下游任务奠定了语义基础。

1.1 传统方法的局限

早期的SGG系统普遍采用两阶段流水线架构：第一阶段使用物体检测网络（如Faster R-CNN）定位和识别场景中的物体；第二阶段通过关系预测模块分析每对物体之间的潜在关系。这种架构虽然直观，但存在两个根本性缺陷：

错误传播问题 ：物体检测阶段的误差会直接影响后续关系预测的准确性。我们的实验数据显示，当物体检测的mAP下降10%时，最终场景图的F1分数可能衰减达25-30%。
关系预测偏差 ：由于视觉关系中普遍存在的长尾分布（例如"骑"比"修理"更常见），模型容易偏向高频关系。在VG150数据集中，头部10%的关系类别占据了超过60%的样本量，导致模型对尾部关系的识别准确率不足5%。

1.2 多模态大语言模型的机遇

随着多模态大语言模型（Multimodal Large Language Models, MLLMs）的崛起，端到端的场景图生成成为可能。这类模型通过统一的Transformer架构，实现了从像素输入到结构化输出的直接映射，其优势主要体现在：

联合推理能力 ：物体检测与关系预测共享视觉特征和语义表示，避免了特征不一致问题
开放词汇支持 ：不再受限于预定义的类别体系，能够处理新颖的对象和关系描述
上下文感知 ：利用语言模型的序列建模优势，保持场景理解的全局一致性

然而在实际应用中，我们发现纯MLLM方案面临两个关键挑战：

结构化推理缺失 ：通用指令（如"逐步思考"）缺乏SGG任务所需的严格约束，导致输出格式混乱和逻辑断裂
数据分布问题 ：关系标注的稀疏性（平均每图仅5-8个标注关系）和长尾特性被生成式架构放大，产生大量漏检和偏置预测

案例说明：当使用Qwen2.5-VL直接生成场景图时，即使提供详细提示，模型仍会遗漏30-40%的实际关系，同时错误引入15-20%的虚假关联。这种"幻觉生成"现象在复杂场景中尤为明显。

2. SGG-R3框架设计原理

2.1 整体架构创新

SGG-R3（Structured Graph Generation with Relation-aware Reasoning）框架的核心创新在于将场景图生成分解为三个严格有序的推理阶段，每个阶段配备专门的优化策略：

对象类别检测 ：先识别场景中存在的物体类别，缩小搜索空间
对象实例定位 ：对每个已识别类别的所有实例进行精确边界框回归
多类型关系抽取 ：按照语义类型分组预测关系三元组

这种阶段式设计源于我们对人类视觉认知过程的观察——人们通常会先快速扫描场景确定有哪些类型的物体，再逐个类别进行细致观察，最后分析物体间的交互模式。

2.2 关键技术组件

2.2.1 链式思维提示工程

我们设计了专门的XML风格提示模板，通过结构化标签明确约束各阶段输出格式：

<CATEGORY>
  {"categories": ["person", "car", ...]}
</CATEGORY>
<OBJECT>
  {"instances": [{"category": "person", "bbox": [x1,y1,x2,y2]}, ...]} 
</OBJECT>
<RELATION>
  {"relations": [{"subject": 0, "predicate": "riding", "object": 1}, ...]}
</RELATION>

这种设计带来两个关键优势：

错误隔离 ：每个阶段的错误不会直接影响后续阶段（如类别识别错误不会传播到实例定位）
可解释性 ：可以单独评估各阶段性能，便于问题诊断

2.2.2 类型感知的关系增强

为解决关系数据稀疏性，我们开发了基于MLLM的数据增强流水线：

描述生成 ：使用Qwen2.5-VL根据图像和现有标注生成场景描述
关系扩展 ：基于描述和预定义关系类型生成候选三元组
语义过滤 ：通过Sentence-BERT计算嵌入相似度，保留与原始数据分布一致的关系

表1展示了关系增强对数据分布的改善效果：

数据集	原始平均关系数	增强后平均关系数	尾部关系覆盖率提升
VG150	7.2	18.5	3.7x
PSG	6.8	15.3	4.2x

2.2.3 双粒度奖励机制

在强化学习阶段，我们创新性地设计了结合细粒度和粗粒度评估的复合奖励函数：

细粒度奖励 ：

基于精确匹配的三元组识别
引入频率自适应权重：$w(p) = 0.5 + 0.5*\frac{\log(1/f_p)-\log(1/f_{max})}{\log(1/f_{min})-\log(1/f_{max})}$
确保尾部关系获得足够梯度信号

粗粒度奖励 ：

使用DBSCAN对关系进行语义聚类
奖励模型生成与任何聚类中心相似的新关系
提升对未标注但合理的关系的覆盖率

这种设计使得模型在保持精确匹配能力的同时，能够探索更丰富的语义表达空间。实验表明，双粒度奖励使关系召回率提升了12-15%，特别是将尾部关系的识别准确率提高了8-10个百分点。

3. 实现细节与优化策略

3.1 监督微调阶段

我们采用LoRA适配器对Qwen2.5-VL进行高效微调，关键配置包括：

秩维度：64
Alpha参数：128
丢弃率：0.1
学习率：5e-5（使用余弦退火调度）

训练过程中特别关注三个方面的损失平衡：

类别识别交叉熵损失
边界框回归的Smooth L1损失
关系预测的带权交叉熵损失

为避免过拟合，我们实施了动态课程学习策略——初期主要训练类别检测，中期加入实例定位，最后阶段才全面引入关系预测任务。

3.2 强化学习优化

采用Group Sequence Policy Optimization (GSPO)算法进行策略优化，其核心创新在于：

序列级重要性采样 ：相比传统的PPO在token级别操作，GSPO计算整个输出序列的重要性比率，显著降低方差
组归一化优势估计 ：在每组8个样本内进行奖励归一化，避免绝对值尺度问题

奖励函数的具体实现包含以下组件：

def calculate_reward(prediction, ground_truth):
    # 格式奖励 (权重0.2)
    format_score = check_json_structure(prediction)
    
    # 类别检测奖励 (权重0.3)
    cat_f1 = f1_score(prediction['categories'], ground_truth['categories'])
    
    # 实例定位奖励 (权重0.3)
    box_iou = calculate_matched_iou(prediction['objects'], ground_truth['objects'])
    recall = len(matched_pairs) / len(ground_truth['objects'])
    
    # 双粒度关系奖励 (权重0.5)
    fine_grained = triplet_f1(prediction['relations'], ground_truth['relations'])
    coarse_grained = cluster_coverage(prediction['relations'], gt_clusters)
    
    total_reward = 0.2*format_score + 0.3*(0.7*cat_f1 + 0.3*box_iou) + 0.5*(0.6*fine_grained + 0.4*coarse_grained)
    return total_reward

这种加权组合确保了模型在不同阶段获得平衡的优化信号。我们使用8块A800 GPU进行分布式训练，每个GPU维护独立的推理环境，通过Ring-AllReduce同步梯度。