基于增强现实的交通支持系统中深度学习训练数据的自动生成

摘要

本文提出了一种方法，可自动生成构建支持增强现实 （AR）中交通数据指示的基于深度学习的模型所需的训练数据。
在通过增强现实向道路使用者显示数据的情况下，存在重要物体被数据遮挡的风险。因此，数据指示的位置应进行自适应确定。为此，期望通过深度学习准确识别重要物体以实现位置确定。然而，深度学习需要准备大量训练数据。在我们的方法中，大量训练数据被自动生成，从而实现了通过深度学习支持数据指示的位置确定。实验结果表明了本方法的有效性。

一、引言

近年来，由于计算机界面设计的进步以及计算机性能的不断提高，可在室内和室外使用的设备已得到广泛普及。
因此，向道路使用者在增强现实（AR）中显示交通数据指示已成为可能实现的技术。AR通过AR设备将数据叠加到道路使用者的视野中，从而增强智能交通系统（ITS）的功能。然而，当在用户视野中显示这些数据时，存在遮挡道路使用者应识别的重要物体的风险。因此，数据指示的位置必须确定在对交通而言安全的区域。为此，必须构建通过深度学习准确检测识别物体区域的方法[1]。然而，在基于深度学习的模型构建过程中，能够准备大量训练数据是深度学习各种应用中的一个重要问题。特别是，在缺乏明确标准的情况下为大量图像进行标签标注十分困难。
作为图像标注的一种方法，我们已在[5]中验证了使用显著图模型(SMM)[3]和接缝裁剪模型(SCM)[4]的有效性[2]。
在本文中，我们提出了一种通过[5]自动生成用于构建基于深度学习的模型的训练数据的方法。图1展示了所提出的方法的框架。具体而言，首先，通过利用[5]，我们获得矩阵ܯ௖，作为每帧视频中标签确定的准则。然后，为了从每一帧中获取多个训练数据，分别从该帧及其ܯ௖中提取区域。最后，基于ܯ௖为每个区域确定标签。此外，通过使用能够提取具有高判别性能特征的特征提取器来获取图像特征。由此，实现了用于构建基于深度学习的模型的训练数据的自动生成。

II. 深度学习训练数据的自动生成

所提出的方法通过利用[5]自动生深度学习的训练数据。
所提出的方法的详细信息如下所示。

A. 集成矩阵作为标签确定的准则

在本节中，详细解释了[5]的细节。在该方法中，通过整合SMM和SCM的输出，获得用于标签确定的ܯ௖。

显著图模型

SMM是一种用于检测显著区域的方法。此外，还提出了一种通过存储视频帧中每个像素的值来检测物体运动的方法[3]。通过利用[3]，可以实现对不包含物体运动的区域进行检测。

接缝裁剪模型

SCM是一种检测视觉上不重要的接缝形成区域[4]的方法。通过在垂直和水平方向上反复应用该方法，所提出的方法可以检测出视觉上不重要的区域。

检测结果的集成

通过集成SMM和SCM的检测结果，在[5]中获得了ܯ௖。具体而言，集成结果ܦெ೎൫0൑ܦெ೎ ൑ 1൯是通过逐像素地将SMM的结果ܦܵܯܯ与多帧中SCM的结果ܦ௠ௌ஼ெ相加而得到的。ܦ௠ௌ஼ெ是SCM在目标视频片段的每个像素处的检测结果ܦ௙ௌ஼ெ ሺ݂ ൌ 1,2,…,ܨሻ之和乘以衰减系数ܣ௙，其中ܨ是目标视频片段的总帧数。上述内容定义如下：

$$
ܦ௠ௌ஼ெ ൌ \sum_{f=1}^{F} ܣ௙ \times ܦ௙ௌ஼ெ. \quad (1)
$$

最后，ܦெ೎按如下方式逐像素获得：

$$
ܦெ೎ ൌ ܦௌெெ ൅ ܦ௠ௌ஼ெ. \quad (2)
$$

由公式(2)可得，对应于目标视频片段的ܯ௖将如图2(a)所示获得。

B. 从视频帧和集成矩阵中提取区域

在本节中，我们解释了如何从每个视频帧中提取区域以及ܯ௖。从每一帧中提取出区域ܴ௡ ሺ݊ ൌ 1,2,\dots,ܰሻ，其中ܰ为提取区域的总数。因此，我们分别获得了ܰ个包含帧像素值的矩阵和ܰ个包含ܦெ೎的矩阵。

C. 标签确定

本节将解释每个区域中的标签确定。根据ܦெ௢ௗ௘೙ ெ೎确定关于交通数据指示是ݏ݂ܽ݁还是ݑ݊ݏ݂ܽ݁的标签݈ܾ݈ܽ݁௡，其中ܦெ௢ௗ௘೙ ெ೎ 是ܴ௡中ܦெ೎的模式。具体定义如下݈ܾ݈ܽ݁௡。

$$
݈ܾ݈ܽ݁௡ ൌ
\begin{cases}
ݏ݂ܽ݁ & \text{if } ܦெ௢ௗ௘೙ ெ೎ \geq 0.5, \
ݑ݊ݏ݂ܽ݁ & \text{otherwise}.
\end{cases}
\quad (3)
$$

因此，每个区域中的标签被自动确定。此外，通过提取每个区域中的图像特征，可以自动生成训练数据。

III. 实验结果

在本节中，我们展示实验结果以验证所提出的方法的有效性。在本实验中，我们准备了三种道路使用者视角的视频，分别为汽车驾驶员、自行车骑行者和行人。视频帧的分辨率分别为 720×540、540×960 和 540×960，各视频的帧率为 30fps。在数据集生成过程中，我们将ܴ௡的分辨率定义为 40×40。在本实验中，为了获取图像特征，我们使用 inception-v3 模型[6]作为特征提取器。然后，通过利用所提出的方法，我们自动生成了一个包含 95,000 个训练数据和 5,000 个测试数据的新数据集。
为了验证生成的数据集的有效性，我们使用生成的数据集构建极限学习机（ELM）[7]。同时，我们基于[5]确认经过训练的 ELM 得到的分类结果与确定的标签之间的相似性。具体而言，我们计算准确率、召回率、精确率和 F 值，F 值是召回率和精确率的调和平均数。其定义如下：

$$
ܣܿܿݑݎܽܿݕ = \frac{\text{Num. of correctly classified regions}}{\text{Num. of all classified regions by ELM}}, \quad (4)
$$

$$
ܴ݈݈݁ܿܽ = \frac{\text{Num. of correctly classified regions as each label}}{\text{Num. of labeled regions as each label based on [5]}}, \quad (5)
$$

$$
ܲݎ݁ܿ݅ݏ݅݋݊ = \frac{\text{Num. of correctly classified regions as each label}}{\text{Num. of classified regions as each label by ELM}}. \quad (6)
$$

实验结果如表 I 所示。从该表可以看出，训练后的 ELM 与[5]几乎一致。此外，图 2 展示了实验结果的一个示例。从图 2 可以看出，这些结果大部分相似。因此，通过提出的方法生成的自动训练数据的有效性得到了验证。

[5]作为ܯ௖的结果，(b) 所提出的方法的结果。)

IV. 结论

本文提出了一种通过利用[5]自动生成训练数据以构建基于深度学习的模型的方法。使用我们的方法，可以实现大量训练数据的准备。实验结果证实了所提出的方法的有效性。对于未来工作，我们将通过与使用其他算法进行标签确定和区域提取的方法相比较，来验证所提出的方法的有效性。