车道线的位置和形状——如何通过结构信息进行检测?

近年来，随着深度神经网络和自动驾驶的快速发展，车道线检测取得了很大进展。然而，仍存在三个主要问题:表征车道线、建模场景和车道线之间的结构关系以及支持车道线的更多属性(例如实例和类型)。为解决以上问题，提出了一种新型的结构信息引导的框架。在该框架中，我们首先引入一种新的车道表示来表征每个车道线实例，然后提出一种自上而下的消失点引导锚机制来产生密集的锚，有效地捕获各种车道线。接着使用多层级结构约束来提升车道线的提取。在此过程中，引入二值分割的像素级感知来提升锚周围的特征并自下而上地恢复车道线细节，引入车道级关系来建模车道线之间结构关系，引入图像级注意力从场景角度自适应地关注图像的不同区域。在结构信息的帮助下，锚被有效地分类和回归以获得精确的车道线位置和形状。在公共数据集上的大量实验表明，提出的方法在精度和速度上优于当前的先进方法。

苏金明：美团算法工程师，毕业于北京航空航天大学。目前主要研究兴趣包括场景理解、三维重建等相关领域，在计算机视觉及人工智能领域知名期刊会议T-IP、J-STSP、ICCV、IJCAI等发表多篇论文，担任T-PAMI、CVPR、lCCV等期刊会议审稿人。

个人主页: http://jinmingsu.net/。

01

背 景

车道线检测任务是指将图像场景中的车道线识别出来，这个识别结果可以是点集、掩码（mask）、地面印刷Marker等等，如下图a所示。

车道线识别任务主要面临三个挑战：

（1） 车道线的表征不一致：正如上面提到的车道线有多种表示形式。

（2） 不能有效利用结构性信息。如下图b，比如消失点描述的是车道线远处可能的交点；还有一种结构性信息描述在现实世界绘制车道线的过程中及时保持等距平行的关系，目前这个信息很少被利用；另外还有相机成像机制导致的近处成像大远程成像小的信息也是很需要被有效利用的。

（3） 更多扩展车道线属性很难被扩展。图c中列举的一些语义属性，如白实线、双黄实线等。

02

方 法

本文提出的车道线检测任务模型——SGNet，采用这个模型可以将上面提出的三个车道线检测任务难点进行统一解决处理。首先对图像进行特征提取，提取的特征会进入到消失点引导的Anchor生成器（VP-guided Anchoring Generator），然后生成少数目但准确的集约Anchor。为了更好地利用结构信息，我们引入像素级感知约束（Pixel-level Perception）、车道线级关系约束（Lane-level Relation）和图像级注意力约束（Image-level Attention）。利用这三部分约束作用于Anchor就可以得到比较准确的预测结果。

这里我们来详细介绍一下SGNet的具体实现过程。

（1） 基于线包围框的统一车道线表示方法

我们选择车道线的最小外接矩形（宽w高h）作为车道线的线包围框，选取线包围框宽的中点连线作为线包围框的中间线，中间线与x轴的顺时针角度记为θ。在y坐标方向上每隔一定距离选择一个固定的点，求上在y坐标下点的位置以及车道线对应y坐标下x方向距离的插值，有了和我们就可以表示车道线。

（2） 消失点引导的Anchor生成机制

消失点描述车道线尽头虚拟的点，对于路口可能会有多个消失点，那我们就用多个消失点来进行表征。首先对消失点进行学习，然后根据消失点生成Anchor。

在目前的公开数据集中，并没有对消失点进行标注，但是标注的车道线，我们的方法是现求解车道线的线包围框和中间线，任何根据车道线包围框和中间线求两两车道线交点的平均值作为消失点。消失点本身是一个坐标，将该坐标以半径为16像素进行扩大得到一个圆，将这个圆作为前景，其他像素作为背景，学习一个二值分割任务，损失函数采用二值交叉熵损失。

（3） 多层级的结构信息约束

我们通过多层级结构约束，以提高车道线感知能力。在此过程中，利用像素级的感知能力，通过车道二值化分割改善车道细节，利用神经网络的反向透视映射(IPM)建立车道间的平行性关系，从场景的角度对图像进行自适应权值处理。最后，提取结构导向下Anchor的特征，进行准确的分类、回归和其他属性的预测。

03

实 验

我们的方法SGNet在 CULane 和 Tusimple 数据集上的实验结果验证了所提方法的有效性，该方法在117 fps 的速度下达到了最佳性能和高效运行。

04

总 结

本文提出了结构信息引导的车道线检测框架SGNet，能够统一表征车道线，并且准确检测不限定条数的车道线的类别、位置及形状；提出了消失点引导的Anchor生成机制，该机制预测消失点，并生成可以准确预测车道线的集约型Anchor；提出了多层级的结构信息约束机制，可以准确感知像素级一元信息，同时建模车道级二元关系信息，并且自适应感知图像级全局信息。

提

醒

论文链接：

https://arxiv.org/pdf/2105.05403.pdf