Transformer又快又好的车道线检测算法420 fps

作者：CV君

分享一篇新出的论文 End-to-end Lane Shape Prediction with Transformers，该文为车道线检测问题建立参数模型，使用Transformer捕获道路中细长车道线特征和全局特征，所发明的车道线检测算法与以往相比，可端到端训练、参数量更少、速度更快（高达420 fps，单1080Ti）。

该文作者信息：

Facebook的DETR目标检测算法，说明了Transformer用于计算机视觉的巨大潜力。

该文的一大目标即是将Transformer用于车道线检测，将其用于特征提取部分。

另外，车道线检测以往的方法往往需要经过特征提取和后处理两个过程，这使得整个算法不能端到端训练，作者借助于对车道线曲线和相机内参的描述，采用多项式参数模型来描述车道线，并配以Bipartite Matching Loss函数，实现端到端训练，网络的目标成为预测几个参数，这无需后处理且降低了计算量。

整体网络结构：

车道线参数模型：

对应于网络结构中的 Curve Parameters 的参数组。

在TuSimple数据集测试集上的结果比较：

该文方法取得了速度最快（使用ResNet18作骨干网，420 FPS），精度不是最好，但已经是接近目前文献报告的最好结果，而且参数量极小。（使用1080TI GPU）

使用二次曲线还是三次曲线模型拟合车道线更好呢？作者做了个实验：

结果发现三次曲线略胜一筹。

与PolyLaneNet算法检测结果比较：

可见，该文算法拟合的车道线更加精确。

下图为在作者收集的FVL数据集上的效果：

尽管训练集中没有夜间行车数据，但该文算法仍能很好的检测车道线，表明其强大的泛化能力。

论文地址：

https://arxiv.org/pdf/2011.04233.pdf

代码地址：

https://github.com/liuruijin17/LSTR

（尚未开源）

Transformer最近频频在计算机视觉领域出镜，还可能有哪些突破？欢迎留言。