车道线检测 | Robust Lane Detection from Continuous Driving Scenes Using Deep Neural Network 算法笔记

会议：IEEE, SEP.2018

标题：《 Robust Lane Detection from Continuous Driving Scenes Using Deep Neural Networks 》

论文链接：https://arxiv.org/pdf/1903.02193.pdf

代码链接：–

摘要

在无人驾驶和辅助驾驶系统中，车道线检测是一个很重要的模块。近年来，提出了很多复杂的车道线检测方法。但是，许多方法主要是检测单帧图片上的车道线，在复杂场景中如重阴影，标记线严重退化，堵车等场景中表现不好。实际上，道路上的车道线是连续的线结构。因此，单单在当前一帧上不能精确的检测出车道线。为此，我们研究通过道路的多个连续帧进行车道线检测，提出了结合CNN+RNN的混合深度框架。特别是，每一帧的信息被CNN模块提取，多个连续帧的CNN特征保持了时间连续性，输入给RNN模块作为特征学习和车道线预测。在两个大规模的数据集上进行广泛的实验，结恶果表明，提出的这个方法在车道线检测，尤其是复杂场景下的车道线检测上表现突出。

相关工作

过去两世纪，在车道线检测和预测领域有大量的研究。这些方法可以大致分为两类。传统的方法和基于深度学习的方法。

传统方法

在深度学习方法发展起来以前，车道线检测主要是依据直线检查和直线拟合来建立几何模型，最初的特征主要采用梯度、颜色和纹理和能量最小化算法。

1. 几何模型
2. 能量最小化

基于深度学习方法

1. Encoder-decoder CNN
2. FCN with optimization algorithms
3. ‘CNN+RNN‘
4. GAN model

不同于以上四种基于深度学习的方法，我们提出了针对车道线检测的结合RNN和CNN的端到端的训练网络。

本文方法

系统概述

车道线是路面上的实现或虚线结构，在单帧图像上可以通过几何模型或者语义分割方法检测出来。但是在ADAS（智能辅助驾驶）系统中，由于场景复杂，单帧图像信息不能满足稳健的车道线检测算法。

我们提出了结合CNN和RNN的连续帧车道线检测算法。RNN具有连续信号处理，时序特征提取和集成的优势，可以用来车道线检测和预测。CNN的优势在于能处理大量的图像，通过卷积和池化等操作，将输入图片提取成小尺寸的特征图。这些来自于连续帧的特征图包含了时序属性，可以很好地被RNN模块处理。

为了更好的将CNN 和RNN结合成一个端到端的训练网络，我们设计了一个（encoder-decoder）编解码框架。这个框架如图2所示。编码CNN和解码CNN是两个全连接网络。一系列的连续图片作为输入，传入编码CNN模块，编码CNN处理后得到时序的特征图。特征图作为输入传入LSTM网络用来预测车道线信息。LSTM网络的输出再传入到解码CNN网络中，得到车道线预测的概率图。且这个概率图和输入图片尺寸大小一致。

网络设计

1. LSTM network

采用ConvLSTM替代LSTM各门的矩阵乘法，用于组合端到端的训练网络。

一个通用的ConvLSTM细胞在t时刻的**函数可以表示为如下：

2. Encoder-decoder network

编解码网络在车道线检测模型中类似于语义分割任务。

训练策略

1）这个网络采用SegNe和UNet在ImageNet上的预训练权重模型。
2）驾驶场景道路的大量的连续N帧图片作为输入图片
3）损失函数的设计

4）在不同的训练层级上采用不同的优化方法。在最初开始训练时，采用Adam优化，训练到相当高的精度时，采用SGD算法

实验和结果

数据集

结合TuSimple车道数据集和我们自己的数据集

结论

本文中，提出了一种结合CNN和RNN的鲁棒性车道线检测的复杂的神经网络。这个网络结构基于编解码框架，采取多连续帧作为输入，然后以一种语义分割的方式预测当前帧中的车道线。在这个框架中，输入图片的每一帧中的特征会首先被CNN编码器提取，然后所有输入帧的顺序编码特征送入ConvLSTM(卷积 LSTM)处理。最后，ConvLSTM的输出传入解码CNN中用来信息重建和车道线预测。两个数据集包含了组成的连续的车道图片用来绩效评估。

对比那些只采用单张图片作为输入的基准架构，这个新提出的架构明显有很好的结果，证明使用多连续帧作为输入时很有效的。同时，实验结果表明ConvLSTM比FcLSTM在车道线检测中的序列特征学习和目标信息预测上有明显优势。此模型在精确度，召回率，和准确度上表现更好。另外，本文模型在一组非常有挑战性的数据集上进行测试，验证它的鲁棒性，结果显示，本文模型在多种路况下能很稳定的检测出车道线，避免错误识别。在参数分析中，更长的输入序列会有更好的表现，并进一步表明了在车道线检测中，多帧图片比单帧图片更有帮助。

未来，我们计划通过在此框架中添加曲线拟合来进一步提车道线检测。这样的话，检测出的车大凹陷会更平滑更完整。另外，在昏暗的环境中存在强烈的干扰，SegNet-ConvLSTM表现会比UNet-ConvLSTM表现得好一点，这方面需要更多的研究。