环境感知与识别

Chapter5环境感知与识别Outline5.1环境感知与识别概述5.2障碍物检测5.3车道线检测5.4红绿灯检测5.5场景流5.6基于V2X的道路环境感知技术5.7基于pytorch的红绿灯检测实验5.8本章小结5.1环境感知与识别概述1.环境感知对象行驶路径结构化道路：车道线、道路边缘、道路隔离物、恶劣路况非结构化道路：可行驶路径的确认、前方路面环境的识别周边物体包括车辆、行人、地面上可能影响车辆通过性、安全性的其他各种移动或静止障碍物的识别及各种交通标志的识别驾驶状态驾驶环境5.1环境感知与识别概述2.传感器系统摄像头车道线检测红绿灯识别障碍物识别：通过深度学习把障碍物进行细致分类激光雷达车道线检测障碍物识别：能分一些大类，完成对物体距离的准确定位毫米波雷达车道线检测障碍物识别：障碍物运动速度、方位等识别5.2障碍物检测5.2.1基于图像的障碍物检测5.2.2基于激光雷达的障碍物检测5.2.3基于视觉和激光雷达融合的障碍物检测5.2.1基于图像的障碍物检测一阶段检测算法YOLOSSD速度快二阶段检测算法R-CNNFasterR-CNN及其改进准确度高5.2.1基于图像的障碍物检测1.基于图像的2D障碍物检测YOLO(YouOnlyLookOnce)将物体检测作为回归问题得到所有物体的位置物体对应的类别和置信概率训练和检测均在单独的网络中进行无显式求取候选框的过程设计理念网络定义输出表达定义损失函数定义5.2.1基于图像的障碍物检测1.基于图像的2D障碍物检测SSD(SingleShotMultiboxDetector)直接在图像中不同位置进行边界框采样，使用卷积层进行特征提取、分类、回归设计理念使用不同尺度下的特征图进行检测采用卷积层做检测采用不同尺度和纵横比的候选框损失函数定义5.2.1基于图像的障碍物检测SSD基本框架SSD与YOLO网络结构比较5.2.1基于图像的障碍物检测1.基于图像的2D障碍物检测FasterR-CNN二阶段检测算法如RCNN和FastRCNN无法做到端到端训练设计理念特征提取模块候选框生成模块(RPN)边框回归和目标分类模块将上述三个模块整合到一个网络，综合性能大大提高5.2.1基于图像的障碍物检测RCNN系列结构图，从RCNN、FastRCNN到FasterRCNNFasterR-CNN将三个模块整合到一个网络5.2.1基于图像的障碍物检测2.基于图像的3D障碍物检测YOLO、FasterR-CNN可以准确给出障碍物的位置现实场景还需要目标物体的长宽高、空间、朝向和偏转角等信息综合利用单目相机、双目相机和多线激光雷达进行3D障碍物检测5.2.1基于图像的障碍物检测3D障碍物检测以及鸟瞰效果示意图5.2.1基于图像的障碍物检测2.基于图像的3D障碍物检测YOLO3DEncoder模块在Darknet基础上加入更深的卷积层并添加反卷积层高分辨率多通道特征图捕捉图像细节深层低分辨率多通道特征图编码上下文信息Decoder模块语义分割，用于车道线检测基于YOLO的物体检测，同时输出物体3D信息利用地面平行假设，降低所需要预测的3D参数5.2.1基于图像的障碍物检测Apollo中YOLO3D流程示意图5.2.2基于激光雷达的障碍物检测1.基于几何特征和网格几何特征：直线、圆和矩形等对雷达数据进行处理，用聚类算法与几何特征进行对比，可以与光谱特征进行结合，从多个维度进行障碍物识别网格：对于非结构化道路，障碍物形状复杂，几何特征难以识别将雷达数据投影到网格地图中，用无向图方法进行处理5.2.2基于激光雷达的障碍物检测2.VoxelNet障碍物检测激光雷达数据需要大量人工流程进行标注VoxelNet一种统一的端到端网络，消除了手动提取特征的过程，同时让网络高效地处理雷达数据侧重于将点云数据直接作为输入，得到检测结果从单一的全局特征到与局部特征结合，从点云数据特性出发，减少计算量，提高效率5.2.2基于激光雷达的障碍物检测主要组成模块：特征学习网络、中间卷积区、区域建议网络RPN5.2.2基于激光雷达的障碍物检测特征学习网络将点云划分为体素形式，提取特征，得到特征向量步骤：体素划分、分组、随机抽样、堆叠体素特征编码和稀疏张量表示中间卷积层对特征向量进行3D卷积，得到全局特征区域建议网络RPN特征整合，输出预测概率，给出结果5.2.3基于视觉和激光雷达融合的障碍物检测摄像头方案成本低，可以识别不同物体，但作用距离和测距精度不如毫米波雷达，容易受天气和光照影响毫米波雷达不易受天气和光照影响，测距精度高，但难以识别车道线、交通标志等元素二者融合，通过视觉获取语义信息，通过激光雷达获得准确的位置信息5.2.3基于视觉和激光雷达融合的障碍物检测空间融合建立精确的雷达、三维世界、摄像机、图像和像素坐标系之间的转换关系将不同传感器坐标系的测量值转换到同一个坐标系下时间融合各类传感器在时间采集上同步以摄像机采样为基准，摄像机每采一帧图像，选取雷达上一帧缓存的数据，进行融合5.3车道线检测5.3.1基于传统视觉的车道线检测5.3.2基于深度学习的车道线检测5.3.3基于激光雷达的车道线检测5.3.1基于传统视觉的车道线检测传统视觉方法主要高度定义化的手工特征提取和启发式的方法，主要分为1.基于道路特征颜色特征灰度特征与彩色特征纹理特征多特征融合2.基于道路模型直线和抛物线模型双曲线模型5.3.2基于深度学习的车道线检测传统车道线检测需要人工提取特征，道路结构复杂，车道线种类繁多，人工工作量大且鲁棒性差。将问题看成分类或分割问题，用神经网络去代替滤波算子5.3.2基于深度学习的车道线检测1.LaneNet+H-Net车道线检测LaneNet将车道线检测转换为实例分割问题拆分为语义分割和聚类两个部分输出实例分割结果每条车道线一个标识IDH-Net负责对同一车道线的像素点进行回归输出转换矩阵，对车道线进行修正拟合一个三阶多项式作为预测的车道线5.3.2基于深度学习的车道线检测5.3.2基于深度学习的车道线检测Embedding负责对像素进行嵌入表示，训练得到嵌入向量进行聚类Segmentation对输入的图像进行语义分割，对像素点进行二分类，判断属于车道线还是背景。最后将两个分支的结果结合得到最终车道线检测的结果。5.3.2基于深度学习的车道线检测2.SCNN车道线检测CNN对遮挡的车道线识别效果较差SCNN使像素行和列之间可以传递信息5.3.2基于深度学习的车道线检测将传统卷积层接层(layer-by-layer)的连接形式转为featuremap中片连片(slice-by-slice)的形式相比于条件随机场和马尔可夫随机场，冗余信息少，信息传递有序，计算量小对于空间性强但外观线索不明显的车道线识别效果好5.3.3基于激光雷达的车道线检测激光雷达有效采样点多、可以穿透水面并且不受天气影响，但激光雷达成本高通过反射强度信息来进行车道线检测基于激光雷达反射强度信息形成的灰度图，或者和高程信息结合，过滤出无效信息，进行车道线拟合不同物体回波强度不同，对回波强度变化点提取标记，结合高程信息过滤出的可行驶区域，进行去噪、拟合，提取车道线5.3.3基于激光雷达的车道线检测介质回波强度可能的物体分类沥青、混凝土5～8道路、房屋等特性涂层12～30车道线植被、金属45～150树木、车辆等不同物体回波强度5.4红绿灯检测5.4.1基于传统视觉方法的红绿灯检测5.4.2基于深度学习的红绿灯检测5.4.3高精地图结合5.4.1基于传统视觉的红绿灯检测传统视觉方法利用颜色、边缘等浅层特征，主要分为1.基于颜色和边缘信息颜色特征2.基于背景抑制5.4.2基于深度学习的红绿灯检测传统方法使用浅层特征，鲁棒性差。红绿灯检测可以看做是小目标检测，目前深度学习方法在小目标检测上有着不错的表现，并且大多是在特征提取上做文章，让网络生成的特征更适合小目标。5.4.2基于深度学习的红绿灯检测1.FPN红绿灯检测对于深度网络来讲，其原生的卷积网络特征决定了天然的金字塔结构。深度网络在目标检测领域的应用二阶段检测算法使用多尺度特征多尺度特征融合不同尺度特征负责不同大小的目标框5.4.2基于深度学习的红绿灯检测2.特征融合SSD红绿灯检测特征融合SSD是在一阶段检测算法SSD基础上对小目标检测做的一些改进，该方式使用多尺度特征融合将上下文信息引入到SSD中帮助检测红绿灯这种小目标。5.4.2基于深度学习的红绿灯检测2.特征融合SSD红绿灯检测一阶段检测算法浅层与深层的特征融合为小目标生成丰富的细节信息速度较快，更适合无人驾驶5.4.3高精地图结合获取红绿灯世界坐标需要结合高精地图高精度、精细化定义帮助无人驾驶决策减少计算负荷5.7基于pytorch的红绿灯检测实验5.7.1Apollo红绿灯数据集5.7.2实验流程5.7.1Apollo红绿灯数据集Apollo的数据平台开放了大量人工标注数据集激光点云障碍物检测分类红绿灯检测RoadHackers基于图像的障碍物检测分类障碍物轨迹预测场景解析。5.7.1Apollo红绿灯数据集实验数据集红绿灯检测数据集包含了大量人工标注的行车场景图片红绿灯的位置信息以及类别信息已经被标识进行模型的训练和测试5.7.2实验流程1.数据处理将数据处理成coco数据集的格式，方便使用数据集划分训练集：82张图片验证集：18张图片测试集：100张图片2.调节参数环境参数模型参数5.7.2实验流程3.训练及测试每个epoch保存一次模型使用最后一个epoch保存的模型进行测试4.检测结果展示5.7.2实验流程4.检测结果展示5.7.2实验流程本章知识点小结（思维导图）Thankyou！