无人驾驶车辆决策系统综述

汽车学院——整车集成与动力学控制无人驾驶车辆决策系统综述小组：严森炜陈焕余哲翔肖成乾汽车学院——整车集成与动力学控制汇报内容1.无人车决策系统概述1.1无人车系统架构1.2广义与狭义的决策系统1.3决策系统的设计准则1.4决策系统的分类22.基于专家算法的决策系统2.1有限状态机的四要素2.2有限状态机在决策系统的应用举例2.3国内外研究实例3.基于学习算法的决策系统3.1Nvidia端到端决策法汽车学院——整车集成与动力学控制无人车决策系统概述1.无人车系统架构2.广义与狭义的决策系统3.决策系统的设计准则4.决策系统的分类3汽车学院——整车集成与动力学控制4无人驾驶车辆系统架构系统架构广义/狭义设计准则系统分类感知决策控制踏板信息方向盘转角环境信息汽车学院——整车集成与动力学控制5环境状态GPS/惯导毫米波雷达视觉传感器信息融合决策系统自车状态超声波雷达激光雷达运动控制系统底盘及附件油门/制动踏板开度&方向盘转角？无人驾驶车辆系统架构系统架构广义/狭义设计准则系统分类轮速传感器感知信息融合决策档位控制踏板控制转角控制附件控制控制汽车学院——整车集成与动力学控制6环境状态GPS/惯导毫米波雷达视觉传感器信息融合决策系统(广义的决策)自车状态超声波雷达激光雷达底盘及附件广义与狭义的决策系统广义/狭义系统架构设计准则系统分类轮速传感器感知信息融合决策档位控制踏板控制转角控制附件控制控制运动控制系统油门/制动踏板开度&方向盘转角行为决策模块(狭义的决策)路径规划模块①当前车辆行为②车辆运动目标点③目标车速②车辆运动目标点③目标车速路径跟踪系统——狭义的行为决策系统根据传统方法划分汽车学院——整车集成与动力学控制7无人车决策系统的设计准则设计准则系统架构广义/狭义系统分类无人车决策系统的最终目标：使无人车像熟练的驾驶员一样产生安全、合理的驾驶行为。①安全最高优先级（防碰撞、避障、故障检测功能）②良好的系统实时性③右侧通行优先④保持车道优先⑤车速限值⑥合理的效率优先⑦结合用户需求的自主规划能力汽车学院——整车集成与动力学控制8①专家算法（基于规则、知识）优点：便于建模安全系数更高缺点：行动机械无法处理算法未覆盖的工况代表方法：基于规则的有限状态机法代表应用：智能先锋II、红旗CA7460、Boss、Junior、Odin、Talos、Bertha②学习算法（基于机器学习）优点：具备自学习性能智能化更高缺点：需要大量实验数据支持过学习、欠学习代表方法：神经网络法、ID3决策树代表应用：NVIDIA、Comma.ai、Mobileye无人车决策系统的分类系统分类系统架构广义/狭义设计准则汽车学院——整车集成与动力学控制基于专家算法的决策系统1.有限状态机的四要素2.有限状态机在决策系统的应用举例3.国内外研究实例9汽车学院——整车集成与动力学控制10四大要素应用举例研究实例有限状态机的四大要素①状态S——数量有限、初始状态、子状态、原子状态②事件E——能够造成状态转移的特定输入集合③转移δ——状态转移的过程，与前时刻状态有关④动作A——即系统输出，状态决定动作，en/du汽车学院——整车集成与动力学控制11应用举例四大要素有限状态机在无人车系统中的应用举例系统输入系统输出决策系统Input:自车车速自车与前车相对距离自车与前车相对车速决策系统——模式分解直线单车道工况下的无人车决策系统定速巡航du:目标车速=预设车速自适应巡航du:目标车速=前车车速目标距离=安全距离Output①:目标车速、目标距离车速控制系统系统输出Output②:油门踏板开度/电机转矩E1：检测到前车&&与前车的相对距离预设距离E2：未检测到前车||检测到前车但与前车的相对距离≥预设距离E1=~E2E1E2研究实例汽车学院——整车集成与动力学控制决策有限状态机的设计思路12应用举例四大要素研究实例汽车学院——整车集成与动力学控制13研究实例四大要素应用举例基于有限状态机决策系统的国内外研究实例国外：串联结构：麻省理工大学——Talos并联结构：斯坦福大学与大众公司——Junior梅赛德斯奔驰公司——Bertha（人机切换）混联结构：卡耐基梅隆大学与福特公司——Boss弗吉尼亚理工大学——Odin（仲裁机制）国内：并联结构：国防科学技术大学——红旗CA7460（高速公路工况）混联结构：中国科学技术大学——智能驾驶II号汽车学院——整车集成与动力学控制14研究实例四大要素应用举例基于有限状态机决策系统的国内外研究实例卡耐基梅隆大学与福特公司——Boss（混联结构）顶层基于场景行为划分，底层基于自车行为划分。三个顶层行为及其底层行为：车道行驶（车道选择、场景实时报告、距离保持器、行为发生器等）、路口处理（优先级估计、转移管理等）、指定位姿。Boss系统实时性好、智能性强，但是系统对硬件的要求极高。如系统配备11个激光雷达（包括1个Velodyne64线激光雷达），计算单元包括10台2.16GHz酷睿多核处理器等ChrisUrmsonandetal.2008.AutonomousDrivinginUrbanEnvironments:BossandtheUrbanChallenge[J].JournalofFildRobotics,25(8):425-466汽车学院——整车集成与动力学控制研究实例四大要素应用举例基于有限状态机决策系统的国内外研究实例国防科学技术大学——红旗CA7460（并联结构、高速公路工况）决策器划分为自由追踪行车道、自由追踪超车道、由行车道换入超车道、由超车道换入行车道等模式。制定了行车效率指标（行车速度与期望车速）和行车安全性指标（碰撞时间TTC），结合交通规则制定行为决策策略。在目标行为的选择决策中，行车安全性优先级高于行车效率性优先级。孙振平.自主驾驶汽车智能控制系统[D].国防科学技术大学，200415汽车学院——整车集成与动力学控制基于学习算法的决策系统1.Nvidia技术路线概述2.卷积神经网络介绍16汽车学院——整车集成与动力学控制软硬件平台•目的：用卷积神经网络（CNNs）将车前部摄像头捕捉到的原始像素图映射为汽车的方向操控命令。•训练：这套端到端学习系统使用了NVIDIADevBox，用Torch7进行训练。•操作：一台NVIDIADRIVEPX自动驾驶汽车计算机用于判断汽车行驶的方向，工作时它每秒需要处理30帧的数据，同样使用Torch7处理。17Nvidia技术路线卷积神经网络汽车学院——整车集成与动力学控制训练的输入•输入的训练信号：人工操控方向盘的角度•设备：DAVE-2系统：数据采集车的挡风玻璃后面固定了三台摄像机，在摄像机采集视频数据的同时，此系统也记录驾驶员操控方向盘的偏转角度。•不同于人工将问题拆解，比如拆解成车道线识别、决策规划、车辆控制等子任务，端到端系统同时能优化所有的操纵过程18汽车学院——整车集成与动力学控制神经网络基础知识19汽车学院——整车集成与动力学控制网络结构•这个网络有2700万个连接和25万个参数。•在五层卷积之后又接了三个全连接层，最后输出一个控制数字，即转弯半径的倒数。全连接层的设计意图是作为方向控制器，•卷积层是用来提取特征的，前三个卷积层使用了strided卷积，其中stride是2x2，卷积核是5x5，后两层选用了non-strided卷积，卷积核是3x3。•网络的第一层对输入图像做归一化。在网络模型中进行归一化可以使得归一化过程根据网络结构调整，而且能用GPU加速处理过程。20汽车学院——整车集成与动力学控制内容1.卷积神经网络工作原理2.举例21汽车学院——整车集成与动力学控制局部感知野22在图像处理中，往往把图像表示为像素的向量，比如一个1000×1000的图像，可以表示为一个1000000的向量。如果隐含层数目与输入层一样，即也是1000000时，那么输入层到隐含层的参数数据为1000000×1000000=10^12，这样就太多了，基本没法训练。图像的空间联系是局部的像素联系较为紧密，而距离较远的像素相关性则较弱。因而，每个神经元其实没有必要对全局图像进行感知，只需要对局部进行感知，然后在更高层将局部的信息综合起来就得到了全局的信息。全连接局部连接汽车学院——整车集成与动力学控制权值共享•卷积操作是提取特征的方式，该方式与位置无关。•如下图所示，展示了一个33的卷积核在55的图像上做卷积的过程。23汽车学院——整车集成与动力学控制池化24•在通过卷积获得了特征(features)之后，下一步我们希望利用这些特征去做分类。理论上讲，人们可以用所有提取得到的特征去训练分类器，但这样做面临计算量的挑战。•例如：对于一个96X96像素的图像，假设我们已经学习得到了400个定义在8X8输入上的特征，每一个特征和图像卷积都会得到一个(96−8+1)×(96−8+1)=7921维的卷积特征，由于有400个特征，所以每个样例(example)都会得到一个7921×400=3,168,400维的卷积特征向量。学习一个拥有超过3百万特征输入的分类器十分不便，并且容易出现过拟合(over-fitting)。•因此，一个很自然的想法就是对不同位置的特征进行聚合统计，例如，人们可以计算图像一个区域上的某个特定特征的平均值(或最大值)。这些概要统计特征不仅具有低得多的维度，同时还不容易过拟合。这种聚合的操作就叫做池化(pooling)。汽车学院——整车集成与动力学控制卷积神经网络举例•通过一个图像分类问题介绍的。下面是卷积神经网络判断一个图片是否包含“儿童”的过程，包括四个步骤：25汽车学院——整车集成与动力学控制1.图像输入（InputImage）•这张照片被分割成了77张大小相同的小图片。26汽车学院——整车集成与动力学控制接下来将每一个独立小块输入小的神经网络；这个小的神经网络已经被训练用来判断一个图片是否属于“儿童”类别，它输出的是一个特征数组。27标准的数码相机有红、绿、蓝三个通道（Channels），每一种颜色的像素值在0-255之间，构成三个堆叠的二维矩阵；灰度图像则只有一个通道，可以用一个二维矩阵来表示。2.卷积（Convolution）汽车学院——整车集成与动力学控制将所有的独立小块输入小的神经网络后，再将每一个输出的特征数组按照第一步时77个独立小块的相对位置做排布，得到一个新数组。28这个小的神经网络对这77张大小相同的小图片都进行同样的计算，也称权重共享（SharedWeights）。2.卷积（Convolution）汽车学院——整车集成与动力学控制3.最大池化（MaxPooling）•卷积步骤完成后，再使用MaxPooling算法来缩减像素采样数组，按照2×2来分割特征矩阵，分出的每一个网格中只保留最大值数组，丢弃其它数组，得到最大池化数组（Max-PooledArray）。29汽车学院——整车集成与动力学控制接下来将最大池化数组作为另一个神经网络的输入，这个全连接神经网络会最终计算出此图是否符合预期的判断。304.全连接神经网络计算（Fully-ConnectedNeuralNetwork）汽车学院——整车集成与动力学控制训练系统•训练数据包括从视频中采样得到的单帧视频，以及对应的方向控制命令。•网络模型还需要学习如何纠正错误的操作。于是训练数据额外补充了大量图像，包括汽车从车道中心的各种偏移。•预测的方向控制命令与理想的控制命令相比较，然后调整CNN模型的权值使得预测值尽可能接近理想值。31汽车学院——整车集成与动力学控制训练后模型的使用32训练得到的模型可以用正前方的单个摄像机的数据生成方向控制命令。汽车学院——整车集成与动力学控制数据采集33训练数据是在各种路段和不同灯光和天气条件下采集得到：道路：街道路面，高速公路其它道路类别包括两车道道路（有车道标志或者没有标志）路边有车停放的居民区道路隧道和不平整道路天气状况：晴天、多云、雾天、雪天、雨天时间：白天、晚上在某些情况下，太阳接近地平线，导致有路面反射的光线和挡风玻璃的散射。系统不依赖与任何的汽车制造商