大数据在智能交通行业的应用

四条白线是内容边界线，原则上内容不要超出边界线。大数据在智能交通行业的应用上海逸迅信息科技有限公司四条白线是内容边界线，原则上内容不要超出边界线。智能交通是国家“十二五”重点规划“十二五”规划中明确指出，将大力推进交通信息化建设，大力发展智能交通，提升交通运输的现代化水平。“十二五”期间，国家将对智能交通投入超过1000亿元，其中城市智能交通投入达到450亿元，预计到2015-2020年，智能交通给相关行业带来的商机将超过1000亿元。单位：亿元“十二五”规划智能交通投入数据来源：《交通运输“十二五”发展规划》预计未来5年内，我国将在200个以上的大中型城市建立城市交通指挥中心。其中，城市智能交通投资约450亿元人民币，高速公路智能交通系统投资约350亿元人民币，其它智能交通系统投资大概300亿元人民币。四条白线是内容边界线，原则上内容不要超出边界线。智能交通产业发展现状城市智能交通行业“十二五”期间预计平均增速30%，东部沿海城市的智能交通系统已经初具规模，智能交通建设除硬件系统进一步提高覆盖和性能升级外逐步向软件系统升级和信息服务方向过渡。中西部地区是城市化进展最快的地区，新城市区的出现带来了对智能交通系统的强烈需求，普遍采取的“一步到位”的建设方式催生了大批千万级整体解决方案项目的出现。行业整体处于幼稚期向成长期的过渡阶段行业需求增长明显。城市智能交通市场规模预测城市智能交通市场规模预测四条白线是内容边界线，原则上内容不要超出边界线。智能交通与大数据大数据，4个V文件报表邮件分析报告预测报告结构化+半结构化公安网监国安技侦舆情监控银监会稽查食品溯源环保监测结构化+半结构化音视频地震勘探气象云图卫星遥感雷达数据物联网电信信令非结构为主大数据技术能够应用于交通卡口视频和图片数据的实时采集、存储、分析、分类、查询，能够提供比以往更快、更精确地分析、预测交通状况，并对能够影响复杂交通的潜在因素进行新的洞察。行业大数据，EB级别互联网大数据经营类管理类监管类专业类电信话单金融细账金融票据电力调度智能电网结构化为主10%结构化30%半结构化60%非结构化价值密度结构化半结构化非结构化四条白线是内容边界线，原则上内容不要超出边界线。不断增长的数据带来的挑战视频1.5PB图片1PB结构化数据330TB其他挑战如何存储大体量的数据并从中获取想要的信息某二线城市(3000台摄像机数据，每月数据)数据存储•能够满足横向扩展要求，存储PB级别的数据•在大型智能交通应用中提供分布式数据中心•满足数据快速容灾要求系统吞吐•图片和视频的并行传输带来了更高的系统I/0要求•系统的I/O必须可横向扩展实时处理•实时统计、监控告警•互动搜索模式识别•对大量历史数据的分析处理要求•需要一个并行处理数据的计算框架四条白线是内容边界线，原则上内容不要超出边界线。大数据处理的需求和特点•增量式的、几乎无限的扩展扩展性•要求系统总是在线运行可用性•灵活可动态改变的数据模型灵活性扩展性纵向扩展横向扩展分布式资源集中计算和存储分布可用性单份数据数据复制•数据最终一致一致性传统平台大数据平台新一代系统的建设需求四条白线是内容边界线，原则上内容不要超出边界线。传统数据存储方案分析关系数据库集群+NAS存储方案系统架构•将卡口文本、图片数据分别存储：用关系数据库集群（多节点）存储卡口文本数据，并支持对数据进行检索统计；用NAS集中存储（多节点）技术来存储海量图片数据。•文本数据存储：使用ShareNothing架构的智能存储层，将数据库查询下移分布到存储层的各个节点（具备计算能力），然后再将查询中间结果汇总到数据库节点。•图像数据存储：摄像头拍摄的图像经工控机处理后，图片与文本数据上传至中心系统，中心系统的图像处理服务器经过计算处理后，将图像以文件的方式存储到磁盘阵列上；然后图像处理服务器再将请求发送给中心业务应用服务器，由业务应用执行相应的业务逻辑处理，将元数据以及图像的文件位置信息记录到关系数据库中。优劣势分析•优势：1、用基于传统关系型数据库的OLAP和数据挖掘应用相对比较成熟2、上层的兼容性好。•劣势：1、集群规模受限（关系型数据库集群的扩展能力有限）；2、需要购买NAS作为图片存储，价格昂贵，NAS存储的扩展在PB已经出现瓶颈。四条白线是内容边界线，原则上内容不要超出边界线。大数据智能存储分析方案分析基于Hadoop的海量数据存储方案系统架构•采用基于Hadoop的海量数据存储方案，同时提供针对不同应用的数据实时分析和查询功能。•文本数据存储：文本类数据主要包括车牌、日期、地点、颜色、车型、违法行为分析结果、交通事件识别结果等。采取分布式索引技术，实现海量数据情况下的全文检索在内的简单索引以及支持分布式检索集群检索技术；同时支持关系型索引，实现标准SQL在内的复杂查询需求和面向应用的各类优化。•图像数据存储：图像类数据主要指50-500KB的图片文件数据（非结构化数据），采用基于Hadoop/HBase/Lucene的海量数据对象存储技术，采用完全扁平化的对象存储结构，抛弃了传统文件系统的目录结构。优劣势分析•优势：1、系统可扩展性强，2、集中I/O和性能可线性扩充，3、数据冗余，4、不停机扩容，5、跨数据中心大表，便于数据的统一管理•劣势：1、技术应用尚待时间的检验四条白线是内容边界线，原则上内容不要超出边界线。构建智能交通一站式云平台黑白名单告警管理报表管理权限管理任务管理监控管理管理系统GIS系统机动车登记系统指挥调度系统GPS数据采集系统其他外部系统数据平台应用展现基础查询高级查询碰撞分析OD推算趋势分析信号调优三废估算车管制分析数据挖掘车牌分析流量分析轨迹分析套牌分析黑白名单道路拥塞行车异常超速违章数据查询数据分析智能感知HDFSHBaseHiveMapReduceMahout数据存储分析工具数据接口Sqoop挖掘工具过车分析智能监控智能防线行车指引应用平台四条白线是内容边界线，原则上内容不要超出边界线。技术创新点海量非结构化数据存储技术视频、图片智能分析分布式计算调度及框架分布式、高性能数据库（在线实时查询）图像处理、分析、分类技术基于语义的分布式视频搜索技术多维度数据叠加描述技术四条白线是内容边界线，原则上内容不要超出边界线。大数据智能交通应用介绍智能交通云平台通过大数据云平台可实时掌控任一车辆的行驶，运行轨迹、分析车辆是否违章大数据云平台对海量的交通信息进行比对、分析和预测，为车辆出行提供最优路径规划、交通管理服务、刑侦分析、模式识别智能交通系统实时监控城市的交通状态，将各个路口的车辆实时抓拍数据传输到大数据云平台进行长期数据存储海量数据存储实时数据查询智能数据分析四条白线是内容边界线，原则上内容不要超出边界线。即席查询•在1PB的过车和图片数据中查询任意车辆在任意时间点的过车信息，系统在1S内返回查询结果。卡口信息查询车牌信息查询区域信息查询四条白线是内容边界线，原则上内容不要超出边界线。路况监控拥堵畅通区域拥堵状态展现•根据卡口过车的实时速率成区域测绘•通过红、橙、黄、绿四种颜色标识拥堵状态道路拥堵状态展现•根据两个卡口之间的平均车速（两卡口即时车速的平均值），计算当前道路的拥堵状态•通过红、橙、黄、绿四种颜色标识拥堵状态拥堵畅通路况四条白线是内容边界线，原则上内容不要超出边界线。车辆远程监控调度货车调度：为货运企业提供车辆位置、车载状况、运送情况等的信息服务对车辆进行实时调度提高运输效率。安全监控：使政府监管部门对危险品运输进行安全健康和管理掌握危险品运输车辆的数量、位置、路线，及时发现异常情况并协助快速施救四条白线是内容边界线，原则上内容不要超出边界线。碰撞分析•分析要求：分析在某两个特定的时间点在某区域A和区域B都出现的车辆，通过分布式计算框架，实时的进行大量过车数据比对。•例如上海最近发生多起盗窃，刑警侦查后确认为同一伙盗贼所为，A区案件一般发生在早上，B区案件一般发生在下午，警察在A、B两区确定以某点为中心的半径2公里的区域为案件多发区，进行碰撞分析，分析结果输出上午在A区域内，下午在B区域内出现的车辆四条白线是内容边界线，原则上内容不要超出边界线。旅行时间分析车辆大数据分析系统GPS数据交通信息网站数据收集数据处理数据发布手机应用客户端基于车辆GPS数据的旅行时间分析系统，能够用于进行城市道路拥堵分析、为公众提供行车路线规划等。•GIS地图模块•将GPS数据映射到正确的路段•车速统计模块•导出根据GPS数据统计得出的行车速度•根据形成速度集合GIS数据估算用户在两点之间的旅行时间GIS地图模块车速统计模块旅行时间数据车辆数据采集模块四条白线是内容边界线，原则上内容不要超出边界线。智能交通卡口应用展示四条白线是内容边界线，原则上内容不要超出边界线。智能交通大数据一体机最高14刀•高密度•扩展性•高可用•灵活性可堆叠关键部件冗余计算和存储刀片按需配置预装智能交通云平台软件型号8800S机框最多支持14块可插拔的刀片支持两个可热插拔的万兆以太网交换机可支持InfiniBand7U（12.1“x18.5”x29“）四个热插拔2500W电源，N1冗余计算刀片双路E5-2650v2可升级至4路128GDDR3（16X240-pinDDR3DIMM）2*2TSATA（2x2.5“Hot-swapHDDBays）存储刀片单路/双路E5-2600v216DDR3（16X240-pinDDR3DIMM）6*2TSATA（6x2.5“Hot-swapHDDBays）ProcessorBladeStorageBlade四条白线是内容边界线，原则上内容不要超出边界线。