intel智能交通大数据应用30

基于大数据的英特尔智能系统助力智能交通EMBS001王晓栋，大数据解决方案部经理，英特尔王华斌，平台架构师，英特尔胡潇，解决方案架构工程师，英特尔2议程•中国智能交通展望•智能交通系统架构•大数据简介及其对于智能交通系统的益处•智能交通系统中基于英特尔®架构的产品方案•中国智能交通系统应用案例分析本课程演示文稿（PDF）发布在技术课程目录网站:intel.com/go/idfsessionsBJ该网址同时打印于会议指南中专题讲座日程页的上方3议程•中国智能交通展望•智能交通系统架构•大数据简介及其对于智能交通系统的益处•智能交通系统中基于英特尔®架构的产品方案•中国智能交通系统应用案例分析4中国市场环境政府目标•中国十二五规划/和谐社会•确立在(IoT)物联网建设中处于领先地位‒建立新技术国际标准‒$8亿的政府资金支持大趋势所面临的挑战和政府解决方案•城市化‒城市人口目前的从6.9亿到2025年的9亿•物联网和智慧城市是解决这些问题的一条途径‒物联网市场规模到2015年达$800~1200亿‒规划中智慧城市超过90个‒不足：核心技术，标准，生态系统不成熟，部署模式“中国未来最大发展潜力在城镇化.”--新任总理李克强，2012“感知中国”(IoT)战略--温家宝总理，2009交通5-20002004006008001000120014001600-2%0%2%4%6%8%10%中国交通基础设施建设展望高速公路城市公共交通铁路水路2011-2015复合增长率(道路长度)2011投资额(10亿RMB)4,500,000km126,000km120,000km394,000km到2020年总车辆数将超过2亿基础设施建设趋于稳定，关键的挑战在于大规模的基础设施网络，持续增长的车辆数量，居高不下的的出行者，车辆与基础设施的密度:安全性，基础设施和出行效率，环境问题。数据来源:《交通运输“十二五”发展规划》数据来源:ISH*报告11226交通系统中的大数据3%13%7%3%7%21%4%3%37%2%2016Banking&FinanceCasinos&GamingCitySurveillanceCommercialEducationGovernmentIndustrial,Manufacturing,&UtilitiesRetailTransportOther数据来源:IMS全球视频监控应用中，企业和IP存储使用–World-2012视频监控应用中，全球最终用户所使用的企业和IP存储分配(2016)智慧城市每天产生0.3PB~6.7PB视频数据针对智能交通系统应用，怎样有效地采集，管理和分析数据？交通7议程•中国智能交通展望•智能交通系统架构•大数据简介及其对于智能交通系统的益处•智能交通系统中基于英特尔®架构的产品方案•中国智能交通系统应用案例分析8智能交通系统的目标•交通管理–完善交通法规–支持交通流量计划–自适应式交通控制–事故调查•旅行者信息系统服务–实时道路状况车速&拥挤度历史摄像图像&统计–旅行信息支持旅行者多样的终端设备前瞻性地建议旅行计划•商用车辆监管–商用车辆管理和追踪•公共安全–视频监控(视频搜索)9接入层服务器智能交通端到端方案收集,存储,变形,分析和挖掘•嵌入式•云服务•专属自有的•高性能的数据中心形态数据中心解决方案分布式文件系统–HDFS分布式数据分析–Hadoop*分布式实时数据库–HBase*终端设备丰富的形象化的数据数据分析和缓存NVR/DVR/HybridNVRDecoderEdgeVideoAnalytic10智能交通系统跨地域的实现11议程•中国智能交通展望•智能交通系统架构•大数据简介及其对于智能交通系统的益处•智能交通系统中基于英特尔®架构的产品方案•中国智能交通系统应用案例分析12垂直扩展或水平扩展智能交通数据爆增关系数据库朝左走分布型数据库朝右走13智能交通的软件架构Sqoop*数据整合HBase*支持文本&图像的分布式数据库关系数据库MapReduce离线分析在线/互动应用数据挖掘传统应用聚合的结果14Hive*0.9.0数据仓库Sqoop*1.4.1关系型数据库同步工具Flume*1.3.0日志收集工具ApacheHadoop*软件的英特尔®管理器2.3安装、部署、配置、监控、告警和访问控制Zookeeper*3.4.5分布式协作服务Pig*0.9.2数据流处理Mahout*0.7数据挖掘ApacheHadoop*软件的英特尔®分发版优化过的软件堆栈•稳定的企业级Hadoop*发行版•利用硬件新技术进行优化•Hbase*改进和创新，为Hadoop提供实时数据处理能力•针对行业的功能增强，应对不同行业的大数据挑战HBase0.94.1实时、分布式、高维数据库MapReduce1.0.3分布式计算框架HDFS*1.0.3分布式文件系统R-statistics数据分析Oozie*3.3.0工作流调度15ApacheHadoop*软件的英特尔®分发版针对智能交通应用的增强特性增强的特性对智能交通的价值跨地域的Hbase*大表•数据存储在不同地域的多个数据中心中。用户所见为虚拟的一个单一数据中心•每个数据中心互为备份，全局范围提供更高可用性在Hbase顶部加入SQL层•对大量交通数据提供实时分析•对同一组数据同时支持互动式查询和离线统计在Hbase中加入全文本索引和近实时搜索•对分布式数据库里的结构化数据提供全文本搜索的能力•内建索引以确保交通数据和索引始终同步在Hbase里加入高效大对象存储•采用标准的Hbase接口，提升了交通图像数据的存储性能在Hadoop*里加入R语言统计支持•将成熟的R语言库引入MapReduce,HDFS和HBase•降低了开发复杂的数据挖掘逻辑的工作量16议程•中国智能交通展望•智能交通系统架构•大数据简介及其对于智能交通系统的益处•智能交通系统中基于英特尔®架构的产品方案•中国智能交通系统应用案例分析17边缘视频分析的价值私有云公有云客户端(视频采集)视频/索引/分析/转码(图片抽取和元数据生成)视频存储(分布式或者集中存储)数据中心/云(私有/公有)数据服务(VSaaS,VAaaS)卡口区市省全国Smart摄像头单兵车管理系统边缘视频分析的价值实时视频分析所得元数据是原视频的数据量的1/6减少整体尺寸到原先的1/8~1/12解决了带宽和后端存储容量问题每天76PB元数据到2017年底交通系统每天产生457PB视频原始数据人，车，车牌到2017年底视频采集视频分析视频完整存储视频元数据存储111数据来源:InternalTeamAnalysisbasedonIHS*ResearchReport18智能交通中视频分析NVR的主要特征闯红灯//Runtheredlight车牌颜色识别//Platecolourrecognition逆行//Retrogradation车身颜色识别//Vehiclecolourrecognition车牌识别//PlateRecognition交通拥堵//Trafficjam车流统计//Vehiclecounting行使缓慢//Runslowly禁停//Noparking行使超速//Speeding禁左禁右//Noturnrightorleft行人横穿//Jaywalk占道(不按规定车道行使)车标识别//Autologorecognition变道//LaneChange机动车抓拍//Abnormalityquickshot压线//Linecrossing超速//Speeding路口车辆抓拍车辆特征识别19基于英特尔架构的NVR(网络硬盘录像机)方案酷睿CPU-4x8GDDR3Memory-2x10M/100M/1000MBase-TLAN-8xSATA3.0or16xSATA3.0-1xMSATA-2Uor3Urack-mountedChassis凌动CPU,NM10chipset-1x4GDDR3Memory-2x100M/1000MLAN-8xSATA3.0;-1xMSATA;-2Urack-mountedChassis至强E3CPU,C216chipset-Upto32GDDR3Memory-4x10M/100M/1000MBase-TLAN-16xSATA3.0or24xSATA3.0-2xMSATA;-3Uor4Urack-mountedChassis20InfiniBand*及以太网交换机英特尔®服务器主板S2600GZ“GrizzlyPass”英特尔®服务器系统R2000“BigHornPeak”HDFS数据节点•大容量存储•大内存容量•领先高能效•高速互连技术•灵活I/O扩展能力•搭配高速SSD或PCIExpress*SSD英特尔®服务器主板S2600JF“JeffersonPass”英特尔®服务器系统H2000“BobcatPeak”HDFS名字节点•高密度设计•高访存带宽•高速互连技术•搭配高速SSD或PCIExpress*SSD在计算密集型大数据业务中也可以用作数据节点英特尔®大数据一体机参考设计21英特尔®大数据一体机参考设计：面向ISV/SI/LOEM的Turnkey解决方案平台易用性•简便快捷部署•简便快捷扩容•易于管理•缩短项目实施周期•方便客户二次开发中的问题调试高质量•方案各组件的整合验证•操作系统及设备驱动的兼容性保证•软件模块、英特尔Hadoop发行版的兼容性保证•BIOS及服务器固件的整合•集成的用户接受测试•整合的磁盘监控低能耗•节点主板的散列式布局设计•冷冗余80Plus白金版电源•智能磁盘启停技术•ACPI*S3/S4休眠状态支持•机架内集成英特尔DCM*高性能•万兆以太网、InfiniBand*•先进的存储控制子系统•SSD和PCIExpress*SSD•提供性能优化参考，如数据块大小、Reducer数目等参数调节规则一体化解决方案是大数据行业软件商、集成商、及终端用户的一致需求22英特尔®大数据一体机参考设计高性能、低能耗技术优势•万兆以太网及业界领先的FDRInfiniBand*•高带宽、低延迟的新型网络传输协议•SSD、PCIExpress*SSD、混合存储模式•先进的存储控制子系统•面向系统资源平衡的优化高能效技术贡献者80PLUS白金版电源硬件“冷”冗余硬件节点主板的散列式设计硬件ACPIS3的引入硬件+软件ACPIS4的引入硬件+软件磁盘的延迟启动硬件+固件智能磁盘启停控制硬件+软件数据中心、机架、节点能耗监控硬件+软件+固件负载（%）转换效率（%）阈值（40%）冷冗余效率曲线（5-10%提升）单模块供电双模块供电普通冗余电源曲线冷冗余电源示意80PLUS认证230V交直转换效率负载（%）20%50%100%80PLUS铜版81%85%81%80PLUS银版85%89%85%80PLUS金版88%92%88%80PLUS白金版90%94%91%23议程•中国智能交通展望•智能交通系统架构•大数据简介及其对于智能交通系统的益处•智能交通系统中基于英特尔®架构的产品方案•中国智能交通系统应用案例分析24案例分析：智能监控和存储系统HBase*MapReduceHDFSHive*ETL3G实时车牌分析车辆历史行为记录交通流量分析边缘视频分析服务(增强型网络视频记录仪NVR)25案例分析:智能交通方案交通管理•实时的道路状况报告•发现超速车辆•发现套牌车辆公共安全•实时追踪行驶车辆•基于黑名单报警和警告行路人指南•通过摄像机获得的现场图和交通流量的统计给出实时道路状态•预估通行需要的时间26案例分析：智能交通系统的成果违法车辆追踪效率提升恶性交通事故死亡人数减少道路拥堵率下降通过海量数据实时分析处理功能能将违法车辆数据定位时间由小时级缩减为分钟级甚至秒级通过监控系统收集车辆信息并且实时分析，能够对事故高发车辆（如工程货车）进行行为监控，降低恶性事故率。通过路况监控设备收集路况信息并实时处理，能够精确绘制道路拥堵线圈，提供交管部门快速处理突发事故，并提