智慧交通端到端解决方案

大数据时代的到来，以及相关大数据基础架构技术的革新，为海量交通安全数据的灵活存储、快速挖掘和整合应用打开了一个全新的视角，也为构建全新的智慧交通端到端系统提供了技术支持。作为业界领先的监控产品供应商和解决方案服务商，大华*技术股份有限公司面向全球提供领先的视频存储、前端、显示控制和智能交通等系列化产品，在全球安防视频监控市场占有率位列第二，是中国平安城市建设推荐品牌和中国安防最具影响力品牌之一。产品广泛应用于公安、金融、交通、能源、通信等关键领域，并相继问鼎三峡水电、六国峰会，奥运场馆、上海世博、广州亚运、陕西世界园艺博览会、英国伦敦地铁等重大工程项目。大华基于英特尔®架构全新的智慧交通端到端方案能够满足智慧城市在交通管理上的新的需求，在可靠性，可扩展性，安全性，先进性以及开放性等方面有着优异的表现。作为智慧城市的重要组成部分，智慧交通近年来在相关信息化建设上发展迅猛，尤其随着物联网技术的蓬勃发展，交通信息的采集手段和数据种类得到了极大地丰富：已经涵盖了包括道路视频监控、卡口电警、路况信息、管控信息、营运信息、GPS定位信息、RFID识别信息、到离站信息、客流信息等多种信息来源。而数据生成的自动化以及生成速度的加快，需要处理的数据量急剧膨胀，其内在的跨域关联分析和价值深度挖掘也凾待新的端到端的解决方案来应对这一趋势。白皮书智慧交通端到端解决方案基于英特尔®架构的大华*智慧交通端到端解决方案挑战随着移动终端和汽车电子的普及，以及智能交通系统的持续建设，城市产生的交通数据量呈现指数性增长，这不仅对数据的存放带来压力，同时也给数据的分析提出了更高的要求，而传统的智能交通技术已经难以满足如今的现状，新的智慧交通端到端方案需要解决如下问题：•前端数据预处理和传输：智能传感器产生巨量的数据，例如卡口/电警数据、GPS数据。如何有效利用前端设备的计算资源进行数据预处理，通过网络进行传输，并进行有效的存储和查询。•后端数据中心处理：如何有效利用新的大数据技术和平台进行数据的快速挖掘和整合应用。•数据的灵活管理调度：如何有效的管理和应用好智慧交通中产生的复杂多样的结构化数据，非结构化数据和半结构化数据（如图片、视频、音频等）。解决方案交通端到端系统通常包括前端设备（如：网络摄像机，网络硬盘录像机等）和后端设备（如数据中心等）。传统的方案将数据的采集和存储作为前端任务，而将数据的分析作为后端任务。各种传感器技术的应用造成数据种类复杂多样，非结构化数据所占比重快速上升，海量增长的数据也对网络传输和后端处理能力造成很大的压力。基于英特尔®X86平台的新型智慧交通端到端方案将部分预处理类型的数据分析任务放在前端完成，有效地缓解了后端数据挖掘分析的工作压力，同时有效的减少了网络传输中带宽的压力，将非结构化的体量大、价值小的信息，在前端分析处理后，形成体量小，价值大的半结构化，结构化信息向后端进行传输。英特尔®架构提供的低功耗高性能的从嵌入式设备到2智慧交通端到端解决方案—基于英特尔®架构的大华*智慧交通端到端解决方案数据中心的全系统的参考平台（包括英特尔®Quark™、英特尔®凌动™、英特尔®酷睿™、英特尔®至强®等）为新方案的实施提供了坚强的技术保证。•前端技术英特尔®凌动™及英特尔®酷睿™处理器平台具有高可靠性，高功耗性能比，高可扩展性等性能优势。大华*技术股份有限公司基于英特尔®凌动™及英特尔®酷睿™处理器平台研发的智能网络录像机支持主流品牌网络摄像机接入，最大实现128路全高清接入，384Mbps接入、256Mbps存储、384Mbps转发；支持H.265/H.264/MPEG4/MJPEG等多种主流及最先进的视频编码格式；支持2路HDMI和1路VGA，业内率先支持4K超清输出，让用户看得“更真”，看得“更清”；支持全面智能，减轻用户维护量，节省用户人力成本，提升用户价值。产品可广泛应用于画质和网络传输要求高存储时间较长的金融、公安、电力、平安城市等专业安防监控领域。一般的网络硬盘录像机仅仅被用来存储录像相关的业务，并没有充分的发挥设备性能。大华*技术股份有限公司的SmartNVR设备，将视频存储与智能分析进行高效融合，即保持了NVR原有的录像存储功能，又实时的进行智能分析，提取视频中关键的人车物线索，并进行结构化标注。通过SmartNVR对前端高清视频进行实时分析。分析后的结构化信息以及视频图像资源先存储至本地SmartNVR中，然后再同过端到端技术同步至后端分布式大数据系统中。该技术方案及充分发挥了英特尔®处理器的强大计算性能，在前端就实现了智能化，提升了整体端到端系统的能力，降低了整体端到端系统的成本。实时智能分析系统可对以下行为进行分析：车辆识别：车牌号码、车牌颜色、车身颜色、车型、车标服饰特征检测：上下半身衣服颜色行为检测：奔跑、拌线、区域入侵、逆行人脸检测：检测画面中出现的人脸3智慧交通端到端解决方案—基于英特尔®架构的大华*智慧交通端到端解决方案•后端技术基于英特尔®至强®处理器平台，并利用Spark、Hadoop等大数据处理技术，搭建了一个类Lambda/Kappa架构，在单一系统架构中同时提供大规模过车数据的实时采集汇总，实时分析和离线挖掘等功能。在这个构架中，我们采用了Kafka、Spark、SparkStreaming、HBase等开源大数据技术，实现海量交通数据（可以是文本、图像、视频等各种结构化、半结构化和非结构化数据）的处理。根据Lambda构架，大数据处理系统逻辑上由批处理层、速度层和服务层组成。在速度层（SpeedLayer），系统采用了SparkStreaming对Kafka导入的流式数据进行实时流式分析处理。在这层可以实现实时统计、实时套牌分析等高级分析应用。同时，将实时数据存入HBase中作为历史数据。在批处理层（BatchLayer），系统使用了Spark计算引擎对数据进行批量预计算，并将预计算结果存入HBase之中。这样在HBase中存储了提供服务层查询使用的索引视图。在服务层（ServicingLayer）：既可以通过HBase接口加载查询历史数据和批处理视图，也可以使用Spark或SparkSQL计算引擎实现统计查询功能。基于Spark计算引擎平台优势实时性。SparkStreaming的实时分析处理实现了实时统计，实时分析等功能。低延时。Spark基于内存的计算，避免了对IO的依赖，大大减少了IO开销；基于Lambda架构的设计，利用批处理和流处理的互为补充，在提供机器容错的同时，有效地实现了低延迟和人工容错。大规模数据处理。分布式计算构架，可以通过增加计算节点线性扩充处理能力，轻松实现大规模数据的处理分析，满足业务发展需要。统一的系统架构。在单一的Spark系统架构内实现了批处理、流式计算和实时分析等大数据应用。与时下流行的Hadoop+Storm的方案相比，不需要在两个或更多的复杂的分布式系统中维护代码，避免了跨系统编程带来的代码开销。优化的分析和算法。Spark对迭代式计算的支持，可以支持更加复杂的机器学习及图像处理算法。DataPlatform（“Plumbing”）Algorithms&LearningFrameworksLoadBalance&DataInput（Kafka）Real-time,StreamingAnalysis（SparkStreaming）Storage（HDFS,HBase）Compute(Spark)Alert&QueryInterfaceUserInterfaceReal-timeTrafficStatisticsFakePlateDetection…BasedAnalyticsPlatformWebService/AppBackend/CloudAnalytics案例分析大华*技术股份有限公司基于英特尔®架构全新的智慧交通端到端方案能够满足智慧城市在交通管理上的新的需求，在可靠性，可扩展性，安全性，先进性以及开放性等方面有着优异的表现。某市成功应用大华*智慧交通端到端方案构建车辆大数据研判判系统，整合了前端卡口系统（包括公安的卡口数据和部分交警卡口数据）的结构化记录信息和非结构化的图片和视频信息，实现了智慧城市交通安全管理的需求：过车数据的实时采集汇总，实时分析（如车牌识别，车型识别，车辆颜色识别，套牌车识别，高危车辆报警，黑名单布控等）和离线数据碰撞（如基于案发地，案发时间的嫌疑车辆排查，卡口流量统计，跟车关联分析等）。该系统目前平均每天处理过车数据150万条左右，取得了良好的运行效果。智慧交通端到端解决方案—基于英特尔®架构的大华*智慧交通端到端解决方案英特尔，英特尔标志，英特尔凌动，英特尔酷睿，IntelInside，IntelInside标志，Quark和至强是英特尔公司在美国和/或其他国家（地区）的商标。*文中涉及的其它名称及商标属于各自所有者资产。