大数据在视频监控存储的应用与挑战

大数据在视频监控存储的应用与挑战作为云时代海量数据的来源之一，安防视频监控行业随着智慧城市和智能交通的快速发展、移动互联设备的快速激增，产生了海量的非结构化视音频数据，带动了大数据的存储、管理、分析等应用。面向云时代，业界同仁一拥而上、热血沸腾，无论是IT供应商、存储厂商、还是解决方案提供商都不甘落后，雨后春笋般的纷纷提出基于计算、存储、网络等多层次虚拟化的数据中心解决方案，投入大量资源，推出云存储、云计算等系统产品。面对大数据，视频监控行业面临哪些难题？我们如何应用云计算、大数据相关技术来获取数据背后隐含的信息？未来的挑战和前景如何？我将从以上几方面发表个人观点，意在抛砖引玉、引发业界同仁在产业发展的进一步思考和讨论。一、视频监控存储及智能分析系统中的难题根据IDC预测，全球在2010年已正式进入ZB时代，全球数据量大约每两年翻一番，意味着人类在最近两年产生的数据量相当于之前产生的全部数据量。爆炸式增长的数据，正推动人类进入大数据的时代。大数据包括社交媒体、移动设备、科学计算和城市中部署的各类传感器信息，其中视频是构成数据体量最大的组成部分。据IMSResearch统计，2011年全球摄像头的出货量达到2646万台，预计到2015年摄像头出货量达5454万台。一天产生的视频监控数据超过1500PB，而累计历史数据将更为庞大，在视频监控大联网、高清化推动下，视频监控业务将面临海量非结构化数据存储、数据共享、数据安全及数据利用四大难题。（一）海量非结构化数据存储安防行业的大数据目前主要来源于智慧城市和智能交通等大型安防项目。例如，2011年全球两天的数据就高达1.8ZB，相当于文明起始到21世纪初全部的数据总和；2013年中国某一线城市一个季度产生的数据总量也在200PB。当前，智慧城市建设已成为地方政府推进城镇化发展的重要途径，而随着智慧城市的发展，对高清摄像机和智能化监控设备的需求会持续增长，智能交通行业将成为十二五政府投资的重点领域，这将使未来几年视频监控行业仍保持高景气度。此外随着智能家居、民用安防的普及，更多的用户会通过移动设备监看视频，于此同时会有更多的移动互联数据产生。2012年全国就拥有3.88亿移动互联网用户，预计2015年互联设备将达到150亿，2020年互联设备将达到2000亿。数据10倍速的增长，在带来巨大机遇的同时，也带来了很大的挑战。按照IT产业的法则：在满足客户需求的前提之下，往往技术成本越低，其生命力往往越强。由于数据量的急速扩大，以及随之而来的大规模计算的需求越来越多，一味采用高配硬件，使得硬件投资成为客户不可承受之重。如何在满足需求的前提下，删除重复数据、降低硬件成本投资将成为海量非结构化数据存储的一个难题。（二）数据共享大数据需要通过快速的采集、发现和分析，从大量化、多类别的数据中提取价值。安防大数据时代最显著的特征就是海量和非结构化数据共享，用以提高数据处理能力。比如天网工程和智能交通就是最具代表性的案例，天网工程一般分为省市县乡镇等多级架构，智能交通图像也分布在前端卡口、区节点、市省国家级中心中，海量数据存储在不同节点、不同设备中，这给传统的数据管理和使用机制带来了极大的挑战。与科学计算、互联网相比，视频监控的大数据处理难度尤大，首先，视频录像是更原始的非文本非结构化的数据，必须经过复杂繁重的分析处理才能提取出文本结构化的数据进行下一步处理；其次视频录像相对其它形式数据的容量要大几个数量级，对传输、存储和计算的带宽要求大。因此我们说数据高效共享是第二大难题。（三）数据安全平安城市、智慧城市的建设促使安防云存储技术的应用，智慧城市一大要求就是将视频存储数据相互之间进行联动、共享，例如在犯罪追踪时，公安、交通、民用行业等多范围的存储数据能够共享，而这种共享具备了云存储的特性；传统的存储技术无法满足社会发展需求，云存储的在安防领域的应用成为必然。安防视频监控数据具有私密性高、保密性强的特点，不仅是事后追查的依据、而且更是后续数据分析挖掘的基础。因此我们说数据安全一方面是指不受到外界数据的入侵和非法获取、另一方面是指庞大系统的鲁棒性、体系容错机制，确保硬件软件发生故障时，数据仍然可以恢复、得以保存。面对海量数据的存储、共享，硬件和软件设备承载了极大的风险，因此我们如何构建大型、海量视频监控存储系统、数据分析系统以及容错冗余机制是第三大难题。（四）数据利用摄像头7X24小时工作，如实记录镜头覆盖范围的发生的一切，仅仅记录信息是不够的，因为对于客户来讲可能大部分信息是无效。数据的有效性分为两个方面，一方面有效信息可能只分布在一个较短的时间段内，按照数学统计的说法，信息是呈现幂律分布的，也称为信息的密度，往往越高密度的信息对客户价值越大；另一方面是指深层次挖掘庞大的海量数据，关联得出有效信息。视频监控业务网络化、大联网后，网络内的设备越来越多，利用闲置的计算资源，实现资源的最大化利用，关乎运算的效率。在视频监控领域，往往视频分析的效率决定价值，更低的延迟、更准确的分析往往是平安城市这类客户的普遍需求。随着数据量的增加，哪怕对TB级别的数据进行对视频内容的数据分析和检索，采用串行计算的模式都可能需要花费数小时的计算，已远远不能胜任时效性的需求。视频的分析和检索，不能依赖于传统的手段，巨量数据的效率优化，并行计算也许是解决问题的办法。二、云计算及大数据给视频监控带来的变化大数据概念最早出现在20世纪60年代初，随着互联网的快速建设和信息技术的迅猛发展，到20世纪90年代中后期，数据中心的建设规模和服务器数量每年都以惊人的速度增长。随着信息中心、服务中心、数据中心等各类业务应用及数据量的不断增长，数据仓库、数据挖掘、联机分析等技术发展，数据存储容量的需求也成正比的增长。天地伟业认为云计算、云存储和大数据将对视频监控行业带来存储架构、虚拟化、安全和高效处理四个方面的变化。（一）大数据呈现出的典型特征是4个V：规模（volume）、速度（velocity）、类型多（variety）、价值密度低（veracity）。大数据的特征对存储容量的总体拥有量需求激增，海量存储模式也从传统的集中存储式架构发展到分布式存储架构，这种分布式架构，在多副本、网络RAID技术、快照技术驱动下，实现海量存储的高可靠、大并发能力，推进了存储从设备供应模式到服务模式的升级和转变。（二）虚拟化技术在存储服务能力建设上将继续不断发展，升级模式从SCALE-UP向SCALE-OUT模式发展，为无处不在的存储资源的调度与管理、存储资源的在线扩容升级、数据持续保护、存储服务不间断等实现有力的支撑。虚拟化，一方面大大简化应用环节，节省客户建设成本，同时提供更强的存储和共享功能；另一方面解决了存储空间的浪费，可以自动重新分配数据，提高了存储空间的利用率，同时具备负载均衡、故障冗余功能。（三）安全方面实时计算和存储，对存储设备性能、存储网络性能、存储资源配置简化性要求越来越高。在复杂的存储服务中，基于虚拟化所构建的混合存储系统，系统的自动分层存储能力尤为重要。伴随闪存的成本不断降低的市场，市场上也有基于全闪存阵列产品的出现，基于虚拟化下的存储资源自动化分层，实现数据分层存储，并迁移的策略，对大数据实时性、安全性更加不可或缺。（四）面对结构化数据、非结构化数据、半结构化等元数据的处理机制，云存储管理可以实现自动化和智能化，所有的存储资源被整合到一起，客户看到的是单一存储空间，提高了存储效率；云存储能够实现规模效应和弹性扩展，降低运营成本，避免资源浪费。受限于安防视频监控自身业务的特点，监控云存储和现有互联网云计算模型会有区别，如安防用户倾向于视频信息存储在本地、政府视频监控应用比较敏感、视频信息的隐私问题、视频监控对网络带宽消耗较大等问题。海量数据存储的检索、目录服务、去重化都将在以大数据牵动的存储应用中，给存储产业带来新的发展机遇。三、应用及推广过程中的挑战云计算和大数据在应用和推广过程中仍然会面临一系列技术难关的攻克和体系的建立。比如视频监控行业中最为关注的：（一）视频浓缩检索技术，主要是利用图像处理（包括视频浓缩、摘要、复原等）、模式识别、海量数据分类存储以及搜索等技术，对海量的存储录像等原始信息进行分析和挖掘，对于目标特征、目标行为、目标间关联关系这三大类信息内容，形成各种分类的特征信息库、元数据和索引等，并提供统一接口供外部应用进行搜索，以期通过有限的线索，达到案件快速关联和定位。（二）视频图像信息库建设，目前应用比较广泛的是卡口和电警的应用。由于车牌识别技术的日趋成熟，通过车牌、车牌颜色、车身、车身颜色、车辆类型等特征识别，把车辆图片、车辆信息、车主信息、盗抢车辆库等结合起来，可以有效的进行车辆的查找、布控和案件线索搜索。（三）海量数据的处理、分析、检索和视频智能分析技术，把海量的视频数据进行浓缩、提取特征摘要、减少了存储空间。如1小时的视频录像，通过特征值方式的视频浓缩，可以把录像压缩到10分钟左右。同时，视频图像信息库有别于传统的关系数据库模型，针对结构化，半结构化和非结构化数据，通过数据的多个副本分布式保存方式，可以有效节约存储空间，关键数据的二次备份，使系统架构更加稳定和可扩展，并且提供安全的负载均衡和容错机制。四、前景展望云计算和大数据应用未来势必对安防行业有深刻的改变和影响。尤其在智慧城市行业和交通行业。交通方面海量数据处理需求，智能交通管理系统可以在海量数据、恶劣网络环境和复杂业务处理情况下，实现大量图片、车辆数据、视频数据的时时网络传输和快速持久化存储，同时对任意站点的图像进行显示，对任意站点的视频进行流畅播放、实时进行比对报警，快速进行多条件检索，并且将各类多媒体数据和车辆数据合二为一。系统实现对目前的城市道路交通中异常行为的智能识别和自动报警等，从而减轻了交管监控人员的工作负担，提高了监测的准确度，使得交通管理工作更高效。实时交通状况分析可通过视频实时分析道路交通流量，然后综合分析统计出全城市的交通状况；套牌车可通过视频进行车牌识别，按照一定的规则（如最近时间内一定距离以外）在全城市中检索相同车牌的汽车。智慧城市方面公安部门可以利用相关技术进行犯罪嫌疑人追查，可通过输入嫌疑人照片进行人脸特征识别并在所有视频中寻找该人脸；犯罪嫌疑车辆追查可输入嫌疑车的照片或颜色车型等相关特征在所有视频中寻找；人车物的轨迹分析即在所有视频中按照特征查找指定的人车物并绘制其时空轨迹；车辆的首次入城分析等等。五、结语高清化、网络化和智能化的安防行业在新的纪元中，虽然会面临这样那样的问题，但是我相信随着云计算和大数据应用技术的成熟和完善，行业势必会更快速的发展。云时代的到来已为我们指明了方向，云计算和大数据技术就像是打开未知世界之门的钥匙，让我们可以更加经济的进行系统建设，更加高效的进行数据分析，更加有力的推动社会的进步和发展。