视频诊断技术的最新发展与应用

视频诊断技术的最新发展与应用【摘要】视频质量诊断系统是一套智能化视频故障分析与预警系统，其通过对前端设备传回的码流进行解码以及图像质量评估，对视频图像中存在的质量问题进行智能分析、判断和预警。系统采用轮巡的方式，在短时间内对大量的前端设备进行检测，检测内容包括多种视频故障，如清晰度异常（图像模糊）、亮度异常（过亮、过暗）、对比度异常、偏色、噪声干扰（雪花、条状、滚屏）、画面冻结以及信号丢失等。诊断分析仪采用先进的科学的视频质量诊断技术，应用计算机视觉（ComputerVision）算法，能对视频图像质量等常见摄像机故障进行检测，做出准确判断并发出报警信息。视频诊断分析仪可以有效应用到各个行业平台，比如公安、金融、司法领域等。行业系统平台在得到诊断结果后，可以设置报警联动的功能，比如报警联动短信、报警联动电子邮件，还可以把统计出来的报表和数据发送到相应的管理人员，以便后续处理。一、背景与现状当前我国的视频监控应用行业非常普遍，除了交通、治安、金融、银行、军队和口岸等特殊领域外，社区、写字楼、酒店、公共场所、工厂和商场都已应用了或正在建设视频监控系统。同时网络化、智能化等新技术使得这些监控点不再是简单的单机监控，监控的时间周期也逐渐从每天8小时延长至24小时。随着平安城市的建设及国内城市化的快速发展，部分应用领域安全事故频发，使视频监控领域在最近几年更加速发展，监控摄像机的数量不断增加，监控的时间不断延长，虽然推动了平安城市的建设与发展，但也给系统维护工作带来了新的挑战。目前视频监控系统采集视频过程中主要存在以下问题：（1）摄像机或镜头故障造成的视频信号图像模糊、亮度异常、无视频信号等故障。（2）摄像机受到外部干扰产生的雪花点、条纹干扰等异常情况。（3）人为破坏造成的摄像机拍摄方向偏离，不能提取到正常的监控现场视频。（4）系统网络故障造成的信号时断时序，重要事件没有录像。当前，数量庞大的视频监控设备的运维工作都是完全靠人工检测和处理，检测难度大，故障处理不及时，而且运维工作量巨大，运维成本不断增加，使得视频监控系统的使用效果大打折扣，严重影响了安全保障工作的有效开展。因此，如何提高视频监控系统运维工作的效率、建设智能化的视频监控质量诊断系统成为视频监控行业发展的趋势。二、视频诊断的技术原理视频质量诊断系统是采用视频图像分析的方法来检测监控系统中存在的各种视频常见的故障。从概念上来看，视频质量诊断系统是对采集到的图像进行分析，抽取出“对象”、“事件”、“条件”，来判断目标形态的变化，并通过设置一定的条件和规则来判断画面是否有异常，完成监控系统从目标解释（视读）走向机器解释（机读）的重大转变。其揉合了图像处理技术、计算机视觉技术、计算机图形学、人工智能、图像分析等多项技术，是智能化的重要标志。根据目前摄像机常出现的问题，基本可分为视频信号丢失、视频清晰度异常、视频亮度异常、视频噪声（视频雪花）、视频偏色、视频遮挡、画面冻结、PTZ失控、摄像机被移位等。视频信号缺失、画面冻结这两种故障可通过人工设计的基于视频图像比对的方法得出结论；PTZ运动失控则是由故障检测系统发出运动指令，再对视频图像的运动分析来检测是否有故障；其他故障则可利用机器自学习的方法，让机器来模拟人的视觉反应，检测视频是否存在故障，即设计不同的基于机器学习的检测器，每个检测器负责分析一段视频是否存在某一种故障，以及这种故障的严重性。当获取需要分析的一端固定长度的视频，用户可设定该路视频的检测项目，使用不同的故障检测器，提取相应的视频图像特征，然后输入到已训练好的故障检测模型中，即可获取对该段视频的故障分析结果。视频质量诊断系统主要由视频采集模块、视频质量诊断分析仪服务器及报警输出模块等组成。视频采集模块会根据分析的需要，按照一定的规律抽取出一定数目的图像帧，并将这些画面裁减成适合系统分析的幅面大小，储存在缓存区中。然后根据用户预设置的判别规则进行图像分析，这些规则可以是单功能的，也可以是多功能组合的，并且可以分别给这些功能设置优先级别。图像分析系统从场景中抽取出“对象”并掌握对象的“行为”，一旦对象触发“事件”，系统会依据所触发的事件进行主动式反应，并经由告警输出系统传递到客户端。至此，整个系统完成了一次视频质量诊断工作，而多个规则的诊断工作可以并行执行，同时告警，大大提高了系统的实时性。三、视频诊断技术的最新发展视频监控系统目前不再仅限于应用在银行、军队、政府等高端部门，已快速遍及到民用领域，且系统规模越来越大，监控画面数量也越来越多，使传统方式下的监控人员正面临着“眼观六路”的困境。针对目前视频监控点位的不断增多引起的故障画面逐个排查困难，目前一些厂家研发出了相应的智能视频诊断系统，如海康威视、捷尚、文安等。以海康威视为例，其PC版视频质量诊断系统可在模拟视频系统和数字视频系统中集中部署，支持Web查询网站进行历史记录查询和故障统计分析，此外，其还将视频质量诊断算法和智能视频分析算法一起整合到DSP中，构成嵌入式智能视频分析产品，保证了智能视频分析产品质量的稳定性和可靠性。根据实现方式，视频质量诊断可分为嵌入式设备诊断和上层软件诊断两种，前者是放置于前端设备附近进行分析，相对比较稳定可靠，反应速度也较快；后者则是诊断前端传输过来的视频在后端进行基于PC的统一集中分析。1.嵌入式架构（1）嵌入式架构优势主要体现在以下几个方面：实时性更高，不依赖于传输线路，故障定位更准确具体。前端多为嵌入式实现方式，即将诊断技术固化在设备硬件上，能够摆脱通用计算机操作系统易受病毒侵袭和死机影响的可能性大大降低，使产品运行平台更专用化，具有工作稳定、性能可靠、功耗低、工作环境适应性高、有效减轻网络带宽等特点。嵌入式架构有效避免了将软件分析模块融合到监控管理中心平台软件的固有局限性，因为视频分析是一个复杂的过程，需要占用大量的系统计算资源。目前前端采用的设备没有统一的标准，传输、录像、存储没有固定的格式，采用嵌入式架构不会出现兼容问题，不需要增加额外的投资开发费用。（2）嵌入式架构的劣势主要体现在以下两个方面：一台摄像机就得对应一套视频质量诊断系统，不利于成本控制，同时设备安装相对分散，对于系统维护也是一个不利因素。由于诊断算法对于硬件要求较高，不一定能把上层软件上运行的所有诊断项目移植到前端摄像机中，这也是需要考虑的问题。2.上层软件诊断架构（1）上层软件诊断的优势主要体现在以下两个方面：上层软件诊断可利用机架式安装方式，大量接入视频时便于维护，在后端进行视频分析处理前，先对视频质量进行检测，对不符合的视频予以报警，保证后继智能视频分析的准确性和安全性。由于服务器性能较好，对于处理速度和诊断项目方面，比较有优势。（2）上层软件诊断架构劣势主要体现在以下几个方面：软件方式对传输网络的依赖性太强，很容易在突发事件时由于访问量太大，对网络、服务器造成压力，从而影响视频质量诊断系统的工作，引起误操作。软件方式对于系统的扩展不够灵活，目前前端采用的设备没有统一的标准，传输、录像、存储没有固定的格式，如果需要接入支持第三方的设备，易出现兼容问题，有可能需要增加额外的投资开发费用。从检测项目来说，各个厂家基本都是围绕图像质量、场景变更、视频遮挡、网络状况等方面进行。实际上用户关注最多的还是图像本身质量、网络状况的检测，像场景变更、视频遮挡在特定的场景中会使用，比如银行等。检测准确率也是衡量诊断系统系统性能的重要因素，一个好的诊断系统需要有较低的误报率和漏报率。此外，在实际应用中，考虑到兼容性方面的原因，诊断系统需要支持更多的厂家设备。四、视频诊断技术在平安城市的具体应用在平安城市中，视频质量诊断系统作出诊断后，最主要的功能是统计分析。最基本的几个统计功能有：按区域统计、按故障类型统计、按故障率统计。按区域统计主要是统计选中各个区域中正常和异常摄像头的数目；按故障类型统计主要是统计各个检测项目的故障数目；按故障率统计主要是统计各个监控点的故障率，比如检测了10次，出现了1次故障，故障率就是10%。在平安城市的实际应用中，上述几种统计功能还不能完全满足平安城市的需求，用户需要按照各个统计功能，生成相应的统计报表和图表，以便考核下级单位和后期维护。目前几种有效的数据统计功能主要有：按故障级别统计；按在线率、完好率统计；按完好率统计；按设备修好率统计；按监控点历史运行情况统计。根据统计功能，还可以对于统计处理的一些后续处理，比如打印统计结果、导出统计结果、发送统计结果到相应的管理人员。1.统计方法按故障级别统计：对于视频质量诊断的每一个检测项目都有两个默认阈值，超过高阈值的是异常，低于低阈值的是正常，介于低阈值和高阈值之间的是一般。我们设计出一种查询统计方法，在用户查询统计监控点的时候，计算出异常告警的数目、一般告警的数目、正常的数目，统计列表如表1所示（以杭州为例，下同）：表1按故障级别统计区域名称异常（次数）一般（次数）合计（次数）西湖区102030下城区01010上城区5510江干区203050拱墅区10515按在线率、完好率统计：统计某一个或多个区域的监控点情况：显示在线的监控点数量、正常的监控点数量、异常的监控点数量、未检测的监控点数量、在线率、完好率，如表2所示：表2按在线率、完好率统计区域名称视频监控点数在线数量正常数量异常数量未检测数量在线率（%）完好率（%）西湖区11781130908270095.9377.08下城区972923781191094.9680.35按设备修好率统计：统计某一个或多个区域的监控点情况，显示设备总数、故障数、报修次数、修好次数、修好率、完好率，如表3所示：表3按设备修好率统计区域名称设备总数故障数报修次数修好次数修好率（%）完好率（%）西湖区100015013012092.3185下城区50070505010086按监控点历史运行情况统计：如表4所示，根据选中的时间段，各个区域每一天的监控点检测情况：总数量、在线数量、正常数量、异常数量、未检测数量、在线率、完好率。表4按监控点历史运行情况统计,区域名称时间总数量在线数量正常数量异常数量未检测数量在线率（%）完好率（%）西湖区2013-08-2397297297200100%100%2013-08-2497297297200100%100%2013-08-2597297297200100%100%下城区2013-08-2397297297200100%100%2013-08-2497297297200100%100%2013-08-2597297297200100%100%2.统计的表现形式统计的表现形式除了列表外，还有线图、柱状图、饼图，如图1所示：3.统计结果后续处理上面统计出来的结果数据，可以支持导出操作，把非正常（也就是异常和一般）监控点的诊断结果导出来；还可以支持打印操作，把统计出来的结果打印出来。用户根据统计报表，可以清晰地看出哪些监控点出了问题，哪些监控点还是在可接受的范围内，哪些监控点是完全正常的。用户还可以设置报警联动的功能，比如报警联动短信、报警联动电子邮件，把统计出来的报表和数据发送到相应的管理人员，以便后续处理。此外，将视频诊断与运维平台进行整合，通过视频诊断分析仪的诊断结果，对运维平台进行深度分析，可以对下级单位进行考核。五、目前存在的问题虽然目前视频质量诊断技术已经广泛应用于各个行业平台中，检测项目也完全能满足用户的需求。但是用户对于检测的准确度有自己的主观判断，比如：有些用户认为是模糊的，有些用户认为是清晰的；还有就是检测准确度还有待提高，比如图像偏色，如果摄像机对着一张颜色比较鲜艳的画面，而且画面比较固定，就有可能会误报。虽然目前视频质量诊断项目很多，但是客户实际关注的还是对于图像本身，比如清晰度、视频信号、对比度等，对于场景变更和视频遮挡等检测项目，目前还没有实际发挥作用。关于检测准确度，由于目前算法的限制，在白天光照较好的情况下，检测准确度基本上都可以控制在95%左右，但是到了光照不足尤其是晚上的时候，检测的误报率会比较高。六、结语视频质量诊断系统的出现使得人们主