搜索
海量视频搜索与视频侦查系统系统概述随处可见的视频监控，无非就是摄像头不停地抓拍录像。然而，一旦须要检索视频中的特定目标，人们面对的往往是在成千上万个小时的海量视频中大海捞针，传统上须要投入的人力和时间，简直让人不敢想象，也很不现实。因此，如何通过计算机程序快速从海量视频中搜索特定目标，已经成为当前视频检索和视频侦查迫切须要解决的问题。当前市场存在的视频侦查系统，普遍仅仅是依赖于传统局限的“帧差法”、“背景建模法”、“颜色分类法”等，从视频中检测所有运动目标，开发出的系统大多停留在“视频摘要”、“视频浓缩”、“拌线检测”、“人车分类”等非常初期、浅显的检索阶段，并没有进行特定目标的搜索，在海量视频检索任务中，人工筛选工作量仍然非常巨大，甚至无法接受。此类视频检索系统，尽管有关公司宣传如何地增强案件侦查能力，实际应用效果却非常有限，经受不住实际案件的检验。因此，近年来，越来越多的开发者将重点投入到“以图搜图”这一热点主题的研究上，希望能够取得明显进展成果。然而，因技术方面主要存在很大的困难和挑战，如同类别差异、视点变化、光照差异、遮挡问题、复杂背景等，指望单纯通过“以图搜图”计算的“图像相似度”搜索海量视频中的特定目标，研究进展举步维艰，实际应用效果也非常局限，满足不了复杂多变的海量视频侦查任务。作者完全自主研发的“梯度视频搜索系统”，继承并突破传统图像处理技术，允许用户根据实际情况，自定义视频侦查任务，创新性地提出并构建“级联检测器检测+验证器校验”的多级多个神经网络组成的神经计算专家系统，实现海量视频“多目标多场景”的同时搜索。2系统特点不同于单纯的“以图搜图”，“梯度视频搜索系统”根据侦查任务的N（N≥1）个已知场景或M（M≥1）张已知图像，提取、处理和扩充已知视频或已知图像中的特征图像序列，将其作为样本集合训练侦查系统内核（多级多个神经网络组成的神经计算专家系统），实现海量视频“多目标多场景”的同时搜索，并且根据案件侦查的深入推进，支持已知场景的增加、删除和修改等。“梯度视频搜索系统”首先根据已知的嫌疑人视频场景片段（已知场景可通过“梯度视频浓缩系统”检索等其它辅助方法得到），自动提取关键特征图像序列，并经一序列预处理和后处理，将关键特征图像序列扩充成不同光照、不同角度、不同变形等多种情况，形成更多的特征图像序列，将其作为样本集合，模拟人类大脑思维训练人工神经网络，最后使用经过训练的侦查系统内核，对海量视频执行搜索任务。3运行环境CPU：推荐IntelCorei5M460@2.53GHz或更高主频的处理器或兼容处理器；海量视频搜索与视频侦查系统内存：2GB及以上内存，推荐8GB；硬盘：1GB空余硬盘空间，推荐1TB；键盘：标准101/102键或Microsoft自然PS/2键盘；鼠标：普通或光电鼠标；显示：14寸以上显示器；平台：WindowsXP及以上操作系统，推荐64位Windows7。4使用说明4.1定义侦查任务启动“梯度视频搜索系统”，首先进入第一个页面“定义侦查任务”，如图4.1，该步骤主要是定义侦查任务根目录、任务名称和任务描述。定义侦查任务时，请确保根目录所在磁盘有足够的空间，并确保任务名称的唯一性。任务描述则是供填写有关任务的简介和案情，这可以根据具体情况酌情填写，也可空白不写。图4.1定义侦查任务海量视频搜索与视频侦查系统中，单击“下一步”按钮，进入第二个页面“定义已知场景”，如图4.2，该步骤主要是为侦查任务定义已知场景，“梯度视频搜索系统”支持“多目标多场景”的同时搜索。定义已知场景时，场景编号必须唯一，场景描述内容允许空白不写。场景列表中的“视频”、“起始帧”和“终止帧”，开始时为空，其内容和取值是在后面第三个页面“选取视频片段”中定义的。图4.2定义已知场景4.3选取视频片段在图4.2中，单击“下一步”按钮，进入第三个页面“选取视频片段”，如图4.3.1，该步骤主要是为已知场景定义视频片段。首先单击“打开视频”按钮，选定好已知场景的视频，然后调节播放到起始帧所在的位置，单击“设为起始帧”按钮，完成起始帧的定义，如图4.3.1。继续调节播放视频，待到终止帧所在的位置时，单击“设为终止帧”按钮，完成终止帧的定义，如图4.3.2。海量视频搜索与视频侦查系统选取视频片段–设定起始帧图4.3.2选取视频片段–设定终止帧海量视频搜索与视频侦查系统中，单击“下一步”按钮，进入第四个页面“预处理已知场景”，如图4.4，该步骤主要是为第五个页面“分割目标区域”做准备工作。预处理已知场景时，单击“开始”按钮，程序全自动运行所有预处理工作。这里，“梯度视频搜索系统”支持对M（M≥1）张已知图像（非视频片段）的预处理，可单击“从目录增加”和“从文件增加”按钮，直接增加已知图像，程序自动对其进行所有预处理。图4.4预处理已知场景4.5分割目标区域在图4.4中，单击“下一步”按钮，进入第五个页面“分割目标区域”，如图4.5，该步骤主要是手动框取待搜索的目标在图像中的区域。分割目标区域时，请耐心多框取一些目标区域，样本框取的多与少、好与坏，将直接影响后面的搜索速度和准确度。海量视频搜索与视频侦查系统中，单击“下一步”按钮，进入第六个页面“后处理已知场景”，如图4.6，该步骤主要是对手动分割的目标区域进行后处理，批量生成可供人工神经网络训练用的样本集。后处理已知场景时，单击“开始”按钮，程序全自动运行所有后处理工作。这里，旋转角度默认为“0,-5,5,-10,10”，裁剪因子默认为“0.5”，区域默认为“0,0,1,0.8”，可根据实际须要修改调整。另外，在单击“开始”按钮后弹出的询问“裁剪背景边界？”对话框，多数情况下，单击“否”按钮便可，即在后处理过程中，不再自动修剪背景，保持手动框取待搜索的目标在图像中的区域不变。海量视频搜索与视频侦查系统后处理已知场景至此，一个已知场景的定义全部完成。如果还想继续定义已知场景，请单击最下方导航栏中间的“跳转”按钮，在弹出的快捷菜单中，单击“定义已知场景”，程序将直接跳转到第二个页面“定义已知场景”。4.7训练神经网络定义好所有已知场景后，在第六个页面（图4.6）“后处理已知场景”中，单击“下一步”按钮，进入第七个页面“训练神经网络”，如图4.7，该步骤主要是训练多级多个神经网络组成的神经计算专家系统。训练神经网络时，学习次数默认为1000，可根据须要调整，学得越久，将来的系统搜索准确率越高。单击“开始”按钮后，程序全自动运行所有训练工作，该过程可能须要持续数分钟，实际训练时间取决于计算机软硬件配置条件的优劣不同。海量视频搜索与视频侦查系统中，单击“下一步”按钮，进入第八个页面“执行搜索任务”，如图4.8，该步骤主要是应用训练过的神经网络专家系统，执行海量视频中特定目标的批量搜索和侦查。搜索过程可能须要较长时间，实际搜索速度取决于计算机软硬件配置条件的优劣不同。搜索结束后，单击“忽略同物”按钮，进行重复同物目标图像的剔除。海量视频搜索与视频侦查系统中，单击“下一步”按钮，进入第九个页面“浏览搜索结果”，如图4.9，该步骤主要是对程序自动批量搜索到的目标进行人工筛选，形成最终的搜索结果。浏览搜索结果时，可以根据须要过滤显示不同得分等级和排序顺序的目标图像，并可以双击每张目标图像，程序自动定位到该图像对应的原始视频位置，并可以进行倒退和前进播放，实现图像到视频的定位和回放，对人工筛选工作起到非常重要的辅助作用。海量视频搜索与视频侦查系统中，单击“下一步”按钮，进入第十个页面“生成报告视频”，如图4.10，该步骤主要是对搜索结果图像进行视频剪辑处理，生成缩略报告视频。“延时帧数”默认为100，即使用搜索结果图像在视频中前后各100帧的图像子集生成缩略报告视频，该值可根据须要修改，比如改为200。海量视频搜索与视频侦查系统中，单击“下一步”按钮，进入第十一个页面“播放报告视频”，如图4.11，该步骤主要是播放观看缩略报告视频。播放报告视频过程中，可以“跳转原视频”，并可对视频截取、合成和编辑。海量视频搜索与视频侦查系统日，“梯度视频搜索系统”已先后经过3个案件的实测：2013年04月06日江夏杀妻抛尸案、2013年08月07日武昌小区盗窃案、2014年04月11日武汉大学强奸案。5.12013年04月06日江夏杀妻抛尸案该案共有73GB约292小时的监控视频，视频格式全部为.mp4，画面质量模糊。实测中，采用一台普通i7台式计算机，运行2个进程，搜索时间分别为：4.1小时、4.5小时，平均搜索时间为4.3小时。在这73GB约292小时的监控视频中，通过传统人工方法检索受害人和嫌疑人，共找到6处。“梯度视频搜索系统”的搜索结果为：搜到6处，遗漏0处。搜索结果如图5.1，第1张为受害人2013年04月05日00:49:54出来捡垃圾的截图，第2张为嫌疑人2013年04月05日00:53:01穿着短裤出来看他妻子捡垃圾的截图，第3张为受害人2013年04月05日海量视频搜索与视频侦查系统:46捡完垃圾回家的截图，第4张为嫌疑人2013年04月06日16:08:02从外面回家的截图，第5张为嫌疑人2013年04月06日19:49:29提着他妻子尸体出来的截图，第6张为嫌疑人2013年04月06日19:52:49骑电动车抛尸的截图。图5.12013年04月06日江夏杀妻抛尸案搜索结果（6处）5.22013年08月07日武昌小区盗窃案该案共有90GB约117小时的监控视频，视频格式全部为.mp4，画面质量高清。实测中，采用一台普通i7台式计算机，运行2个进程，搜索时间分别为：5.4小时、6.2小时，平均搜索时间为5.8小时。在这90GB约117小时的监控视频中，通过传统人工方法检索嫌疑人，共找到20处。“梯度视频搜索系统”的搜索结果为：搜到21处（其中，人工已找到的有17处，人工未找到的有4处），遗漏3处。搜索结果如图5.2（其中带有红色边框的为传统人工检索未找到的4处截图），第1张为嫌疑人作案前在第2路摄像头第1次出现的截图，第2张为嫌疑人作案前在第2路摄像头第2次出现的截图，第3张为嫌疑人作案后在第2路摄像头第3次出现的截图，第4张为嫌疑人作案前在第3路摄像头出现的截图，第5张为嫌疑人作案前在第5路摄像头第1次出现的截图，第6张为嫌疑人作案前在第5路摄像头第2次出现的截图，第7张为嫌疑人作案前在第6路摄像头出现的截图，第8张为嫌疑人作案前在第7路摄像头第海量视频搜索与视频侦查系统次出现的截图，第9张为嫌疑人作案前在第8路摄像头第1次出现的截图，第10张为嫌疑人作案后在第8路摄像头第2次出现的截图，第11张为嫌疑人作案前在第9路摄像头第2次出现的截图，第12张为嫌疑人作案前在第10路摄像头第1次出现的截图，第13张为嫌疑人作案前在第10路摄像头第2次出现的截图，第14张为嫌疑人作案前在第10路摄像头第3次出现的截图，第15张为嫌疑人作案后在第10路摄像头第4次出现的截图，第16张为嫌疑人作案前在第11路摄像头第1次出现的截图，第17张为嫌疑人作案前在第11路摄像头第2次出现的截图，第18张为嫌疑人作案