人脸抓拍解决方案

中软安全智能工程（宿迁）有限公司人脸抓拍解决方案第一章方案概述1.1背景与趋势1.1.1智能视频新时代随着阿尔法狗、智能算法引起越来越多的人关注，人工智能掀起一股股风潮。智能视频分析产品成为热点产品，诸如人脸抓拍、行为分析、车牌识别、客流统计、智能预警等智能化技术。在“深度智能”时代，相比传统的智能算法来说，绝不只是算法的优化。从硬件方案到软件算法都有了质的飞跃，让智能业务应用真正开始落地，即所谓的“视频监控智能化的时代，即将全面展开”。其技术的革新，犹如当年随着集成电路的发展，让计算机走进千家万户，让笔记本电脑、PAD、智能手机等引领着新的时代。1.1.2智能技术更成熟深度学习是机器学习研究的一个重要领域，动机在于建立和模拟人脑进行分析学习的神经网络，模仿人脑的机制来解释数据。相比较传统智能算法需要根据算法人员的经验对图像进行总结和设计规则，深度学习是自己通过大量样本学习来总结规则，远远强于人的主管经验。同时，各类智能算法竞赛也让智能算法不断进行优化和迭代。而让深度学习的算法充分发挥优势的是随着GPU硬件的更新。GPU是专门从事图像运算工作的微处理器，是CPU性能的十倍来至上百倍，更适合大规模的并发计算，其并行计算能力让深度学习算法充分发挥其优势。1.1.3智能需求普遍化随着智能技术的真正落地，中小型项目的智能需求不断增加，现市场需要一种性价比更高的产品形态，需要部署更加灵活的智能系统，需要应用场景更加广泛、易落地的小型智能方案，让智能走向所有人。1.2需求分析随着对安全防范的需求与日俱增，要求越来越高，智能视频监控在生产生活各方面有非常广泛的应用，如实际的监控任务中的人工辅助需要，如视频监控的实时性、主动性、智能性在异常事件发生时分析、监测、提示、上报，为政府部门、安防领域及时决策、正确行动提供支持，达到视频监控的“减员、增效”，视频监控的“智能化”需求就显得尤为迫切。1.2.1视频智能需求视频智能应用在安防领域各方面都有非常广泛的应用。具体包括：1）人脸的智能识别在小区、园区或重要场所（政府机关、财务室、金库等）的出入口，公共区域等场景，通过智能摄像机识别人脸，实现人员身份核验、刷脸开门、名单布控报警、人脸以图搜图等功能。图1.人脸的智能分析2）人体行为分析在重要安防区域，如政府大门口，医院，贵重物品商场等，通过对人体异常行为（如徘徊、滞留、倒地，人数异常、间距异常等行）的监控和分析，起到人员安全事件和违法行为的预警作用；3）客流统计分析在景区、校园、医院、超市等场景，需要控制和统计人员进出数量，并进行丰富客流统计报表分析。4）车辆的智能管理在交通卡口通过视频智能应用实现车辆特征信息的识别；在园区、道路、地下停车场入口等区域，通过智能分析技术检测车辆的违停、占道等行为，实现车辆管理的自动化和智能化；图2.车辆的智能分析5）物品的智能分析如物品识别、物品遗留、物品移动、物品拿取等智能分析可广泛应用各类安防场景中。图3.物品的智能分析6）视频的智能检索通过视频智能算法实现视频信息叠加，快速搜索等应用，提高视频查阅和分析效率，大大降低人工成本。1.2.2视频智能痛点1）中小型项目和预算较低项目的智能需求未被满足。智能分析的模式比较单一，智能产品的形态基本为后置式，产品形态差异性小、市场竞争趋于变大；同时，后置式智能分析产品虽然解决并发处理多路识别分析，但是对中心存在一定的压力。而中小型项目的智能需求增加，现有模式未能有效满足，市场需要一种性价比更高的产品形态，需要系统部署更加灵活，应用场景更加广泛、易落地的小型智能场景，让智能走向“大众项目”。2）更高的精确度和更强的适应性一直是行业追求不变的方向。各行业的视频监控业务复杂度越来越高，更多的图像细节信息的识别和业务功能的扩展成为客户的迫切需求。部署海量的监控能够满足复杂业务的需求，采集更多的视频图像、获取更多的目标信息、进行更加精确的智能分析，都是行业提升视频监控能力和效率的关键点。而传统的智能算法难以适应复杂监控场景，急需要场景适应能力更强、误报率更低、能提取更多目标特征的视频智能化方案和产品。1.3建设内容为满足综合安防领域内对人车物的智能需求，结合当前的智能技术，有重点的解决综合安防当前智能需求中的最痛点，本系统重点实现人员智能功能、人群智能功能、车辆智能功能。其中，人员智能功能主要包括人脸抓拍、人脸比对、异常行为分析、周界防范去误报；人群智能功能包括客流监控和统计；车辆智能功能主要为车辆占道检测功能。1.4名词解释术语/缩略语含义深度学习通过机器自身提取特征，将人脸浅层的抽象特征（脸颊、额头等）逐层处理，最终形成深层的可供识别的人脸图像进行学习的一种智能算法GPUGraphicsProcessingUnit，图形处理器，专为图像处理设计，可以通过增加并行处理单元和存储器控制单元的方式提高处理能力和存储器带宽深眸海康威视“深眸”系列专业智能摄像机，内嵌专为视频监控场景设计、优化的深度学习算法，实现了在各种复杂环境下人、车、物的多重特征信息提取和事件检测“超脑”NVR海康威视自主研发的新一代超脑NVR系列，具备基于深度学习算法的视频图像结构化技术和NVR的各项功能特性去误报通过对触发报警的区域进行人体目标二次识别，筛选过滤掉非人体报警，从而最大限度的降低周界防范误报现象脸谱人脸分析服务器，海康威视专用于人脸识别分析的“视频云结构化分析服务器”人脸识别是基于人的脸部特征信息进行身份识别的一种生物识别技术，是在含有人脸图像或视频流中检测和跟踪人脸，进而对检测到的人脸进行脸部的一系列建模等技术，实现不同人脸的识别的过程。人脸以图搜图是一种通过上传的人脸照片，在指定搜索位置按照人脸特征的相似度进行比较，获得相似度最高的人脸图片的人脸识别应用。第二章系统架构与功能第1章2.1系统架构系统架构可设计如下：图4.智能视频监控架构示意图1）前端部分支持多种类型的摄像机接入，前端网络摄像机进行图像、视频等网络数字信号的采集，通过网络进行视频图像的传输。部分前端摄像机还具备智能比对和分析功能。主要的前端摄像机包括拥有占道检测功能的占道球，可进行客流实时监控和统计的“深眸”垂直双目摄像机，可进行异常行为分析的“深眸”行为分析摄像机，以及具备人脸抓拍功能的“深眸”人脸抓拍机和人脸比对功能的“深眸”人脸比对机等前端摄像机。2）后端部分支持多种类型的后端存储设备接入，主要用于对前端采集的视频、图片进行存储和分析比对功能。主要包括具备人脸比对功能的“超脑”NVR和脸谱，具备后端周界防范去误报的“超脑”NVR。2.2人员智能分析2.2.1人脸应用人脸应用场景广泛、价值巨大。如人脸身份核验应用，可应用于园区、工地大门识别企业员工、厂区人员、工地工人，楼宇小区的大门、建筑出入口识别业主人员，以及对进出小区或别墅的水电工、保洁员、绿化工、维修工，别墅亲友等人员检测和识别，通过对抓拍的人脸进行实时比对，比对成功后联动闸机进行开门，实现内部人员或相关人员进出大门出入口的管控。除此之外，人脸身份核验还可以应用于其他重要区域，如公安（嫌疑犯确认、零口供、枪械库管理）、金融（金库、押钞车、ATM机、加钞室）、医院重地（特殊药房、麻醉室、手术室）、楼宇（企业财务、档案、库房）等人员比对、航客运（安检）、交通运输（特殊车辆司机）、幼教（接送家长）、大学（实验室、教师考勤）等；酒店/商超/连锁惯偷识别、建筑工地（特殊工种人员比对）等场景。人脸（黑名单）布控报警应用，可应用于大楼园区的出入口、大厅等场景，满足用户对于“职业上访”、不法分子、黄牛、医闹、惯偷、闹事者、地痞流氓、社会混混等可疑人员的检测和识别，以及其他人员（如能源企业识别环保局人员、医院识别卫生局人员、园区识别重要人员）的检测和识别，并对抓拍的人脸进行实时比对，比对成功后进行报警。人脸检索应用，可用于公安检索嫌疑人、交通运输轨道车站失踪人员搜索、校园失踪学生的搜索、园区/街道搜索嫌疑人脸，用于事后追溯、证据查询等场景，通过下发人脸，在人脸抓拍库中进行人脸比对、搜索，比对成功后返回搜索结果，满足用户对于人脸搜索的需要。通过上述场景和需求分析，人脸智能分析主要功能包括人脸抓拍、人脸身份核验、人脸布控报警、人脸检索和人脸库管理。2.2.1.1人脸抓拍通过人脸检测算法，前端智能摄像机从实时视频数据或录像视频中，自动检测、跟踪人脸图片，如通过对运动人脸进行检测、跟踪、抓拍、评分、筛选一系列流程，结合人脸质量判断规则，自动选出符合人脸提取条件的人脸照片抓拍并进行输出。人脸抓拍中一般包含人脸的性别、年龄、是否戴眼镜等特征的识别。图5.人脸抓拍查询人脸抓拍的质量在很大程度上决定了人脸智能分析的应用场景和功效，通过如下技术不断提高人脸抓拍的质量：人脸区域曝光功能和曝光算法：在检测到人脸之后自动根据人脸区域亮度的变化控制曝光参数，在逆光或者过曝的光照环境下，优先保证人脸的亮度。在逆光场景下，启用人脸区域曝光的的效果明显优于普通曝光算法抓拍的人脸。图6.人脸区域曝光和宽动态对比图方案推荐使用具有深度学习能力的人脸抓拍机。深度学习的人脸抓拍机相比传统的智能产品，具有精确度更高和场景适应能力更强。场景适应能力更强体现在小目标场景和大角度场景中，检出率较传统的智能产品显著提高。内部测试如下：场景传统智能产品检出率深度学习产品检出率标准人员卡口≈90%≈98%模糊场景≈52%≈75%小目标场景≈29%≈85%大角度（俯仰角60°-90°）≈40%≈82%2.2.1.2人脸比对平台向比对设备下发需要进行人脸比对的人员信息到名单库中，比对设备接收人员信息后与绑定的前端IPC抓拍的人脸进行比对，将相似度阈值（平台下发）之上的比对结果和信息发送给平台，完成比对。其中：相似度阈值范围：由平台下发，可根据用户需要进行设置不同的阈值，一般人脸比对阈值为80%~90%，阈值太高可能导致比对无结果，遗漏重要信息；阈值太低导致比对结果过多，需要人工去二次确认、造成效率低下。人脸比对功能是人脸应用中的基础功能，基于此功能结合不同的使用场景，可开发人脸身份核验、人脸布控报警、人脸检索（以脸搜脸）、人脸1V1比对、人脸轨迹分析、人脸碰撞等多种应用，满足用户不同的需要。下面详细介绍人脸身份核验、人脸布控报警、人脸检索（以脸搜脸）三类应用。1）人脸身份核验由具备人脸身份核验管理权限的用户进行人脸身份核验设置，将需要核验的人脸下发到名单库，并将名单库与指定的比对设备（具备比对功能的前端摄像机/后端比对设备/服务器比对）进行关联核验。关联后，摄像机抓拍的人脸只与其关联的名单库内人脸进行比对识别和联动。人脸比对设备将推送过来的人脸照片进行建模，并和关联的人脸库内的人脸图片进行比对，如果比对结果中有1个或多个相似度达到或超过预设报警阈值，选取相似度最高的人脸图片作为识别结果（不同的模式上报的不同张数），并将识别的人脸图片和比对结果推送到平台，在平台中人脸比对事件进行查询报警信息和比对结果。比对设备成功比对后可进行联动，可通过IO输入输出与需要联动的设备（如开门闸机）进行硬联动，直接联动开门。硬联动需要在设备上进行配置；或将比对结果发给平台，由平台具有权限的管理员进行联动闸机开门，实现软联动。图7.人脸身份核验刷脸开门人脸身份核验的业务流程图如下：图8.人脸身份核验业务流程图2）人脸布控报警由具备布控管理权限的用户进行人脸布控设置，将需要布控的人脸下发到名单库，并将名单库与指定的比对设备进行关联布控。关联后，摄像机抓拍的人脸只与其关联的名单库内人脸进行比对识别和报警。人脸比对设备将推送过来的人脸照片进行建模，并和关联的人脸库内的人脸图片进行比对，如果比对结果中有1个或多个相似度达到或超过报警阀值，选取相似度最高的人脸图片作为识别结果（不同的模式上报的不同张数），并将识别的人脸图片和比对结果推送到平台，在平台中人脸比对事件进行查询报警信息和比对结果。平台接收到人脸实时比对报警，将对应的人脸图片及信息显示出来，警示值班人员关注和处理，并可进行相关联动。图9.人脸布控报警人脸布控报警业务流程图如下：图10.人脸布控报警业务