搜索
视频大数据技术趋势及实践2目录现场疑问解答技术发展概述01020304常规处理框架具体实践说明3三元空间视频资源分类现实世界物理空间网络世界信息空间人类认知社会空间网络层面社会层面政府、企事业、平面媒体物理层面传感器、条码、二维码三元数据富媒体数据基础网络数据自媒体日志数据数据社交网络、搜索引擎、网博客、微博购、金融支付文本、音视频、信令、定位、图片、照片计费网上视频数据，除了有节目内容外，还包括个人身份信息、位置信息、通信录、应用偏好信息，可能还有账号信息等。来源：邬贺铨，视频大数据的发展与应用，2016年03月4视频数据的常规处理视频关联分析文件信息标题关键词用户名IP地址采集日期视频时长时空信息运行时间监控编号视频内容挖掘参考帧图像识别图像描述图像定位图像生成特征转换语音转文本字幕分离OCR来源：Microsoft，HAL，NBA，Karen's.etc5深度学习用于图像描述来源：Google，2014；Microsoft，2015Google和Microsoft的工程师开发的机器学习算法，能自动生成图片题注说明，准确地描述图像的内容6深度学习用于视频分析来源：TranslatingVideostoNaturalLanguageUsingDeepRecurrentNeuralNetworks,2015.047深度学习用于视频分析SUSUSUSUForwardUnitFUCNN(VGG)ForwardPassMergeUnitMUBackwardUnitSentenceUnitBUSUBackwardPassLanguageModelBOSamanis…MergeMUMU…SUtimeVisualModelamanisridingEOS…BUBUBUBUFUFUFUFUFUMUMUMUBU来源：BidirectionalLong-ShortTermMemoryforVideoDescription,2016.06Uni:amanisplayingonastage.Bi:agroupofamanisdancing.Re:agroupofpeoplearedancing.Uni:amanisridingabike.Bi:amanisridingonamotorcycle.Re:amanisridingamotorcycle.Table2:Comparingwithseveralstate-of-the-artmodels(reportedinpercentage,higherisbetter).Uni:apersoniscuttingapotato.Bi:apersonisslicingapotato.Re:apersonispeelingapotato.Uni:amanisplaying.Bi:amanisplayingapiano.Re:amanisplayingthepiano.ModelMETEORLSTM26.9Joint-LSTMunidirectinal(ours)29.5S2VT[23]-RGB(VGG)29.2-RGB(VGG)+Flow(AlexNet)29.8LSTM-E(VGG)[15]29.5LSTM-E(C3D)[15]29.9Yaoetal.[32]29.6Joint-BiLSTMreinforced(ours)30.3ModelMETEORS2VT-unidirectional28.7S2VT-bidirectional28.6S2VT-BiLSTMreinfored29.5Joint-LSTMunidirectional29.5Joint-LSTMbidirectional29.9Joint-BiLSTMreinforced30.3ModelMETEORLSTM26.9Joint-LSTMunidirectinal(ours)29.5S2VT[23]-RGB(VGG)29.2-RGB(VGG)+Flow(AlexNet)29.8LSTM-E(VGG)[15]29.5LSTM-E(C3D)[15]29.9Yaoetal.[32]29.6Joint-BiLSTMreinforced(ours)30.38深度学习技术趋势ArchitecturesmorecomplexandsophisticatedAllthecoolkidsareusingLSTMsAttentionmodelsareshowingupNeuralTuringMachinesremaininterestingDeeplearningforCVandNLParecross-hybridizingeachotherSymbolicdifferentiationisbecomingevenmoreimportantSurprisingresultsarehappeningTheintersectionofdeepandreinforcementlearningcontinuesIfyouaren'tusingbatchnormalizationyoushouldNeuralnetworkresearchandproductionisationgohandinhand来源：BradNeuberg,10DeepLearningTrendsatNIPS2015,2015.129目录现场疑问解答技术发展概述01020304常规处理框架具体实践说明10平台整体框架人脸建库人脸识别图像文件文本文件音频特征语音识别图像标注图像识别视频指纹视频识别全媒体内容管理语音全文检索图像浏览检索视频/片段浏览检索音频文件深度学习平台全媒体聚合云平台统一检索门户API/WebService视频文件话题聚类字幕匹配物体追踪以图搜图以图搜视频局部图像搜索其他融合架构基础设施11文本挖掘12语音识别13图像识别14内容审核15以图搜图16以图搜视频17目录现场疑问解答技术发展概述01020304常规处理框架具体实践说明18案例：某市云计算中心公安云2012年8月开通，市电子政务外网整体迁移至云计算中心，并建设数据共享服务平台和地理信息服务平台，打造政务云依托政务云，在青山区试点社会管理和服务创新，得到各级领导广泛认可目前，部署各类服务器、存储及网络设备400余台，并达到三级等保要求市公安云依托云计算中心建设，是公安行业首个采用云计算方式构建信息系统的地区19案例：某市云计算中心公安云视频结构化分析智能目标搜索视频图像大数据人脸识别搜索车型车牌识别车主、车辆信息身份证、实名信息飞机、高铁票信息交通卡口数据手机号、通话信息实名管理大数据社交账号、网络信息公共安全视频侦查应急指挥执法查验缉私情报信用管理国家反恐20案例：某市云计算中心公安云视频结构化分析智能目标搜索21案例：某市云计算中心公安云22案例：某市云计算中心公安云车牌号、车牌颜色、车型、车身颜色、车标、车型、年代、人脸数、人脸图像、是否系安全带23案例：某市云计算中心公安云24案例：某市云计算中心公安云感谢大家