11-关键帧提取

1视频关键帧抽取2视频结构化的基本概念书视频章节页场景镜头帧AVIDEOKEYframeistheframethatcanrepresentthesalientcontentofavideoshot.3提纲关键帧抽取算法介绍关键帧抽取的意义4关键帧抽取的意义5减少视频帧间存在的大量冗余信息内容关键帧提取的意义更凝炼地表达一段视频中包含的信息，便于对视频内容建立索引、管理6减少冗余信息视频由成千上万的帧组成，视频数据流中t时刻的图像帧和t+1时刻的图像帧在视觉特征和内容上差别不大。人们从由成千上万存在冗余的图像帧提取出“关键图像帧”，而且使用这些关键图像帧表示视频，会更加简洁。这是在视频内容分析中提取视频关键帧的原因之一。7快速全面了解视频的内容对于只想了解大致视频内容的用户而言，他们并不愿意花很多时间观看每一帧。提取关键帧可以极大地节约用户的欣赏时间。用户通过关键帧，能了解整个视频数据流所蕴含的内容。在通过提取关键帧的底层信息来建立索引，方便用户对视频内容的查询。8小结关键帧提取可以减少视频数据流在内容上的冗余度，其提取原则既要在数量上精简，又能够反映视频内容。前面介绍了如何通过相邻视频帧间特征发生变换，将连续视频流分割成长短不一的视频镜头。要进行的下一步工作是从每个切分出来的镜头中提取关键帧，在关键帧的基础上进行进一步的结构化。92.关键帧抽取算法10几种关键帧提取算法基于抽样的方法基于镜头边界法基于颜色特征法基于运动分析法基于聚类的关键帧提取（重点介绍）11基于抽样的方法思想：基于抽样的方法是一种比较简单的方法，这种方法一般通过随机的抽取几帧、或者规定间隔抽取关键帧、或者规定每个镜头提取的帧数然后等间隔抽取。优点：这种方法的优点是简单快速。缺点：这种方法具有明显的缺点即不能够有效的表达视频的内容。当镜头很短时可能只能抽取到一个关键帧，这可能导致一些重要信息丢失，而对于一些比较长的视频镜头片断，可能会有很多相似的关键帧被提取出来，这样关键帧提取的目的没有达到。12基于镜头边界法思想：将切分得到镜头中的第一幅图像和最后一幅图像作为镜头关键帧。依据：既然在一组镜头中，相邻图像帧之间的特征变化很少，所以整个镜头中图像帧的特征变换也应该不大，因此选择镜头第一帧和最后一帧可以将镜头内容完全表达出来。13基于镜头边界法缺点：以镜头首帧或尾帧或首帧加尾帧为关键帧，这种方法虽简单，但它不考虑当前视觉内容的复杂性，并且限制了镜头关键帧的个数，使长短不同和内容不同的视频镜头有相同个数关键帧，这样做并不合理，事实上首帧或尾帧往往并非关键帧，不能精确地代表镜头信息。14基于颜色特征法思想：将镜头当前帧与最后一个判断为关键帧的图像进行比较，如有较多特征发生改变，则当前帧为新的一个关键帧。在实际中，可以将视频镜头第一帧作为关键帧，然后比较后面视频帧图像与关键帧的图像特征是否发生了较大变化，逐渐得到后续关键帧。15基于颜色特征法优点：按照这个方法，对于不同的视频镜头，可以提取出数目不同的关键帧，而且每个帧之间的颜色差别较大。缺点：对摄像机的运动（如摄像机镜头拉伸造成焦距的变化及摄像机镜头平移的转变）很不敏感，无法量化地表示运动信息的变化，会造成关键帧提取不稳健。16基于运动分析法依据：在视频摄影中，摄像机运动所造成的显著运动信息是产生图像变化的重要因素。思想：将相机运动造成的图像变化分成两类：一类是相机焦距变化造成的；一类是相机角度变化造成的。对前一种，选择首、尾两帧为关键帧；对后一种，如当前帧与上一关键帧重叠小于30%，则选其为关键帧。17基于聚类的关键帧提取聚类方法在人工智能、模式识别和语音识别等领域中有着很广泛的应用，也可以使用聚类方法来提取镜头关键帧。实现步骤：第一步：设某个镜头Si包含n个图像帧，可以表示为Si={Fi1，……，Fin}，其中Fi1为首帧，Fin为尾帧。如果相邻两帧之间的相似度定义是这相邻两帧颜色直方图的相似度（也即是直方图特征差别），预定义一个阈值δ控制聚类的密度。18基于聚类的关键帧提取第二步：计算当前帧Fii与现存某个聚类质心间的相似度，如果该值小于δ，则该帧与该聚类之间距离较大，因此，Fii不能加入该聚类中。如Fii与所有现存聚类质心相似度均小于δ，则Fii形成一个新的聚类，Fii为新聚类的质心；否则将该帧加入到与之相似度最大的聚类中，使该帧与这个聚类的质心之间的距离最小。19基于聚类的关键帧提取第三步：通过上面方法将镜头Si所包含的n个图像帧，分别归类到不同聚类后，就可以选择关键帧：从每个聚类中抽取离聚类质心最近的帧作为这个聚类的代表帧，所有聚类的代表帧就构成了镜头Si的关键帧。假设镜头Si形成了cluster个聚类，那么就可以从镜头Si中提取cluster个关键帧。20基于聚类的关键帧提取特点：该聚类算法由阈值δ控制，δ越大，形成的聚类数目越多，镜头Si划分越细，选择的关键帧也越多；反之，δ越小，所形成的聚类个数越少，镜头Si划分越粗。示例：表8.1和表8.2显示了当δ取不同阈值时采取聚类算法所提取的关键帧结果。21基于聚类的关键帧提取表1动作视频片提取关键帧结果镜头ID镜头边界δ=0.80δ=0.85δ=0.90关键帧关键帧关键帧10~664141134267~13490687511641~752676655679733662665675698738171072~114511011074，11021079109711071133114422基于聚类的关键帧提取表2生活视频片提取关键帧结果镜头ID镜头边界δ=0.80δ=0.85δ=0.90关键帧关键帧关键帧10~302173173412303~3883673673673389~439401401401111113~14021219111411171267134823基于聚类的关键帧提取优点：1)该方法不仅计算效率高，它还能有效地获取视频镜头的显著视觉内容。对于低活动性镜头，大多数情况下它会提取少量的关键帧或仅仅一个关键帧（表2）。但对于高活动性镜头，它会根据镜头的视觉复杂性自动提取多个关键帧（表1）。24基于聚类的关键帧提取由于该方法仅依赖于当前帧与前面帧，因此易于在线实现。和其他关键帧提取算法一样，虽然这里使用颜色直方图作为相似度度量，但是任何有用的视觉或语义特征都能被集成到这个聚类算法中。聚类算法基本上是一个非监督过程，用户只要提供聚类参数δ，那么聚类与关键帧提取等过程就可以自动完成，不需要人工干预，因此效率较高。25基于聚类的关键帧提取注：在聚类过程中也可以加入些约束条件，如每个聚类集中的图像帧数目不应该很少，也不应该很多；每个聚类集的聚类质心不应该“相似”，也就是这些聚类质心的距离要大；还可以采用模糊聚类方法实现关键帧的提取。缺点：聚类算法最大的限制是聚类参数δ是否恰当，从上面对动作片与生活片视频关键帧提取可以知道，对于不同的应用，聚类参数δ的设置就差别较大，因此一个普遍的聚类参数δ获取是相当困难的。26视频帧i和视频帧j的直方图差HDij的计算如下：基于PGF（peergroupfiltering)的关键帧提取H颜色分量的归一化直方图27基于PGF（peergroupfiltering)的关键帧提取PGF主要思想：找出滤波窗口与中心象素特征相近的邻域象素作为同组成员参加滤波。它是先根据滤波窗口中邻域象素与原来象素特征的相似性进行升序排列，再根据Fisher判别找出该象素的同组成员，然后用滤波窗口中属于同组成员象素的加权特征值代替原来中心象素的特征值。优点：很好的滤除混合噪声，且保护图像边缘信息28基于PGF（peergroupfiltering)的关键帧提取采用递归同类组滤波（PGF)的策略把镜头的视频帧根据每一帧划分分两组：与第一帧属于同一组的视频帧和与第一帧属于不同组的视频帧PGF的主要功能是把一组数据集合通过最大化一个基于Fisher区分分析的类间散度和两个类内散度的比率来划分成两个类｛d1,…,dM}是时间序列上各个帧和第一帧的距离，这些距离是按照从小到大的顺序排列。很显然，当距离很小时，这些帧和第一帧属于同一组。29基于PGF（peergroupfiltering)的关键帧提取30基于PGF（peergroupfiltering)的关键帧提取31基于PGF（peergroupfiltering)的关键帧提取32Featurespacerepresentationofacomplexshot(center).Forvisualizationpurposethefeaturespacewasreducedto2dbyPCA.Aclusteringoftheframesleadstokeyframesdisplayedontheleftandrightside.