多媒体数据库

多媒体数据库多媒体数据可以有哪些数据组成？多媒体数据是指由多种不同类型媒体综合组成的，通常包括文本、图形、图像、声音、视频图像和动画等媒体形式。只包含某种媒体的数据称为单媒体。当然，单媒体可以看作是特殊的多媒体。多媒体数据的特征？•数据量非常庞大•音频视频有时间维，固定速率播放才能预期效果•内容中语义结构难识别•空间时间协调表示多个媒体类型•数据含义模糊、主观•参数多多媒体数据具有如下几种特性：•1.集成特性•2.独立特性•3.数据量大•4.实时性强•5.具有交互性•6.非解释特性•7.非结构特性三个难题：•信息媒体的多样化•多媒体数据集成或表现集成•多媒体数据与人之间的交互性多媒体数据库技术需要研究的问题：如何用数据库系统来描述如何表达多媒体信息的内容将怎样进行检索查询该如何处理这些数据呢如何用数据库系统来描述多媒体数据模型•是客观事物及其联系的数据描述；•数据的描述：指出模型中包含那些记录类型，并对记录类型进行命名；指明各个记录类型由那些数据构成，并对数据项进行命名，每个数据项均需指明其数据类型和取值范围。•数据间联系：指明各个不同记录间所存在的联系和联系方式。数据模型作用•为表达使用系统将要存储和检索的数据项的性能提供框架（或语言）•该框架允许设计者和用户定义、插入、删除、修改和搜索数据库项目和性能与传统数据类型相比较•多媒体数据不仅包含整型、实型、布尔型和字符型等传统数据类型，而且还应包括图形、图像、声音、文字、动画等复杂数据类型•从数据量上看，常规数据与多媒体数据的大小差别可以达到几千、几万甚至几十万倍与传统数据类型相比较•从数据长度上看，常规数据项一般采用定长记录处理，存储结构清晰，而多媒体数据长度可变•从数据传送方面看，多媒体数据不论是视频媒体还是音频媒体，都要求连续播放，否则将导致严重失真，这就要求CPU、I/O、RAM、网络带宽及软件算法比常规数据快一个档次综上所述：多媒体数据项对应一个复杂对象，而并不是一个不可再分的原子数据，它的数据模型通常具有复杂的层次结构，而不同于简单关系模型要求数据模型满足：•可扩展，以便添加新的数据类型•能够表示复杂空间和时间关系的基本媒体类型和复合对象•灵活的，以便在不同抽象级别上指定、查询和搜索数据项•允许进行有效存储和搜索多媒体数据模型•目前，建立多媒体数据模型的方法主要有如下两种：•扩展现有关系数据库管理系统，用于支持类似于二进制对象的各种多媒体对象。将RDBMS从基本的二进制对象扩展到继承和类这一概念。•转变为发展成熟的面向对象数据库，以支持SQL语言。将数据库和应用软件转变为面向对象的数据并使用面向对象的语言，如C++，或使用对象的SQL来开发。多媒体数据模型的层次•多媒体数据模型是用来描述任何多媒体数据静态特性和动态特性的一组概念和定义，一般可以分为如下三个层次。•概念数据模型（conceptualdatamodel，CDM）•逻辑数据模型（logicaldatamodel，LDM）•物理数据模型（physicaldatamodel，PDM）现实世界RW概念世界CDMCDMCDM逻辑与物理数据模型LDMLDMLDMPDMPDMPDM多媒体概念数据模型MCDM多媒体数据库MDB集成集成数据模型分类•简单性数据模型•复杂型数据模型•智能型数据模型简单型多媒体数据模型•对应于多媒体简单应用。•特征：涉及到的对象多为静态，结构较为简单，查询比较确定。•简单型多媒体数据库功能：•对多媒体数据中的物理媒体数据的有效管理和存取；•建立多媒体数据及其文本说明等属性之间的相互关系。复杂型多媒体数据模型•表述一类结构较为复杂、可以进行某种意义上模糊查询的多媒体应用。•特征：具有复杂的结构，实体之间存在多重联系，查询方式多样。•复杂型多媒体数据库主要功能：•对多媒体中所包含的物理媒体数据、逻辑媒体数据的统一描述、有效存取和管理；•对多媒体数据中包含的多种语义信息进行描述、存取和管理。智能型多媒体数据模型•具有特殊复杂对象、应用要求相当复杂的系统。•特征：对系统的描述具有很高的要求。•智能型多媒体数据库主要功能：•能够对多种媒体数据进行有效的存储和管理；•还能够支持对多种媒体数据的理解以及从中进行知识获取；•在知识引导下的查询及其相应智能化的操作和处理。扩展的关系数据模型•传统的关系数据模型缺少支持多媒体数据库的能力。只是为管理表格字母数字形式的数据设计的，很难实现具有空间关系和时态关系的数据，缺乏演绎和推理操作。•最近，关系数据库管理系统开始使用大二进制对象(BLOB)来存储和管理多媒体对象。BLOB可用于图像或其他二进制数据类型的对象。关系数据库中包括BLOB的位置信息，这些信息实际存储在数据库之外的分离的图像或视频服务器上。通过访问这些BLOB，为用户显示完整的数据集。面向对象模型•面向对象模型是另一种表达多媒体数据库的主要方法，许多多媒体应用中的数据管理都建立在面向对象模型上。•面向对象数据库模型类的概念对多媒体数据特别有用。一旦定义了类，所有类中的对象就被赋予了类的属性。类定义在应用软件的开发速度上也有着明显的优势，并且有利于为开发和维护复杂多媒体应用软件提供更完善的功能及更广泛的对象性能。此外，对象数据库的功能，如消息传递、可扩展性、支持分层结构，对于多媒体系统来说也都是非常重要的。面向对象模型•不足之处：尚无一个统一的标准；缺乏坚实的理论基础；许多实际技术还不够成熟•改进之处：增加反映多媒体对象之间时空关系的描述，描述多媒体对象间更深刻的语义。如何表达多媒体信息的内容多媒体元数据及其生成•多媒体数据往往由多种媒体组合而成。多媒体数据类型不同，表示方式也各不相同。不同的表示形式，其存取方式和绘制方式等各不相同。因此，多媒体数据库还应包括处理不同对象的相关方法库。•多媒体数据库与方法库应紧密相关联，以便进行数据对象的组合、分解和变换等操作。所以，多媒体数据应包括数据原始对象(也称数据源)、数据对象的说明(元数据等)以及与对象相关联的方法3部分数据对象说明相关方法数据对象源•媒体对象，如音频、图像及视频，是二进制和非结构化的，因此也不能简单地用数学解析式表示。多媒体数据库必须取得并存取基于这些媒体对象内容的解释，这些解释就成为元数据。元数据可以从媒体信息自动地或者半自动地(或者在一些情况下是手动地)生成。•元数据包含两方面的内容：•媒体内部元数据处理媒体内信息的解释。•媒体相互间的元数据处理多个媒体和它们相互关系信息的解释。多媒体元数据分类内容相关的元数据内容描述的元数据内容无关的元数据2020/9/2633多媒体元数据生成•文本元数据•文本元数据可以表示为字符串（即由键盘输入），也可以表示为图像（由扫描仪输入）。若用字符串表示，其最基本的元数据是文本逻辑结构及其展示风格的描述，描述的内容一般可由作者提供，作者提供的不充分的某些部分仍需用自动或半自动的方法识别，例如子标题边界的确定和关键词的提取等。如果文本数据是由扫描仪输入，则生成元数据需要更多的自动或半自动处理，例如行、字、符号、图和表的识别、段落边界的确定、关键词的提取等。2020/9/2634声音元数据•在声音媒体中，语音是使用和研究得最多的一种媒体。有限制的语音识别逐步走向实用化。从语音鉴别发言人、按照语调和语气来区别语义和词义也在研究之中。但在普遍情况下，既不限词汇、不限发言人数、不限语法、不限环境和背景，语音识别的效果就不够好，还不能实用化。2020/9/2635•通过语音处理和识别，可以获得语音数据的各种语义信息，这是最基本的依赖于内容的语音单元。由于语音识别须要和大量样板语音数据比较，空间和时间的开销都很大。目前，用自动半自动方法提取语音元数据还有一定的困难。2020/9/2636图像元数据•图像元数据与图像类型和应用领域有关。例如人像的元数据主要包括人的自然和社会的属性以及人的各部分的特征等；卫星图像元数据主要包括栅格结构、地理位置、地貌特征、地域覆盖（例如国域，省域等）、摄取时间；医学图像元数据主要包括病人属性、检查时间，结构异常部位及特征。2020/9/2637影视元数据•影视数据是由一系列帧组成的。影视元数据有些是属于帧一级的，例如某一帧的颜色或灰度特征；有些是属于帧系列级的。帧系列还可以分为多级：即影视级（一部电影或电视节目）、情节级（表示影视中一段连贯的内容），场景级（在一个地点或场地拍摄的内容），镜头级（一次连续的拍摄）。每一级都可能有各自的元数据，例如某个镜头中物体移动轨迹，将怎样进行检索查询多媒体数据的检索•对常规数据库的检索，最有效的是B+树，可是B+树是一维线性检索，而多媒体数据库面对的是二维以上的N维空间检索，因此B+树就失效了，这里不存在一个能用于不同媒体检索的索引机制，而需针对不同媒体采用不同索引机制。2020/9/2640多媒体数据库查询•数据库查询是数据库系统最重要的功能之一。典型的查询包括如下几部分：•需要输出的数据项。•可供查询的信息库。•查询条件(查询谓词)。•根据谓词描述的内容和谓词被指定的方式可用不同的类型对多媒体数据库进行查询。2020/9/2641多媒体数据库查询实例•下面以电影点播(MOD)多媒体数据库系统为例，列举一些多媒体数据库查询的实例。客户能连接到VOD服务器，查询服务器能提供的电影，下载和观看电影。假设VOD服务器能存放电影的如下信息：2020/9/2642•(1)电影的一个影像段。•(2)与影像段相关的声音段。•(3)电影提取的两个重要情节的画面图像。•(4)给出电影的导演、男演员、女演员和其他电影特征的文本。2020/9/2643•客户能用许多可能的方式查找VOD数据库。举例如下：•查询1：带有计算机动画卡通的电影有哪些?•VOD服务应答器回应：VOD服务器显示电影的细节：“WhoFramedRabbit”和“ToyStory”。2020/9/2644•查询2：请显示一个卡通主角讲这个句子的电影的细节(这个声音段为：“有人污染了海湾”)。•VOD服务应答器回应：服务器显示出有卡通人物Wooody讲过上述句子的电影“ToyStory”的片段。回应包括影像和声音的片段，并带有宣传画和文本信息。2020/9/2645•查询3：显示如下影像发生的电影片段：卡通人物Wooody给绿军人员指派了一个监视生日礼物的侦察任务。•VOD服务应答器回应：服务器显示所需的电影“ToyStory”的片段，并提供相应的声音、宣传画和文本。2020/9/2646•查询4：显示这个电影宣传画面的电影细节(图像描述了卡通人物JessicaRabbit被扔出动画马车的画面)。•VOD服务应答器回应：服务器显示相应电影“WhoFramedRogerRabbit”的宣传画及其细节资料。•客户还能进行以上查询的组合查询，不同组合的查询返回的多媒体对象应包括相应的内容。2020/9/2647多媒体数据库的查询类型•多媒体数据的查询可以分为不同类型，主要方式如下。•1.基于多媒体信息内容的查询•由于多媒体信息内容已被多媒体对象相关的媒体数据描述了。因此，这些查询是通过对元数据和媒体对象的直接访问进行的。2020/9/2648•2.依据实例查询(QBE)•QBE查询就是查找与指定实例对象相似对象的查询过程。用户处理器必须正确指定用户要求匹配例子对象的特性。我们看看下面的查询：“给我和这幅图像相似的图像”。这相似性匹配要求用户必须指定纹理方面、颜色、空间特性(例子图像内的位置)或者图像中提供的对象的形状，也可以全部或部分匹配。对于部分匹配来说，查询处理器必须指定匹配可容错程度。2020/9/2649•3.时间索引查询(TimeIndexqueries)•这些查询用来处理媒体对象的时间特性，这些时间特性可用节段树存储。查询处理器采用访问索引信息(用节段树存储)或其他的相似方法来处理时间索引查询。2020/9/2650•4.空间查询•这些查询可以去处理和对象有关的空间特性，这些特性可作为媒体信息生成。查询处理器可访问这些媒体数据信息并做出反应。2020/9/2651•5.应用程序指定查询•