搜索
多媒体技术多媒体技术第二章媒体及媒体技术环境感觉操纵时间、空间环境表现操纵采集操纵多媒体系统第二章媒体及媒体技术1.媒体的种类和特点2.听觉类媒体技术3.视觉类媒体技术4.触觉类媒体技术第二章媒体及媒体技术1.媒体的种类和特点1.1常见的媒体元素多媒体媒体元素：用于向用户传递信息的媒体形式。常见的媒体元素：文本，图形，图像，音频，视频，动画第二章媒体及媒体技术1.媒体的种类和特点1.1常见的媒体元素文本（TEXT）计算机文字处理程序的基础。也是多媒体应用的基础。第二章媒体及媒体技术1.媒体的种类和特点1.1常见的媒体元素图形（Graphic）用计算机绘制的画面。图形的表示不直接描述图形的每一点，而是描述产生这些点的过程和方法，即在图形文件中记录生成图的算法和图上某些特征点，因此也称图形为矢量图。第二章媒体及媒体技术1.媒体的种类和特点1.1常见的媒体元素图像（Image）用数字化形式存储的画面。静止的图像可看作一个矩阵，由一些排成行、列的点组成，这些点称之为像素点（pixel），通常情况下也称为位图图像。和图像相关的关键技术：扫描、编辑、压缩等。图像文件的关键参数：图像的分辨率图像的像素深度第二章媒体及媒体技术1.媒体的种类和特点1.1常见的媒体元素音频（Audio）可分为波形文件和符号化的音乐波形文件：声波的采样、量化符号化的音乐：记录乐谱（以MIDI和CMF为典型代表）第二章媒体及媒体技术1.媒体的种类和特点1.1常见的媒体元素视频（Video）与动画（Animation）模拟视频：以电视信号为典型代表。数字视频：图像数据的序列。视频的分辨率、视频的帧频动画：静态图像的序列第二章媒体及媒体技术1.媒体的种类和特点1.2媒体的种类主要的表示媒体种类有以下几种：视觉类媒体听觉媒体触觉媒体第二章媒体及媒体技术1.概述视觉类媒体：位图图像（bitmap）：将所观察的图像按行、列方式进行数字化，对图像的每一点都数字化为一个值，所有的这些值就组成了位图图像。位图图像是所有视觉表示方法的基础。图形（graphics）：可以把图形看成是图像的抽象。符号：文字，文本等。由于符号是人类创造出来表示某种含义的，所以它比图形具有更高一级的抽象。符号的表示是用特定值表示的，例如ASCII码、中文国标码等。1.2媒体的种类第二章媒体及媒体技术1.媒体的种类和特点视觉类媒体：视频：视频又称为动态图像，是一组图像按时间的有序连续表现。视频的表示与图像序列、时间关系有关。动画（animation）。动画也是动态图像的一种。与视频不同之处在于动画采用的是计算机产生出来的图像或图形，而不像视频采用直接采集的真实图像。动画包括二维的、三维的动画。1.2媒体的种类第二章媒体及媒体技术1.概述听觉媒体波形声音：是自然界中所有声音的COPY，是声音数字化的基础语音：也可以表示为波形文件，但波形文件表示不出语音的内在的、抽象的信息，需要通过专门的语音识别技术来记录，用语音合成技术来重现。音乐：在这里我们指符号化了的声音。1.2媒体的种类第二章媒体及媒体技术1.媒体的种类和特点触觉类媒体指点：通过指点来确定对象的位置、大小、方向和方位。位置跟踪：为了与系统交互，系统必须了解参与者的身体动作，包括头、眼、手、肢体等部位的位置与运动方向。系统将这些位置与运动的数据转变为特定的模式，对相应的动作进行表示；力反馈与力运动：这与位置跟踪正好相反，是由系统向参与者反馈运动及力的信息，如触觉刺激（例如物体表面的纹理等）、反作用力（例如推门的感觉）、运动感觉（例如摇晃、振动等）及温度、湿度等环境信息。1.2媒体的种类第二章媒体及媒体技术1.概述1.3媒体的性质和特点人在问题求解过程中的不同阶段对信息媒体有不同的需要。相对来说，能提供具体信息的媒体适合用于最初的探索阶段，能描述抽象概念的文本媒体适用于最后的分析阶段.一般来说，文本擅长表现概念；图形：隐藏于大量数值数据内的趋向性信息；视频媒体则适合于表现真实的场景画面。视频媒体和声音一般共同出现，比较符合人的接收信息的习惯。第二章媒体及媒体技术1.媒体的种类和特点1.3媒体的性质和特点从信息表达考虑，媒体数据具有以下一些性质：第一，媒体是有格式的，只有当你能够对这种格式进行解释时，在系统中才能够使用这种媒体；第二，不同媒体表达信息的特点和程度各不相同，愈接近原始媒体形式，信息量愈大；愈是抽象，信息量越小；第三，媒体的格式可以相互转换，但在转换的过程中可能会丢失部分原始的信息，或增加一些伪信息；第四，媒体之间的关系也具有丰富的信息。第二章媒体及媒体技术1.媒体的种类和特点1.3媒体的性质和特点多媒体信息的空间意义具有两种解释。第一种是指表现空间，尤其是指显示空间的安排，目前在大多数的研究中指的都是这一类。第二种空间意义是把环境中各种表达信息的媒体按相互的空间关系进行组织，全面整体的反映信息的空间结构，而不仅仅是离散的信息片断。与第一种不同，它反映的是媒体信息的空间结构，将信息在空间上进行了有序的组织。例如，在虚拟现实的虚拟空间中将会体现出这种空间关系。1.3.1媒体的空间性质第二章媒体及媒体技术1.媒体的种类和特点1.3媒体的性质和特点多媒体信息的时间也具有两种含义。表现所需要的时间，这是所有媒体都需要的，无论是时间相关的媒体还是时间无关的静态媒体。同媒体的空间一样，媒体的时间也可以包含媒体在时间坐标轴上的相互关系。这种时间关系存在于同步、实时等许多方面。1.3.2媒体的时间性质第二章媒体及媒体技术1.媒体的种类和特点1.3媒体的性质和特点如果仅仅作为信息的简单通道，系统不必了解媒体的语义。但如果多媒体系统需要对媒体进行合成、选择等方面的操作，就必须赋予系统媒体的语义知识，从而使得系统能在媒体之上对媒体进行比较、选择和合成。获得语义的方法：抽象。通常包含若干抽象层，每一个抽象层都包含着与具体的任务和问题域有关的模型。从接近具体感官的信息表示，到接近符号的信息表示，信息的抽象程度递增，而数据量则递减。语义就是从感官数据到符号数据的抽象过程中形成的。1.3.3媒体的语义第二章媒体及媒体技术1.媒体的种类和特点1.3媒体的性质和特点媒体之间可以互相结合，也可以互相干扰。从信息的理解角度来看，多种媒体的合理的结合是有利于信息接受和理解的。这种效果反映在理解程度和记忆驻留效果上。据有关资料介绍，一般来说，人用视觉接受到的信息占总信息量的83％，听觉：11％，触觉：3％，嗅觉和味觉：不到4％。1.3.4媒体结合的影响第二章媒体及媒体技术1.媒体的种类和特点1.3媒体的性质和特点以谈话方式传递的信息，2小时后能记住70％，72小时后，10％以观看方式传递的信息，72％，20％以视听并举的方式传递的信息：85％，65％这种结合产生的效应称为“感觉相乘”效应。1.3.4媒体结合的影响第二章媒体及媒体技术2.听觉媒体技术2.1声音的量纲声音，振动产生，通过介质传播。就最简单的情况而言，可以看做是正弦波，它的变化可以由三个量来描述：频率、振幅、相位。频率种类0~20HzInfra-Sound，次声波20~20kHz可以听到的频率范围20KHz~1GHzUltrasound，超声波1GHz~10THz(1012)Hypersound，甚超声波第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音数字信号的优点：一种精确的运算方法，不受时间和环境变化的影响;可以用数学运算来模拟物理部件的功能，数学运算相对来说较容易实现;可以对数字运算部件进行编程，如欲改变算法或改变某些功能，还可以对数字部件进行编程。第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音人通过声音与多媒体系统交互有两个方向:输入：系统通过数字化的方法将人与自然界发出的声音进行采样和处理（例如，压缩）;输出：将数字化的声音再现，或者由系统生成虚拟的模拟音.第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音声音的数字化过程：采样，量化采样：对模拟声音波形进行测量量化：用有限个数字来表示测量得到的幅值2.2.1数字化音频与再现第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音采样频率：以Hz为单位，每秒进行采样的次数。Nyquist法则（奈奎斯特法则）：采样频率是信号最大频率的两倍，则采样不出现信号的丢失。如CD的标准采样频率：44.1KHz，量化精度：Samplequantization，量化的精细程度。位数越多，精度越高，相应的声音的质量就越好。2.2.1数字化音频与再现第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音2.2.1数字化音频与再现质量采样频率kHz样本精度b声道数据率（未压缩）kbps电话88单声道64AM11．0258单声道88FM22．0516立体声705.6CD44.116立体声1411.2第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音声音的符号化：音乐完全可以由符号来表示，所以音乐可以看作是符号化的声音媒体。在多媒体技术中，音乐符号化基本上都使用的是MIDI方式。MIDI（MusicalInstrumentDigitalInterface）。称为乐器数字接口。任何的电子乐器，只要有处理MIDI消息的微处理器，并有合适的硬件接口，都可以成为一个MIDI设备。MIDI消息，实际上就是乐谱的数字描述。在这里，“乐谱”由音符序列、定时以及合成信息的组成。当一组MIDI消息通过音乐合成器芯片演奏时，合成器就会解释这些符号并产生音乐。2.2.2MIDI第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音如何把这些指令变成音乐？目前用的较多的方法有两种：一种是FM合成法，即频率调制合成法（frequencymodulation）。一种是乐音样本合成法，也称为波形表合成法（wavetable）。2.2.2MIDI第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音FM合成法：把几种乐器的波形用数字来表达，并且用数字计算而不是用模拟电子器件把他们组合起来，通过数模转换器来生成乐音。各种不同乐音的产生是通过组合各种波形和各种波形参数并采用各种不同的方法实现的。用什么样的波形作为数字载波波形，用什么样的波形作为调制波形、用什么样的波形参数去组合才能产生所希望的音乐，这就是FM合成器的算法要解决的问题。2.2.2MIDI第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音波表法：使用FM合成法来产生各种逼真的乐音是非常难的，有些乐音几乎不能产生，因此很自然地就转向乐音样本合成法，也成为波表法。波表法就是把真实乐器发出的声音用数字的形式记录下来，播放时改变播放速度，从而改变音调周期，生成各种音阶的音符。2.2.2MIDI第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音MIDI文件的特点：文件小:与波形文件相比，MIDI数据不是声音而是指令，所以它的数据量要比波形文件小很多。容易编辑：在一些软件的帮助下，可以改变音调、音色等属性，得到自己需要的文件。MIDI格式的主要限制是它缺乏重现真实自然声音的能力，不能用在需要语音的场合。MIDI只能记录标准所规定的有限种乐器的组合，而且播放（或称为回放）的质量受到声卡上合成芯片的严重影响。2.2.2MIDI第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音语音生成：语音生成的一项关键技术是信号的实时生成，如果满足了这一要求，语音输出系统就可以直接将文本转换为语音。关键参数：MOS（MeanOpinion.Score）语音平均意见得分，关于语音自然度的主观评测。语音的合成/输出方法：在词汇量小的系统中，预先录制语音，根据需要播放。基于时间的串连技术：用音素做为语音单元，按照时间上的相互关系将各个语音单元组合起来形成语音，这样，就可以利用有限的因素产生巨大的词汇表。2.2.3语音第二章媒体及媒体技术2.听觉媒体技术2.2数字化声音语音分析：语音分析的应用领域：身份识别：语音具有与讲话者有关的特性，因此语音分析可用来分析讲话者，即识别并确认他的身份。分析说话者的讲话内容，也就是说要识别并理解语言信号本身。在识别语音序列的基础上