第2章媒体及媒体技术

多媒体技术[e-mail]©2008西安交通大学新型计算机研究所第2章媒体及媒体技术2.1媒体的种类和特点2.2听觉媒体技术2.3视觉媒体技术2.4触觉媒体技术多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.1媒体的种类和特点多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.1.1常见的媒体元素文本文本是计算机文字处理程序的基础ASCII中文图形一般指用计算机绘制的画面。也称矢量图。line（x1,y1,x2,y2,color）circle（x,y,r,color）多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.1.1常见的媒体元素图像图像是指由输入设备捕捉的实际场景画面，或以数字化形式存储的任意画面。静止的图像是一个矩阵，由一些排成行列的点组成，这些点称之为像素点（pixel），这种图像称为位图（bitmap）。视频视频源于电视技术，它由连续的画面组成。这些画面以一定的速率连续地投射在屏幕上，使观察者具有图像连续运动的感觉多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.1.1常见的媒体元素音频波形声音包含了所有的声音形式，它可以把任何声音都进行采样量化。语音人的说话声虽是一种特殊的媒体，但也是一种波形。音乐符号化了的声音，乐谱可转变为符号媒体形式。动画运动的图画，实质是一幅幅静态图像的连续播放。动画的连续播放既指时间上的连续，也指图像内容上的连续，即播放的相邻两幅图像之间内容相差不大。多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.1.2媒体的种类视觉视觉（静止）图像图形文字符号语言文字抽象化抽象化（动态）图像图形动态影像视频真实感三维动画二维动画三维动画其它表示为视觉的媒体多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.1.2媒体的种类听觉触觉其他感觉抽象化听觉声音声响（自然界）语音（人类语言）音乐触觉振动运动传感/发生器其它（嗅觉、味觉等）多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.1.3媒体的性质和特点各种媒体具有不同特点和性质媒体是有格式的不同媒体表达信息的特点和程度各不相同媒体之间可以相互转换媒体之间的关系也具有丰富的信息媒体具有空间性质表现空间媒体按相互的空间关系进行组织视觉空间、听觉空间和触觉空间这3者既相互独立又需要相互结合多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.1.3媒体的性质和特点媒体的时间性质表现需要时间媒体在时间坐标轴上的相互关系媒体的语义媒体的语义是有层次的抽象的程度不同，语义的重点也就不同媒体结合的影响媒体结合是多层次的媒体结合有利于信息接受和理解隐喻交互的概念模型，也称心智模型多媒体技术[e-mail]©2008西安交通大学新型计算机研究所由不同的媒体传递的信息的理解程度由不同的媒体传递的信息的记忆驻留效果视觉听觉触觉其它理解程度83%11%3%3%听觉视觉视听并举2小时70%72%85%72小时10%20%65%多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.1.3媒体的性质和特点多媒体数据的特点数据量大640x480x256的照片占0.3MB1024×768×24位的图片占2.3MB数据类型繁多（黑白、彩色等）数据类型之间的差别大多媒体数据的输入、输出复杂：多通道异步输入法：在通道、时间不同的情况下输入各种媒体数据并存储，最后按合成效果在不同的设备上表现出来。是目前绝大多数系统采用的方法。多通道同步输入法（正在研究之中的方法）多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.1.3媒体的性质和特点多通道异步输入输出声音通道传感通道文字通道图像通道声音图像传感信息文字表现显示放音触觉合成存储图多通道异步输入与输出多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.1.3媒体的性质和特点多通道同步输入输出声音图像触觉信息文字表现显示放音触觉合成存储图多通道同步输入与输出多通道输入...多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2听觉媒体技术多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学声音的量纲声音的振动是一种正弦波，声音的变化必须确定三件事：频率（变化的速度）、幅度（产生的压力）、相位（何时开始）。复杂的波形：傅立叶变换---SIN波声音的强度：分贝声音分贝数=20LOG（I/I0）I0为0.000283达因/CM2(1000Hz能听到的最弱音)强度差:一万亿倍多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学140痛阈。130120大型喷气式飞机附近。110打雷。100交响乐高潮片断。90繁华街道的交通噪音。80响亮的音乐声，一般交通噪音及交响乐片断。70一米处正常谈话声。60典型的办公室50普通住宅40图书馆及交响乐低潮片断3020安静的语音室及1.5米处小声谈话声。10消声室0听阈多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学声音的量纲分为声音的物理量纲和心理量纲。物理量纲可以用精确的值来描述，但对某一具体声音得来的心理印象却不容易说明白，因为心理印象要由被测者的经验而定。声音的心理属性和物理属性不可等同首先，这些关系不是线性的；其次这些关系不是孤立的；第三这些关系不是不变的。多媒体技术[e-mail]©2008西安交通大学新型计算机研究所心理变量首要的物理变量次要的物理变量响度声强声波频率音调声波频率声强音色声波复合－音量频率和强度－密度频率和强度－谐和（流畅或粗糙）谐波结构音乐技巧噪声强度频率组合，各种时间参量骚扰声强度频率组合，无意义多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学声音的三要素：音调、音强、音色音调：与声音的频率有关，频率快则声音高，频率慢则声音低。人的听觉范围：20Hz~20KHz音强（响度）：取决于声音的幅度，即振幅的大小与强弱。音色：是由混入基音的泛音所决定的。每个基音都有固有的频率和不同音强的泛音，从而使每个声音具有特殊的音色效果。多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学S2周期音色变化S1音调S2音强S1S2S1周期S1与S2频率、音色、音强均不同多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学听觉特性等响曲线掩蔽（masking）临界频带相位自然声音的时变现象听觉空间听觉的频谱特性声音的心理模拟多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学等响曲线由于响度与频率和强度相关，所以不同频率上的强度是不一样的。等响线描述了响度与频率和强度的关系。从图中可以看出，从心理学角度出发，对同一响度的声音在频率和强度上可以有很大的差别。多媒体技术[e-mail]©2008西安交通大学新型计算机研究所等响曲线图多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学掩蔽(masking)声音的响度不仅取决于自身的强度与频率，而且也依同时出现的其他声音而定。各种声音可以相互掩蔽，一种声音的出现肯能使得另一种声音难于听清。多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学纯音对纯音的掩蔽效果说明：A、B为掩蔽音。横坐标为各种频率的被掩蔽音，纵坐标为掩蔽阈限（采自Fletcher,1953）多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学上页图是佛莱奇尔（Fletcher,1953）的一个实验结果，从图上可以看到以下几种情况：（1）掩蔽音强度提高，掩蔽效果随之增加，当400赫兹的掩蔽音是40分贝时，800赫兹的纯音要达到23分贝时才能听到；当该掩蔽音提高到80分贝时，800赫兹的纯音须增加到60分贝才能听到，而且掩蔽音愈强，它的影响范围也愈大。例如20分贝的400赫兹，掩蔽音只影响到200~800赫兹的频率范围，而80~100分贝的400赫兹掩蔽音可影响到4000赫兹以上的频率范围。（2）掩蔽音对于频率相近声音的影响最大。例如3500赫兹掩蔽音对于3000~4000赫兹纯音的影响明显大于3000赫兹以下纯音的影响。（3）低频对高频的掩蔽效果大于高频对低频的掩蔽。例如400赫兹掩蔽音对高频音的影响范围和效果相当大，而3500赫兹掩蔽音对低频音的影响范围和效果就相当小。所以在生产劳动与无线电通讯中，应当着重考虑排除低频音的干扰作用。多媒体技术[e-mail]©2008西安交通大学新型计算机研究所掩蔽对声音的影响多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学临界频带在频率的某一临界区里，各种声音是相互作用的，合成声音的响度由这些频率共同决定。如果超出临界区，声音的响度不再相互作用，声音的响度随频率的改变而改变。这个临界区就是临界频带，其宽度视其中心频率而定。对于临界频带的确定，使得对声音响度的处理能够有的放矢。多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学相位从声音的波形来看，声音的起点和方向也要反映声音的特性，这就是声音的相位。当两个声音相同相位完全相反时，它们将相互抵消；当两个声音相同而且相位也相同时，声音就会得到加强。相位的确定对于多声道声音系统的设计非常重要，其可以应用在回声的消除、会议系统的声音设计上。多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学自然声音的时变现象声音的音调分成三个区域：起始区、稳定状态区、延迟区。研究表明，音调的频谱分量随时间改变。在稳定状态区，频谱保持固定。在起始区，振幅频谱随时间变化。因此自然声音的起始部分是非常难识别的。例如刚听了一小节音调后要识别乐器，专家也会觉得较难。时变现象用于数字系统中，说明声音中的某些错误是不太容易发现的，但如果出现停顿就很容易引起人的注意。多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学听觉空间人耳可听到来自各个方向的声音，并用不同的因素来判定声源的位置。声源的位置不论对于增进人们的感受还是增进对声音的理解，都是非常重要的。通过声音的精确再现，就可以构造出听觉空间。方位的线索是各种声音到达两耳的精确时间和强度。多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学听觉的频谱特性声音是时间函数，通过傅里叶变换可做出其频谱图。人耳对频谱成分的波峰和波谷是非常敏感的。在语言中，元音很少有频谱变速变化的区域。基频改变，人耳是很敏感的。例如：快进的录像，音调会发生变化。音色非常复杂，目前尚在研究中。音色的处理将使我们能识别音源，音色也代表和声音有关的主观质量。多媒体技术[e-mail]©2008西安交通大学新型计算机研究所2.2.1声音心理学声音的心理模拟通过人工真实的方法，可以对视觉空间的景物进行再造或虚构，同样也可以对