搜索
6.1多媒体技术概述6.2数字声音基础6.3数字图像基础6.4视频信息处理基础6.5网络传输多媒体信息第六章多媒体技术6.1多媒体技术概述1.什么是多媒体2.多媒体技术及其特点3.多媒体技术的应用4.多媒体计算机系统的组成1.什么是多媒体媒体（media）—信息的载体通常意义上的媒体：如报纸、电视、杂志、广播等计算机领域中有三种不同的分类方式：一、指用于存储信息的物理实体，如磁盘、光盘二、指传输信息的介质，如电话、电缆、无线电波、通信卫星、光等三、指信息的表现形式或载体，如文字(Text)、声音(Audio)、图形(Graphic)、图像(Image)、动画(Flash)、视频（Video)文字媒体图形媒体图形是用绘图软件绘制的画面图像媒体图像指用照相机、扫描仪捕捉自然景色的画面声音媒体动画媒体动画实质是一幅幅静态图像的连续播放。所以其生成的实质是若干幅动画页面的生成。动画的连续播放既包括时间上的连续，更要求动画内容上的连续视频媒体视频(videofrequency)：由摄像机、摄影机等拍摄的反映真实场景的活动画面。1.什么是多媒体（续）多媒体（Multimedia）就是文字、图形、图像、声音、动画、视频等多种媒体信息的集合。多媒体技术是指利用计算机技术（且综合了声音处理技术、图形图像处理技术、视频处理技术、数据存储等技术）将各种媒体以数字化的方式集成在一起，并能够对它们进行加工处理的技术。加工处理指媒体录入、压缩与解压缩、存储、显示、传输。2.多媒体技术及其特点多媒体的主要特性：集成性：信息的集成——综合处理多种信息媒体，在有限的区域内表达出更多更丰富的信息。设备和技术的集成—处理多媒体信息的硬件和软件能够组成一个有机的统一体。交互性：是指用户可以通过与计算机内的多种媒体信息进行交互的方式，来更有效地控制和使用多媒体信息。实时性：声音媒体和视频媒体是与时间因子密切相关的。多样化：媒体多样化和媒体处理方式多样化，信息处理方式一维、二维、三维多媒体数据的特点（1）数据量巨大（2）数据类型多（3）数据类型间区别大（4）多媒体数据的输入和输出复杂。3.多媒体技术的应用（1）多媒体在通信系统中的应用可视电话、视频会议、多媒体信息资源的检索、多媒体邮件及知识传播等领域（2）多媒体在编著系统中的应用（3）多媒体在工业领域中的应用多媒体培训系统、监视、存储、管理系统（4）多媒体在医疗影像诊断系统中的应用医学成像、远程会诊、信息存储（5）多媒体在教学中的应用（6）多媒体过程模拟领域中的应用设备运行、化学反应、天气预报、生物进化、天体运行、航天模拟、军事训练4.多媒体计算机系统的组成多媒体计算机（MultimediaComputer）是具有多媒体处理能力的计算机系统包括多媒体硬件系统和多媒体软件系统多媒体硬件系统声／像输入设备主要用于将多媒体信息输入计算机：光驱、声卡、视频采集卡、麦克风、电子琴、扫描仪、录音机、VCD/DVD、数字照相机、摄像机等。功能卡用于对多媒体信息进行处理：电视卡、Modem卡、视频编辑卡、VCD压缩卡、网卡等。声／像输出设备用于输出多媒体系统：光盘刻录机、声卡、视频转换卡、音箱、立体声耳机、录音机、录像机、打印机等。4.多媒体计算机系统的组成(续)多媒体软件系统操作系统的多媒体功能(多任务功能，大容量存储器的管理功能，虚拟内存功能，即插即用功能)多媒体处理工具(文字处理，声音处理，图像处理，动画处理等)多媒体应用软件(教学软件，游戏软件等)下一页上一页停止放映多媒体计算机系统示意图6.2数字声音基础1.声音的特性2.声音信号的数字化与数字音频3.数字声音的处理1.声音的特性(6个概念)⑴声波：当物体在空气中振动时，便会发出连续的波，叫声波（SoundWave）⑵声音：大脑对声波的感知就是声音（Sound）⑶幅度（Amplitude）：指声音的大小、强弱程度。⑷频率（Frequency）是指信号每秒钟变化的次数，用赫兹（Hz）表示。(5）带宽声音信号的频率范围称为带宽人的发音器官发出的声音频率大约是80～3400Hz频率范围为20Hz～20kHz的信号称为音频信号频率小于20Hz的信号称为亚音信号高于20kHz的信号称为超音频信号，或称超声波信号（6)音质：声音的质量简称音质用声音信号的带宽来衡量，带宽越宽，产生的音质越好男生——100Hz～9kHz女生——150Hz～10kHzCD（CompactDisc）——20Hz～20kHzFM（FrequencyModulation）——20Hz～15kHzAM（AmplitudeModulation）——50Hz～7kHz数字电话——200Hz～3.4kHz2.声音信号的数字化与数字音频音频数字化模拟信号数字信号转换音频信号处理过程流程音频数字化的三个过程：采样、量化、编码声音模拟信号采样量化声音数字信号编码模拟信号与数字信号时间和幅度上都是连续的信号称为模拟信号。时间和幅度上都是离散的信号称数字信号。采样（Sampling）采样在某些特定的时刻对这种模拟信号进行测量叫做采样，得到的信号称为离散时间信号如何采样使声音信号不失真？量化量化把信号幅度取值的数目加以限定，由有限个数值来表示信号或者对幅值加以近似的过程，得到的的信号就称为离散幅度信号举例例：假设输入电压的范围是0.0～0.7V，而它的取值仅限定在0，0.l，0.2，…，0.7V共8个值。如果采样得到的幅度值是0.123V，则近似取值为0.1V，如果采样得到的幅度值是0.271V，它的取值就近似为0.3V数字化实际上就是采样和量化。影响音频数字化质量的三个主要因素：采样频率、采样精度、通道数采样频率采样频率：单位时间的采样次数，单位是Hz。等于波形被等分的份数，份数越多，质量越好。（采样频率越高，越接近源音质）根据奈奎斯特理论（Nyqusttheory）：如果采样频率不低于信号最高频率的两倍，就能把以数字表达的声音还原成原来的声音。对于话音信号，最高频率为3400Hz，采样频率为8000Hz，能以数字声音还原原来的声音对于一般音频信号，最高频率为20kHz，采样频率为40kHz以上时，就能无失真地还原出原来的声音。采样频率越高，得到的数据占用的存储空间越大采样精度用以表示量化级别的二进制数据的位数，称为采样精度（Samplingprecision），也叫样本位数，用每个声音样本的位数（bit或b）表示。位数越少，声音质量越低，需要存储空间越少。采样频率和采样精度是数字声音质量的两项重要指标。声道数是数字声音的第三项指标声音的采样和量化（线性量化）幅度的划分是等间隔的，是线性量化。声音文件的数据量计算（存储空间）存储空间=采样频率（Hz）×采样精度（位）/8×时间长度（秒）立体声（双声道）加倍例:要存储一分钟采样频率为44.1K、量化位数为16位立体声的一段音乐，在不压缩的情况下，需要的存储量为44.1K×16/8×60×2≈10.5MB质量采样频率（kHz）样本精度（b/s）声道数据率（kb/s）频率范围（Hz）电话88单声道64.0200～3400AM11.0258单声道88.250～7000FM22.05016立体声705.620～15000CD44.116立体声1411.220～20000DAT4816立体声1536.020～20000不同质量的声音的性能指标数字信号的编码采样和量化后的数据需要按一定的规则进行编码，以便于计算机存储和处理。编码：将采集到的物理量转换为在计算机中表示的代码的过程。数据编码举例：设量化值20、30、40、…170（间隔10），有16种不同的数据，相当于16种符号，在计算中可以用4位二进制数表示，如用0000表示20,0001表示30,0010表示40，…,1111表示170编码方法：自然码编码、哈夫曼编码、算术编码非压缩编码、压缩编码声音文件的存储格式文件格式是数据在存储器中的存放形式。相同的数据，可以有不同的存放形式，所以也就有多种文件格式。WAV是Windows采用的波形声音文件存储格式，主要用于自然声的保存与回放，其特点是声音层次丰富，还原性好，表现力强。MP3是MPEG（MovingPictureExpertGroup运动图像专家组）第三层压缩文件格式，提供8kb/s到128kb/s的数据率和高达96:1的压缩比，有较好的音质。主要应用于因特网上的声音传输。常见的MP3音乐就使用了该压缩标准，是MP3播放器的主要格式。RM、RA是RealNetworks公司制定的声音文件格式，有较高的压缩比，可以采用流媒体的方式在网络上实时播放，主要使用RealNetworks公司的播放器播放。MIDI合成音乐MIDI（musicalinstrumentdigitalinterface）乐器数字接口标准的多媒体PC平台能够通过内部合成器或连接到计算机MIDI端口的外部合成器播放MIDI文件。与波形文件不同的是，MIDI文件不对音乐进行采样，而是将音乐的每个音符记录为一个数字，所以比波形文件要小，但缺乏重现真实自然声音的能力。3.数字声音的处理数字音频的处理实际上是对采集到的数据进行计算、变换等加工的过程。⑴基本编辑最基本的编辑是删除声音文件中不需要的声音片段，如噪声、杂音、口误、过长的停顿、重复等。一般的方法是确定片段的起点和终点，然后把它删掉。在编辑软件中可以将声音分成一个个片段，可以删除其中一个片段，可以改变片段的顺序，也可以用一个片段替换另一个片段，这样就可以改变声音的内容和语序。⑵声道编辑可以将单声道的声音变成双声道的声音，在其中一个声道上放置音乐，或将双声道的声音变成单声道声音以节省存储空间。甚至可以让声音交替地从左右声道上发出，产生声的立体效果，称为摇动（Pan,平底锅）。⑶淡入淡出效果淡入指声音从无到有，逐渐增强，直到正常，有逐渐走近的效果。淡出指声音慢慢变小，直到完全无声，有渐渐远去的效果。淡入淡出常用于节目的开始、结尾和两段声音之间的过渡，使声音的出现和消失不太突然。⑷频率均衡和混响均衡控制指对不同频段的声音音量的调整，可以使声音产生清脆、低沉、柔和等效果。混响是乐器或话音及从物体表面反射回来的声音的混合，用软件模拟混响的原理是将滞后一段的声音提前加到原声音上播放。混响时间的长短可以改变音色，混响时间短，声音干涩；混响时间长，声音圆润，具有空旷感。6.3数字图像基础1.人类视觉对图像的感知2.图像的数字化和数字图像3.图像的颜色模型4.图像文件格式5.数字图像处理1.人类视觉对图像的感知自然界多姿多彩的景物通过人们的视觉器官在大脑中留下印象，这就是图像。空间坐标位置和景物明暗程度均是连续变化的，称为连续图像。图像是二维平面上的模拟信号将连续模拟图像转换成离散的数字图像。图像的数字化与声音的数字化的步骤相似。将真实图像转换成计算机能表示的形式采样量化编码2.图像的数字化和数字图像整量采样和整量的含义：(1)图像的采样（ImageSampling）:将空间连续坐标（x，y）的离散化，称为图像的采样。即将平面区域分割成若干较小区域，以便测量小区域的值。(2)图像的整量（DensityMeasuring）将幅值f（x，y）的离散化，称为图像的整量或灰度级整量。图像的数字化对图像进行采样和灰度级的整量称为图像的数字化。数字化图示图像采样量化数字图像空间上和灰度级上都离散的图像称为数字图像采样和整量的方法：如果对连续图像f（x，y）的坐标，按一定顺序进行等间隔的采样，就将图像划分成N×N个小方块图像，当N很大时，小方块就可以近似看成小圆点；若对每一点的灰度（或色彩）值也用等间隔整数值来表示，即进行整量（量化），那么就可以得到一个N×N的数组（即N×N个数据值）。数组中的每一个数据都是数字图像的一个元素，称为图像元素，简称像素（Pixel）或者像元数字图像的性能指标图像分辨率扫描分辨率显示分辨率像素深度图像分辨率图像