第7-8章多媒体技术和数据库技术基础

第7章多媒体技术7.1多媒体的基础知识7.2音频处理技术7.3图像处理技术7.4动画制作技术7.5视频处理技术17.1多媒体基础知识7.1.1多媒体的表现形式与定义1．媒体的表现形式信息需要借助媒体进行传播，所以说媒体是信息的载体。国际电信联盟（ITU）定义的媒体为：感觉媒体、表示媒体、显示媒体、存储媒体和传输媒体。27.1.1多媒体的表现形式与定义媒体的表现形式感觉媒体是人们接收信息的主要来源37.1.1多媒体的表现形式与定义2．多媒体定义狭义上的多媒体指信息表示媒体的多样化。广义上的多媒体一词可视为“多媒体技术”的同义词，这里的“多媒体”不是指多种媒体本身，而是指处理和应用它的一整套技术。47.1.2多媒体技术的主要特性1．多样性2．交互性交互性指用户可以与计算机进行对话，从而为用户提供控制和使用信息的方式。3.集成性多种信息形式的集成各种单一技术和设备集成在一个系统中对多种信息源的数字化集成57.1.2多媒体技术的主要特性4.实时性视频图像和声音必须保持同步性和连续性。实时性与时间密切相关例如：视频播放时，画面不能出现动画感、马赛克等现象，声音与画面必须保持同步等。67.1.3多媒体文件存储格式1.信息的编码将信息表示为计算机能识别的二进制编码的过程称为“信源编码”，解码是编码的逆过程。信源编码方法：文字等信息利用ASCII标准进行编码音频信号利用PCM技术进行编码视频信号利用MPEG进行信源压缩编码77.1.3多媒体文件存储格式2.字符信息的编码最通用的字符编码是ASCIIASCII定义了128个英文字符，其中33个字符为控制字符，无法显示，另外95个字符为可显示字符。【例7-3】：用ASCII对字符“1+2”进行编码。查ASCII表可知，字符1+2的ASCII为：00110001001010110011001087.1.3多媒体文件存储格式3．多媒体文件的存储格式多媒体文件的存储格式是按照特定的算法，对文字、音频或视频信息进行压缩或解压缩形成的一种文件。97.1.3多媒体文件存储格式多媒体文件包含文件头、数据、文件尾等107.1.3多媒体文件存储格式4．流媒体文件静态多媒体文件无法在线播放，需要先下载，后观看。流式媒体文件（流媒体）在因特网中采用流式传输技术的连续时基媒体，如音频、视频等文件。可随时下载，随时播放。实现流媒体的关键技术是数据的流式传输。117.1.3多媒体文件存储格式5．多媒体信息的数据量（1）文本的数据量例：[1024点/16bit×768点/16bit]×2bit=6KB/屏幕（2）点阵图像的数据量例：11英寸×300dpi×8.5英寸×300dpi×[24bit/8bit]=24MB/A4纸（未压缩）（3）数字化高质量音频的数据量例：[44100Hz×32bit×2声道×60秒]/8bit=20.2MB/分钟（未压缩）127.1.3多媒体文件存储格式（4）数字化视频的数据量例：[640点×480点×24位×30帧×60秒]/8bit=1.5GB/分钟（未压缩）多媒体信息的数据量非常之大，因此，数据编码和压缩技术非常重要。多种信息需要不同的数据编码技术海量数据需要高效压缩技术137.2音频处理技术7.2.1声音的基本特性1．声音的物理特性声音在空气中的传播速度为340米/秒2.声音的三要素音高、音量和音色。乐音：振动比较有规则，有固定音高；噪音：振动则毫无规则，无法形成音高。147.2.1声音的基本特性（1）音高不同音高是振动频率不同，振动频率越高，音高越高。声音频率的单位是Hz（赫兹）1Hz=一秒钟振动一次例：音乐中的标准A音是440Hz，也就是每秒振动440次。15次声波人耳可听域超声波20Hz20～20,000Hz20,000Hz女性语音150Hz～9,000Hz电话语音200Hz～3,400Hz调幅广播(AM)50Hz～7,000Hz调频广播(FM)20Hz～15,000Hz高级音响10Hz～40,000Hz男性语音100Hz～8,000Hz声源种类频带宽度167.2.1声音的基本特性（2）音量音量由声波的振幅决定。振动的物理量偏离中心的最大值称为振幅。声波幅度能量变化的压强称为声压，单位为Pa（帕斯卡）。通常采用dB（分贝）表示声音的大小0dB是人耳刚刚能听到的声音3dB内的音量变化，一般人难以察觉。177.2.1声音的基本特性（3）音色音色是人耳对声音的综合感受。音色与多种因素有关，但主要取决于声音的频谱特性和包络。•频谱：指频率谱线，即声音的频率变化和振幅的变化曲线。•包络：指声音频率的外轮廓线。钢琴和二胡都发出标准音A时，振动频率都是440Hz，但它们之间的音色相差很远。187.2.1声音的基本特性3.声音的数字化过程自然声音是连续变化的模拟量。音频信号数字化过程声音频谱声音包络声波197.2.1声音的基本特性（1）采样采样是在固定时间间隔内对模拟音频信号截取一个振幅值，并用给定字长的二进制数表示。采样次数越多（采样频率越高），数字信号就越接近原声。奈魁斯特（Nyquist）采样定理：采样频率只要达到信号最高频率的2倍，就能精确描述被采样的信号。207.2.1声音的基本特性（2）量化量化是对采样信号的振幅进行分级。例：采样为8位时，28=256个采样等级；例：采样为16位时，216=65536个采样等级；例：采样为32位时，232=4294967296个采样等级。计算机集成声卡一般采用24位采样217.2.1声音的基本特性（3）编码将采集的原始数据，按文件类型（如WAV、MP3等）规定进行编码，再加上文件头部，就得到了一个数字音频文件。这项工作由声卡和音频软件（如AdobeAudition）共同完成。227.2.2音频文件格式音频文件类型波形文件（如WAV、MP3音乐）音乐文件（如MIDI音乐）波形文件通过录音设备录制原始声音，直接记录了真实声音的二进制采样数据，通常文件较大。237.2.2音频文件格式（1）WAV格式WAV有很高的音质。未压缩的WAV文件存储容量非常大。（2）MP3格式MP3是按MPEG-1第3层标准压缩的文件MP3压缩比高达1：10~1：12MP3是一种有损压缩247.2.2音频文件格式（3）WMA格式WMA音频文件在低比特率时，相同音质的WMA文件比MP3小了许多。（4）RA、RM、RAM格式它们是Realnetworks公司开发的一种流式音频文件格式。257.2.2音频文件格式（5）MID（乐器数字接口）格式MIDI是电子合成乐器的统一国际标准。MIDI文件只包含产生某种声音的指令，这些指令包括使用什么乐器、乐器的音色、声音的强弱、声音持续时间的长短等。MID音乐可以模拟上万种乐器的发音，唯独不能模拟人的声音，这是它最大的缺陷。267.2.2音频文件格式MIDI音乐主要用于电子乐器MIDI音乐的文件非常小，例如，一首10分钟的MIDI音乐文件，只有几KB大小。可以在计算机上，利用音乐软件随时谱写和演奏MIDI电子音乐，而不需要聘请乐队，甚至不需要用户演奏乐器。277.2.3音频处理软件1.多媒体音乐工作站的基本组成通过计算机音乐系统，一个人可以创作和演奏一部交响音乐。用户需要进行专业音乐创作时，一台几千元的计算机接上一个MIDI键盘，再安装一些音乐制作软件，就可以进行计算机音乐的学习和创作了。287.2.3音频处理软件简易音乐工作站组成297.2.3音频处理软件307.2.3音频处理软件317.2.3音频处理软件2.多媒体音频处理软件音频处理软件的主要功能：音频文件格式转换；现场录制声音文件；多音轨的音频编辑（删除/插入/复制等）；音频特效（消噪/音量调整/淡入/淡出等）；多音轨音频的混响处理等音频处理软件编辑功能很强大，但是音乐创作功能很弱。327.2.3音频处理软件音乐工作站软件主要功能：具有音频处理软件的所有功能；音色选择、音量控制、力度控制、速度控制、节奏控制、声道调整、感情控制、滑音控制、持音控制等；MIDI音乐输入/输出和编辑；五线谱记谱、编辑、打印等。音乐工作站软件主要用于音乐专业人员。337.2.3音频处理软件3.CakewalkSonar音乐工作站软件CakewalkSONAR音乐工作站软件几乎包括了所有音乐人需要的计算机音乐制作功能。它主要适用既懂英文，又懂五线谱的专业音乐人士。347.2.3音频处理软件CakewalkSONAR8ProducerEdition音乐工作站软件357.2.3音频处理软件苹果计算机NoteAbilityPro音乐工作站软件367.2.3音频处理软件专业音乐工作站硬件和软件377.2.3音频处理软件4.AdobeAudition音频处理软件Audition主要功能：音频文件格式转换，音频混合，背景噪音消除，音频编辑，卡拉OK带制作等；最多可以混合128个声道；可使用45种以上的数字信号处理效果；完善的多声道录音，可录制音乐、无线电广播，或为录像配音。387.2.3音频处理软件AdobeAuditionCS5.5音频编辑软件397.2.3音频处理软件5.GoldWave简单易用的数码录音及编辑软件音频格式转换现场录制声音文件对声音文件进行编辑制作各种音频效果缺点：一次只能编辑2个音轨不能处理MIDI、RM等音乐文件407.2.3音频处理软件417.3图像处理技术7.3.1图像的数字化1．图像的数字化数字图像的获取：数码照相机拍摄等；纸质图像进行数字化处理（扫描仪）；直接由计算机软件自动生成（如分形图）；在计算机中人工绘制等。427.3.1图像的数字化2.图形的编码图形由像素点阵构成，也称为位图。点阵图采用点阵表示和存储。图形的信源编码与分辨率有关，分辨率愈高，图形细节愈清晰，但是图形的存储容量也越大。437.3.1图像的数字化简单黑白图形的信源编码44RGB彩色图像RGBRGBR数组—8bit表示(256级色阶)G数组—8bit表示(256级色阶)B数组—8bit表示(256级色阶)最大色彩数：28×28×28=224=16777216(16.7M)7.3.1图像的数字化457.3.1图像的数字化不同色彩深度的图形显示效果467.3.1图像的数字化24位色彩深度的图形编码477.3.1图像的数字化3．图像的分辨率图像分辨率越大，图片文件的尺寸越大，也能表现更丰富的图像细节。图像分辨率较低时，图片会相当粗糙。487.3.1图像的数字化图像分辨率：数字化图像水平与垂直方向像素的总和。屏幕分辨率：屏幕水平像素×垂直像素印刷分辨率：每英寸像素数，用dpi（像素/英寸）表示。497.3.1图像的数字化4．JPEG静止图像压缩标准JPEG标准包含两部分：无损压缩，采用差分脉冲编码调制编码。有损压缩，采用离散余弦变换（DCT）和哈夫曼（Huffman）编码，压缩率达到20~40倍。JPEG算法设计思想：恢复图像时不重建原始画面，而是生成与原始画面类似的图像，丢掉那些没有被注意到的颜色。507.3.1图像的数字化5.矢量图形的特点矢量图形采用特征点和计算公式对图形进行表示和存储。在显示或打印矢量图形时，要经过一系列的数学运算才能输出图形。矢量图形可以无限放大，图形轮廓仍然能保持圆滑。517.3.1图像的数字化矢量图形527.3.1图像的数字化分形矢量图形537.3.2图像和图形文件格式1．点阵图像文件格式（1）BMP格式Windows图像文件格式，无压缩文件。（2）TIF格式优点：可在不同操作系统中使用，也可在印刷设备中使用。分成压缩和非压缩两大类。TIF文件主要用于美术设计和出版行业。547.3.2图像和图形文件格式（3）JPG格式JPG格式性能优异，应用非常广泛。（4）GIF格式GIF格式压缩比较高，文件很小。GIF89a文件可实现