第6章 多媒体基础

16.1多媒体技术概述6.2音频信息的表示和处理6.3图形图像的表示和处理6.4视频信息处理6.5动画（了解）6.6多媒体数据压缩标准（选讲）第6章多媒体基础2一、多媒体的概念媒体：即信息的载体两种含义：（1）存储信息的载体，如磁盘、存储器等（2）传递信息的载体，如数字，声音等其中（2）为主要学习范畴。6.1多媒体技术概述3媒体分类:视觉、听觉、触觉等多媒体：直接作用于人的感官的文字、图形、图像、动画、声音和影像等各种媒体的统称，是多种信息载体的表现形式和传递方式。多媒体技术：把文字、图形、图像、动画、音频和视频等各种媒体通过计算机进行数字化的采集、获取、加工处理、存储和传播而综合为一体化的技术。4二、多媒体技术的特性多样性集成性多媒体信息的集成设备和软件的集成交互性数字化5三、多媒体信息的类型文本、图形、图像、动画、视频和音频文本（计算机中基本的信息表示方式，包括字母、数字及各种符号）图形（通过绘图软件绘制的直线、圆、圆弧、曲线等组成的画面，以矢量图形文件保存，保存其生成图形的指令）6三、多媒体信息的类型图像（通过扫描仪等输入设备捕捉的真实场景的画面，数字化后以位图格式存储。）动画（制作软件有flash、3DSMAX等）视频（来自摄像机等视频信号源的影像，数字化后以视频文件格式存储）音频（包括语音、音乐及各种动物和自然界发出的声音等）7四、多媒体技术的发展历史1984年Apple公司Macintosh机bitmap1986年Philips、Sony推出650M光盘1989年Intel的DVI(交互数字视频)1992年Intel将DVI用于主板1990S，图像压缩/解压方案MPEG8五、多媒体技术的应用领域1.多媒体教育2.电子出版物报纸，教材，辞典，数据库文献1张光盘可存储600本50万汉字的书3.多媒体网络应用互联网的直播、视频点播、远程教育、视频会议系统96.2音频的表示和处理6.2.1音频的数字化（重点）6.2.2声音合成技术6.2.3常用的音频文件格式6.2.4声音处理软件10声音：具有振幅周期性的声波3个量描述：振幅、周期、频率人耳听觉范围：20~20kHz蚊子声音说话频率：300Hz~3400Hz音频（Audio）音频技术包括：音频信息采集、编码/解码、编辑、传输；音乐合成、语音识别理解、音频视频同步6.2音频信息的表示与处理116.2.1音频的数字化多媒体信息在计算机中进行处理，其核心问题是数字化，即转化为二进制数字进行处理，处理后在输出。在其过程中要经过“模数”转换或“数模”转换。音频信号转为数字信号的过程如下：12实现音频的数字化就是将模拟音频信号转换成有限个数字表示的离散序列。音频数字化涉及音频的采样、量化和编码。模拟声音信号采样量化编码数字声音011010011101……6.2.1音频的数字化选择采样频率，进行采样；选择分辨率，进行量化；形成数字化声音。131.声音采样计算机并不直接使用连续平滑的波形来表示声音。它是以固定的时间间隔对波形的幅值进行采样，用得到的—系列数字量来表示声音。6.2.1音频的数字化14奈奎斯特采样定理：采样频率只要高于被采样信号最高频率的2倍，就能获得满意的声音还原效果。采样频率：单位时间内的采样次数。常用的采样频率：11.025kHz(语言效果)、22.05kHz(音乐效果)和44.1kHz(高保真效果)6.2.1音频的数字化152.量化6.2.1音频的数字化采样得到的数据只是一些离散的值，将这些离散的值用计算机中的若干二进制位来表示，这一过程称作量化。显然，量化的过程中要损失一些精度。量化精度：若采样位数为R，则有2R个量化级；量化级分得越细，对声音信号的反应越灵敏，即量化精度越高，存储的数据量也就越大。166.2.1音频的数字化3位量化只能表示8个值；o．75，0．5，0．25，0，-0．25，-0．5，一0．75和-1，可以看出量化位数越少，波形就越难辨认，还原后的声音质量也就越差。17对声音进行数据压缩，减少数据量，并组织数据，便于存储和处理。（3）编码6.2.1音频的数字化（重点）186.2.1音频的数字化声道数:指声音通道的个数。单声道只记录和产生一个波形，双声道记录和产生两个波形，即立体声，存储空间是单声道的两倍。196.2.1音频的数字化波形声音的主要参数包括：取样频率，量化位数，声道数目，使用的编码方法及码率。码率几即每秒中的数据量，数字声音未压缩前，码率的计算机公式为：码率（b/s）=采样频率×量化位数×声道数（要会计算）例：双声道立体声，采样频率为11.025kHz，8位量化，其码率=11.025*8*2=176.4(kb/s)=22.05(kB/s)存储1分钟这样的声音数据，容量=22.05(kB/s)×60(s)=1323kB1292KB1.262MB20（1）乐器数字接口MIDI（了解）MIDI是多媒体计算机所支持的一种声音产生方法，与波形音频产生和记录声音的方法不同，它不支持记录声音的波形信息，而是说明音乐信息的一系列指令，如音符序列、节拍速度等，即它通过描述声音产生数字化的乐谱。6.2.2声音合成技术21MIDI声音特点：（1）占用数据量小。30分钟的音乐，用MIDI文件记录只需200KB，用16位CD品质的未压缩WAV文件记录需317MB。（2）编辑修改方便灵活。配音比较方便。因为MIDI文件存储的是命令，而不是声音波形；容易编辑。（3）配音比较方便。用作背景音乐，和其它媒体如数字电视、图形、动画、话音等一起播放，加强演示效果。（4）处理语音能力较差，并且受合成器中乐器组合限制，不能保证一个MIDI文件在不同声音卡上播放时效果一样6.2.2声音合成技术22（2）语音合成（Speechsynthesis）语音合成：使计算机模仿人的发声，自动生成语音的过程。合成的语音必须是可理解的，听上去要尽量自然，可理解是一个基本的前提。例如：在股票交易、航班等动态查询，电话中相关信息的查询等就要用到该技术。6.2.2声音合成技术23例：计算机合成的语音和音乐你好，我是贝尔实验室的中文语音合成系统（BellTTS1）南京大学计算机系2002年招收了202名本科生，15名（22名）博士生，130多名硕士生。（中科大讯飞）（Bell）我们都是同行，我们一路同行，去参加人参培植研讨会（Bell）（讯飞）计算机合成的MIDI音乐军港之夜（6KB）需要进一步提高之处：发音和断句要正确，提高自然度，丰富表现力241)WAV特点：真实采样，文件大2)MP3特点：压缩比高，文件小3)RA、RAM、RM：网络在线收听4)MIDMIDI格式文件5)RMIMIDI格式文件（微软）6)MOD自带波形表，比MID文件大6.2.3常见音频文件格式251)波形的剪辑2)声音强度调节3)添加声音的特殊效果4)格式转换功能6.2.4声音处理软件声音处理软件可以对波形音频数据进行加工处理，编辑处理功能主要包括：261)超级解霸2)GoldWave3)AudioEditer4)SoundEdit5)WaveStudio6)CoolEditPro6.2.4声音处理软件27•图像的数字化•矢量图形表示•图形图像文件格式•图形、图像处理软件6.3图形、图像的表示与处理28图形:即矢量图形或几何图形，基本元素是图元,即图形命令,用来描述构成画面的直线、矩形、圆、圆弧、曲线等的形状、位置、颜色等各种属性和参数。图像：点阵图像或位图图像(Bitmap),基本元素是像素。通过描述画面中每一个像素的亮度或颜色来表示画面。图像更逼真；图形是对图像的抽象，图形变换不失真。29（1）图像的获取计算机获取图像的过程称为图像的获取，其步骤为：采样量化6.3.1图像的数字化30采样：对图像进行离散化处理。经采样得到N*M的离散样本阵列，整个样本阵列构成位图，每个采样点称为一个像素。量化：对每个采样点的灰度或颜色进行数字化处理，即用二进制进行编码，表示图像的颜色。6.3.1图像的数字化31描述图像的重要属性是：图像分辨率彩色空间图像颜色深度和最大颜色数图像的数据量（2）图像的表示6.3.1图像的数字化32图像的分辨率：指图像的尺寸，即水平方向上与垂直方向上所包含的像素个数。与屏幕分辨率未必相同。彩色空间：即颜色模型，指图像所使用的彩色描述方法，如：RGB模型、CMYK(青橙黄黑)模型、YUV(亮度、色差)模型。6.3.1图像的数字化33举例：分辨率与图像尺寸的关系520x376260x188130x94在显示比例相同时，显示在屏幕上的图像尺寸与图像分辨率成正比34图像颜色深度和最大颜色(灰度)数：图像颜色深度----组成该图像的所有颜色分量的位数之和，如8位或24位，即表达彩色的所有二进制位数。最大颜色(灰度)数----指图像中可能出现的不同颜色(灰度)的最大数目。图像颜色深度决定最大颜色(灰度)数6.3.1图像的数字化35注意：1位所表示的颜色数为2（黑白）；8位所表示的颜色数为256（灰色）；RGB使用24位来表示彩色。6.3.1图像的数字化36图像数据量：一幅图像的数据量(字节)图像数据量＝图像宽度×图像高度×图像深度/8几种常用图像的数据量见P1606.3.1图像的数字化37（1）矢量图形的组织图元：指一些形状简单的物体，如点、直线、曲线、圆、多边形、球体、立方体、矢量字体等。用一组命令和数学公式描述这些图元，包括它们的形状、位置、颜色等信息。用简单的图元可以构成复杂的图形。6.3.2矢量图形的表示38（2）矢量图形的特点尺寸可以任意变化而不损失图像的质量；快速打印和屏幕显示；文件较小；高度的可编辑性；缺乏真实感。6.3.2矢量图形的表示39(1)位图类图像文件BMP、GIF、PNG、JPEG、TIFF、RAW等(2)矢量图形文件SVG、WMF、EPS、CDR等6.3.3常用的图形图像文件格式401.位图类文件格式BMP是与设备无关的通用图形图像存储格式，该格式保存时不经过压缩，因此图像质量高，但文件比较大。JPEG简称为JPG，是一种流行的图像文件压缩文件，是有损压缩，起压缩比为2:1到50:1，适合网上传播。缺点：压缩和还原的速度比较慢。6.3.3静态图像文件格式411.位图类文件格式GIF是一种与硬件无关的8位彩色文件格式，其文件的大小取决于实际使用的颜色数，压缩时有颜色数量上的压缩，因此，该格式保存时可能有颜色的丢失。Internet上的彩色动画文件多采用该格式。PNG(便携式网络图片)是一种位图类型的文件格式，使用无损压缩，该标准允许在一个文件中存储多幅图像，正在网络中广泛应用。6.3.3静态图像文件格式422.矢量图形格式EPS是与分辨率无关的PostScript文件，该格式的文件可以包括矢量和位图图形，常用在程序间传输PostScript语言编码的图稿。WMF广泛应用于Windows平台中，如：剪贴画。EMF该格式是WMF格式的增强版。6.3.3静态图像文件格式436.3.4图形、图像处理软件功能：–文件处理–编辑、绘制：旋转、缩放、cut/paste、填充等–效果处理：颜色、纹理、滤镜、锐化、柔化画图工具(mspaint)我行我速；光影魔术手ACESee；FlashPhotoShop；CorelDrawAutoCAD446.4.1视频信息采集6.4.2视频信息主要技术参数6.4.3常见视频文件格式6.4.4视频信息处理软件6.4视频信息处理45视频：随时间变化的一组活动图像。25,30帧/秒视频信息的采集，目的模拟信号数字信号。设备：视频采集卡（信号转换），如DV卡(1394卡)视频采集卡包括：视频信号采集模块；音频信号采集模块；总线接口模块。视频采集卡工作方式：–静态：单帧采集–动态：连续采集摄像头、数字摄像机等不需视频采集卡。6.4.1视频信息采集46帧速：每秒播放多少幅图像–例：30帧/s、25帧/s，连续图像至少12帧/s视频信息数据量=