搜索
1第一章概论一）多媒体技术的概念及分类所谓多媒体技术就是计算机交互式综合处理多种媒体信息——文本、图形、图象和声音，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简言之，多媒体技术就是综合处理声、文、图信息的技术，具有集成性、实时性和交互性。分类：二）媒体的类别及概念分类：（1）感觉媒体（2）表示媒体（3）表现媒体（4）存储媒体（5）传输媒体媒体是信息表示和传输的载体，是人与人之间所赖以沟通及交流观念、思想或意见的中介物。三）多媒体技术及其特征实时性：各种媒体时间上的强相关性交互性：人与人、人与机器、机器之间的对话或通讯，以相互获得信息综合性（多维性）（多样性）：集成性：环境中尽可能在宽带，失真度和有效性等方面模拟人类间面对面所使用的感觉和能力，即提供多种多样的感觉信息。第二章多媒体计算机系统的组成一）数模转化和模数转化的设备有几种及作用？音频的处理通过音频扩展卡来实现。话筒模拟音频信号音频扩展卡数字音频信号计算机扬声器模拟音频信号音提频扩展卡数字音频信号计算机不同抽样频率和量化比特下的音响效果：8KHz、8bit：电话质量44.KHz、16bit：激光唱盘音质二）多媒体计算机系统的组成三）对于显示器和显卡的性能指标，每一种性能指标的关系1、显示器是计算机必备的标准输入输出设备，显示器的好坏影响人的视觉效果、用户的生理、心理以及工作效率。性能指标：A、屏幕尺寸：屏幕的对角线长度，不是有效尺寸。2.54CMB、显像管：球面（14寸以下）、平面直角（15、17寸）柱面（专业领域）C、点距：相邻两个像素单元之间的距离RBGGBR水平点距（0.22mm）——点距（0.28mm）215英寸0.25比较理想，17寸以上0.28就可以了D、分辨率：水平像素数X垂直像素数说明：显示器与显卡支持的分辩率匹配例：卡屏不变闪烁屏卡不清晰E、扫描频率行频：水平扫描频率，每秒横向扫描屏幕数次。场频：显示器每秒钟内显示完整图像的次数。场频越高图像越稳定（75Hz以上就比较舒服）F、刷频与带宽：（决定价格的主要因素）刷频=场频，显示器图象的刷新速率。带宽：指处理信号的频率范围。带宽=分辨率X刷频X裕量（1.5）2、视频卡是多媒体计算机获得图像处理功能的关键性适配卡，核心是一块图形加速芯片。主要作用是数模、模数转换。技术指标：（1）接口方式：AGP接口、PCI接口（2）显存的数量与速度：显存的数量影响画面质量，至少应买32M显存显卡。如TNT2M6432M、小影霸M6432M等显存的速度也很重要，取决于显存种类，目前有以下几种：SDRAM：与总线同步，存取时间5nsVRAM：可同时进行存取，加快工作速度WRAM：增强型VRAMSGRAM：增强型SDRAM，是目前最好的显存。（3）显卡的速度在很大程度上由显卡的芯片数决定（主要靠测试速度），芯片不同，价格差别很大。（4）分辨率与色彩度分辨率：一屏画面由多少像素点组成。色彩度：每个像素的色彩由多少位来描述。四）显示器和显卡在使用过程中应怎样匹配五）光区的性能指标和光区的接口光驱（CD-ROM）1、定义：也称只读光盘驱动器，是多媒体计算机的基本外设。2、光驱工作原理光学头的半导体激光器发射机光束到盘片，光学头的光探测器接收反射光束并进行光电转换，光驱的聚焦与跟踪伺服系统读取光点与信息轨道的跟踪误差信号，使光束准确聚焦到光盘光道上，旋轴编码器获取信息后将伺服信号传递给主轴电机伺服系统，确定光盘旋转角速度，读取数据给计算机。注：以上功能全部由微处理器来控制时序和操作。3、光驱的外部结构（1）四针电源接口：与计算机电源相连，提供5V或12V电源（2）40针扁平电缆接口：传输数据，电缆线不要接反。（3）跳线组：用于设置光驱物理地址，即设为主、从驱动器3（4）小型四针接口：连声卡，四针分别为左右声道，两根地线4、性能指标（1）数据传输速率（光驱倍速）：每秒送至CPU处理的数据量单倍速150KB/S（估计值）（50X、48X等）（2）平均搜寻时间：指光头移到某数据块并读取它所需的时间，200ms~400ms。包括三个过程：移动光头，数据进入光头，数据进入光驱内部缓存。（64KB~256KB）（3）高速内部缓存：越大越好（128K、256K）（4）平均无故障时间：一般25000小时左右。（5）兼容性：支持多种模式光盘，有“Multi”标志.六）硬盘和光驱的安装安装硬盘：有电路一面朝下，电源插座和数据线朝外以便接线，位置最好能通风（散热好），不要拥挤。安装光驱：需打开塑料挡板（怎样打）接线：两者都有电源线和数据线，先装电源线，后装数据线，遵循红红相对或红红相向原则；数据线连接时，硬盘接主EIDE接口，光驱接从EIDE接口。（安装多个设备时？）七）光驱的分类：怎样表示不同类型光驱的性能指标八）目前计算机使用的总线类型总线的分类：A、按连接部件不同分：内部总线、外部总线内部总线：连接微处理器（CPU）外部总线：连接住板和计算机的各部件B、按结构分：ISA、PCI、AGPISA总线：IBM第一台286时制定的总线标准。可连接声卡、网卡和内置的Modem等。PCI总线：1991年，Intel公司研制。AGP总线：Intel最新总线标准，专门针对3D图形处理开发的。C、三种总线性能比较（如图）类别总线宽度工作频率最高传输速率ISA16位8MHz8MbpsPCI32位33MHz133MbpsAGP32位133MHz533Mbps九）多媒体软件多媒体软件系统按功能划分为四类：多媒体系统软件、多媒体素材编辑软件、多媒体制做工具软件、多媒体应用软件1、多媒体系统软件：指多媒体操作系统，属于最底层的。目前PC平台上常用的三种操作系统：（1）Apple公司的产品：MacOS（1984年）、System（1989年）QuickTime（2）WME系统（WindowsMultimediaExtension）有微软公司研制的Windows系列：Windows3.0、Windows3.1Windows95、Windows98、Windows2000等4OS/2是真正的32位、多任务操作系统；在OS/2基础上扩展的多媒体子系统MMPM/2是3个主要的多媒体基础平台之一。2、多媒体创作工具软件又称多媒体编辑创作软件，是多媒体专业人员在多媒体操作系统之上开发的、供特定应用领域的专业人员组织编排多媒体数据并将他们联接成完整的多媒体应用的系统工具。软件举例：Macromedia公司：Authorware、DirectorHSCSoftware公司：InterActiveAsymetrix公司：Toolbook中国方正公司的奥思。3、多媒体素材编辑软件也称数据准备和编辑软件，实际上是创作软件中一个工具类部分，其作用是：采集、整理和编辑各种媒体数据。4、多媒体应用软件是在多媒体硬件平台上设计开发的面向应用的软件或由这些软件制作工具开发出来的应用软件。第三章多媒体数据压缩技术一）数据冗余及分类（一）定义：信息由各种信号数据所携带，而数据中存在许多与有用信息无关的数据，这些数据就是数据冗余。（二）分类1、空间冗余：在同一幅图像中，规则物体和规则背景的表面物理特征具有相关性，这些相关性的光成像结构在数字化图像中就表现为空间冗余。2、时间冗余：在序列图像和语音信息中由于时间相关性导致的冗余。注：空间冗余和时间冗余是将图像信号看作概率信号所反映出的统计特性，称为统计冗余。3、信息熵冗余：数据编码的码元长按概率对应的数据量大于信息熵而产生的冗余。信息熵：指一组数据所携带的信息量4、结构冗余：由于图像存在结构上的一致性导致的冗余。5、知识冗余：许多图像的理解与某些知识有关，从而导致的冗余。6、视觉冗余：人的视觉并不是对图像场的任何变化都能察觉，不被察觉的部分就是视觉冗余。二）数据压缩编码的分类一、数据压缩编码分类1、按解码后数据与原始数据是否一致分：（1）可逆编码：解码后的图像与原始图像严格相同，压缩比大约在2：1---5：1之间（Huffman编码、数学编码、行程编码等）（2）不可逆编码：还原后的图像与原始图像存在一定的误差，但视觉效果可以接受，压缩比从几倍到几百倍（变换编码、预测编码等）2、根据压缩原理划分（1）预测编码：利用空间中相邻数据的相关性，利用过去和现在出现过的点的数据来预测未来点的数据。（差分脉冲编码调制DPCM、自适应差分脉冲编码调制ADPCM）（2）变换编码：将图像光强矩阵（时域信号）变换到频域空间上进行处理（离散余弦变换、离散傅立叶变换、小波变换等）5（3）量化与向量量化编码：对模拟信号进行数字化时，一次量化一个点或一次量化多个点的方法。（4）信息熵编码：根据信息熵编码原理进行编码。（Huffman编码、算术编码、Shannon编码等）（5）子带编码：将图像数据变换到频域后，按频域分带，然后用不同的量化器进行量化，从而达到最优组合。（6）模型编码：编码时首先将图像中的边界、轮廓、纹理等结构特征找出来，然后保存这些参数信息，解码时根据结构和参数信息进行合成恢复图像。二、预测编码（P-20-）在时域空间上进行注：预测编码中，编码和传输的不是像素采样值本身，而是采样值的预测值和实际值之间的差值。三、变换编码（P-21-）在频域空间上进行四、信息熵编码1、Huffman编码：（信息熵编码定理：在变字长编码中，对于出现概率大的信息符号编以短字长的码，对于出现概率小的信息符号编以长字长的码，如果码字长度严格按照符号概率大小的相反顺序排列，则平均的码字长度一定小于按任何其他符号顺序排列方式得到的码字长度。）例：设一组信源符号为{X1、X2、X3、X4、X5、X6、X7}，这些符号出现的概率为{0.20,0.19,0.18,0.17,0.15,0.10,0.01}，求其Huffman编码、信息熵、冗余度。步骤：（1）将信源符号按概率递减顺序排列（2）将两个最小概率相加做为新符号，并按（1）重排（3）重复（1）（2）直到概率为1（4）在合并时，每个节点的两个分支分别赋值0和（5）记录从根到信源符号节点的0、1序列就是该节点的Huffman编码。X1X2X3X4X5X6X70.200.190.180.170.150.100.01（1．0）计算信息熵：H（x）=-ΣP（xi）logP（xi）0(0.11)0000（0.26）1（0.35）0000（0.39））））））1（0.61）111011006=-（0.2Xlog0.2+0.19Xlog0.19+0.18Xlog0.18+0.17Xlog0.17+0.15Xlog0.15+0.10Xlog0.10+0.01Xlog0.01）=2.61(bit)平均编码长：L（x）=ΣP（xi）Xl（xi）=(0.2X2)+(0.19x2)+(0.18X3)+(0.17X3)+(0.15X3)+(0.10X4)+(0.01X4)=2.72(bit)编码效率：E=H（x）/L（x）=2.61/2.72=96%冗余度=2.72/2.61–1=0.042例：（P-22-）说明：（1）Huffman编码的较短的码字不可能成为较长码字的前缀部分，用以判断正确与否。（2）Huffman编码构造出来的码不是唯一的，但编码效率是一样的（1、0不确定，概率相同）2、算术编码：基本原理：将编码的信息表示成实数0和1之间的一个间隔，信息越长，编码表示它的间隔越小，表示这一间隔所需的二进制位就越多。例：设英文元音字母采用固定模式符号概率分配如下：字符：AEIOU概率：0.20.30.10.20.2范围：[0,0.2）[0.2,0.5)[0.5,0.6)[0.6,0.8)[0.8,1.0)设编码的数据串为EAI，令high为编码间隔的高端，low为编码间隔的低端，range为编码间隔的长度，rangehige为编码字符分配的间隔高端，rangelow为编码字符分配的间隔低端。初始high=1,low=0,range=high-low,一个字符编码后新的low和high按下式计算：low=low+rangeXrangelowhige=low+rangeX