多媒体计算机技术笔记

第一章多媒体技术概述1、什么是媒体？1）一是指用以存储信息的实体，如磁盘、磁带、光盘和半导体存储器；2）一是指信息的载体，如数字、文本、声音、图形图像和视频等。2、CCITT给媒体做的分类？1）感觉媒体：指能直接作用于人的感官，使人能直接产生感觉的一类媒体2）表示媒体：为了加工、处理和传输感觉媒体而人为地研究、构造出来的一种媒体。其目的是将感觉媒体从一个地方向另一个地方传送，以便于加工和处理。表示媒体包括各种编码方式。3）显示媒体：指感觉媒体与用于通信的电信号之间转换用的一类媒体。包括输入显示媒体和输出显示媒体。4）存储媒体：用来存放表示媒体，以方便计算机处理加工和调用，主要指与计算机想着的外部存储设备。5）传输媒体：用来将媒体从一个地方传送到另一个地方的物理载体，是通信的信息载体。3、多媒体定义：所谓多媒体，是指信息表示媒体的多样化，常见的多媒体有文字、图形、图像、声音、音乐、视频、动画等多种形式。4、多媒体技术：就是利用计算机技术把文本、声音、视频、动画、图形和图像等多种媒体进行综合处理，使多种信息之间建立逻辑连接，集成为一个完整的系统。5、多媒体的特征？1）多维化：信息媒体的多样化。2）集成性：不仅指多媒体设备集成，也包含多媒体信息集成或表现集成。3）交互性：是使人们获取和使信息变被动为主动的最为重要的特征。4）实时性：主要指类似声音和视频这样的媒体，与时间密切相关，要求多媒体技术必须支持实时处理。6、多媒体计算机技术及发展？1）MPC1：1990年2）MPC2：1993年3）MPC3：1995年7、多媒体系统的关键技术可以分为如下几个方面：a.多媒体数据的处理：软\硬件平台，数据压缩技术，多媒体信息转换及融合理论b.多媒体数据的存储：存储设备，数据存储与管理c.多媒体数据的传输：多媒体计算机网络，服务质量控制，分布式多媒体系统d.多媒体输入\输出技术：输入输出设备，人机界面，虚拟现实技术8、多媒体技术主要内容：1）多媒体软硬件平台：是实现多媒体系统的物质基础2）专用芯片：归纳为两种类型：固定功能的芯片；可编程处理器。DSP处理器是一种非常适合进行数字信号处理的微处理器，特别适于高密度、重复运算及大数据流量的信号处理。3）数据压缩及编码技术4）多媒体同步：集成模式：制约式、交互式和协作式。制约式是指一种媒体的状态转移或激活影响到另一种媒体；协作式指两种以上的媒体信息同时存在，这两种模式要求按事件发生的顺序同步，属于基本同步型；交互式指某媒体上含有的信息变换成另一种媒体。5）多媒体网络与分布式处理技术6）信息的组织与管理：是信息系统的核心问题之一。处理大批非规则数据主要有两个途径：一是扩展现有的关系数据库，二是建立面向对象的数据库系统，以存储和检索特定信息。超媒体：称之为天然的多媒体信息管理方法，它一般也采用面向对象的信息组织与管理形式。7）多媒体数据存储8）虚拟现实技术：虚拟现实就是采用计算机技术生成一个逼真的视觉、听觉、触觉及嗅觉的感觉世界，用户可以用人的自然技能对这个生成的虚拟实体进行交互考察。9）人机界面设计：其目的是通过对用户需求的解释达到一种人机之间较好的通信能力。10）高速多媒体通信技术：是指为满足新一代信息系统中实时多媒体信息传输的需要，网络的宽带可能要在1000Gbps以上，而且能支持服务质量控制（Qos），以适应不同媒体对传输质量的要求。9、多媒体技术的应用1）音频\视频流点播2）电子出版物：压缩只读光盘（CD-ROM）可广泛用于游戏、教育、资料存储等方面，是一种优良的信息源，也是目前最重要的电子出版物。一张CD光盘的容量大约为650MB。3）医疗卫生；4）游戏与娱乐；5）计算机视频会议；6）多媒体展示和信息查询系统；7）MIS与OA（管理信息系统和办公自动化系统）；8）传媒、广告9）教学管理系统：包括信息发布平台、多媒体教学系统、多媒体考试系统、多媒体交流系统、信息管理系统。10）移动卫星：移动卫星多媒体应用系统在系统设计、数字闭环控制、智能识别、跟踪及快速动态捕获等方便的关键技术在卫星信息技术领域都是代表了最先进的技术。10、多媒体技术的发展趋势：智能化和三维化第二章多媒体计算机系统的组成1、多媒体接口卡：是根据多媒体系统获取、编辑音频或视频的而需要而插接在计算机上，以解决各种媒体数据的输入、输出的问题。常用的接口卡有声卡、显卡、视频压缩卡、视频捕捉卡、视频播放卡、光盘接口卡等。多媒体外部设备按功能分为：视频音频输入设备，视频音频输出设备，人机交互设备，存储设备。2、输入设备：除了基本的键盘、鼠标等以外，还包括手写板、磁卡设备、IC卡设备、条码设备、图像扫描仪、数字化仪、触摸屏、视频卡和视频捕捉卡等。3、手写板：电阻压力板、电磁感应板和电容触控板。电阻压力板：其工作原理是当笔或手指对上层电阻加压使之变形并与下层电阻接触时，下层电阻薄膜就感应出笔或手指的位置。电磁感应板：通过手写板下方的布线电路通电后，在一定空间范围内形成电磁场，来感应带有线圈的笔尖的位置进行工作。电容触控板：工作原理是通过人体的电容来感知手指的位置，其表现出了更加良好的性能：由于轻触即能感应，用手纸和笔都能操作，使用方便。4、图像扫描仪主要性能指标：1）分辨率：以每英寸上扫描象素点数(DPI)表示，通常在300DPI到1200DPI之间。2）灰度：图像亮度层次范围，灰度级数越多，图像层次越丰富。目前可达250。3）色彩度：指彩色扫描仪支持的色彩范围，用象素的数据位表示，如24位支持16M色。4）速度：在指定的分辨率和图像尺寸下的扫描时间。5）幅面：支持的幅面大小，如A4、A3。扫描仪按幅面大小份为台式和手持式，按图像类型分为灰度和彩色扫描仪。5、触摸屏：一般由两部分组成：触摸屏控制卡和触摸检测装置。按介质及工作原理，可分为电阻式、电容式、红外线式和声表面波式。6、视频捕捉卡：是把输入的模拟视频信号，通过内置芯片提供的捕捉功能转换成数字信号的设备，一般以内置PCI插卡为主。将模拟视频信号转换为数字视频信号的转换卡。选择时要考虑的问题：1）是否有Overlay(叠加)功能，可直接把视频信号送到VGA显示器。2）支持的输入视频标准、视频源和图形文件格式。NTSC、PAL和S-Video。3）与VGA卡的兼容性4）是否采用了硬件压缩5）“录像”质量：图像尺寸、支持的颜色数、丢帧。7、输出设备1）CRT：两大类：图像显示、矢量方式图形。种类：存储型、随机扫描型、光栅扫描型。2）液晶显示器(LCD)：一种低电压、低功耗器件。其优点是平面型，结构简单，轻薄短小，相当省电且没有辐射，不伤人体，画面也不会闪烁，可以保护眼睛。按技术性质分单纯矩阵驱动和主动矩阵驱动，TFT是主要发展方向。3）等离子体显示器(PDP)：基本原理是显示屏上排列有上万个密封的小低压气体室，电流激发气体，使其发出肉眼看不见的紫外光，这种紫外光碰击后面玻璃上的红、绿、蓝三色荧光体，它们再发出在显示器上能看到的可见光。4）背投电视：分为CRT、LCD、DLP(数字光处理器)、LCOS(反射液晶)。CRT背投具有技术成熟、亮度高、连续使用时间长、价格较低的优点。LCD背投利用成熟的液晶投影技术，其色彩还原性好，色彩饱和度优于CRT背投，且无辐射、能耗低。DLP背投亮度高，清晰度高，画面均匀，色彩锐利，连续使用时间长，功能完备。LCOS是一种全新的数码成像技术，LCOS背投具有高亮度、高解析度、低功耗的优点。5）显示卡：主要作用是对图形函数进行加速。影响显存性能的参数包括：①显存的容量：所需显存=图形分辨率*色彩精度/8；②显存的数据位数与宽带：运行频率*数据带宽/8；③显存的速度：显存的速度一般以ns为单位。常见显存有7ns、6ns、5.5ns、5ns、4ns和2.5ns其对应的额定工作频率分别是143、166、183、200、250和400MHz。6）打印机：是一种最传统的标准计算机输出设备。主要分为击打式(点阵式具有结构简单、体积小、重量轻、价格低和维护方便、可靠性好等优点))和非击打式(激光最大的特点是打印功能极强，输出质量高，速度快，噪音低；喷墨其打印的精度大大高于点阵式，其弱点是墨水质量要求高，消耗品的费用高)7、通信设备1）调制解调器：（Modem）的作用是利用模拟信号传输线路传输数字信号。2）网卡，局域网最基本的部件之一，又称网络卡或网络接口卡，简称NIC。主要工作是整理计算机上发往网线上的数据，并将数据分解为适当大小的数据包之后向网络上发送出去，还负责网线上传过来的数据。3）传真/通讯卡8、存储设备1）软盘、硬盘、光盘2）NAS：网络附加存储，以数据为中心，将存储设备与服务器彻底分离，集中管理数据。3）SAN：存储局域网，以数据存储为中心，采用伸缩的网络拓扑结构，通过具有高传输速率的光通道的直接连接方式，提供SAN内部任意结点之间的多路可选择的数据交换，并且将数据存储管理集中在相对独立的存储区域网内。9、USB设备通用串行总线，主要特点：即插即用、可热插拔，并具有自动配置能力。1.1版12Mb/s，2.0版480Mb/s。USB采用四线电缆，其中两根是用来传递数据的串行通道，另两根为下游设备提供电源。USB支持4种基本的数据传输模式：控制传输、等时传输、中断传输及数据块传输。10、多媒体与CPU芯片MMX技术：重要特色是使用了单指令多数据流技术(SIMD)，即一条指令并行处理多个数据，从而成倍地提高了机器计算速度。第三章数字图像处理技术1、彩色空间及变换图像处理技术中最基本的问题是对颜色的处理。颜色模式主要有：1）RGB：红、绿、蓝2）Lab：是由RGB转为HSB或CMYK模式的桥梁，发光率、颜色A、B。3）HSB：色泽、饱和度、亮度4）YUV：电视系统常用模式，亮度Y和色差U、V组成。Y与U、V独立变化，可用于压缩。5）CMYK：彩色印刷使用。2、冗余数据压缩对多媒体数据进行压缩的前提是数据存在大量的冗余，压缩的目的就是尽可能消除这些冗余，分为：1）统计冗余：大量统计特征上的重复2）信息熵冗余：信息熵定义为一组数据所表示的信息量，等于各记录码元的二进制位数(即编码长度)与该码元出现的概率乘积之和。3）结构冗余：图像纹理4）知识冗余：5）视觉冗余：人的视觉对某些细节不敏感3、压缩算法评价1）压缩比2）算法的复杂性和运算速度3）失真度：无损编码、有损编码4、行程长度编码(重点掌握并应用)RLE，又称游程编码，就是把一系列的重复值用一个单独的值加上一个计数值来取代。5、哈夫曼编码(重点掌握并应用)基本思路：出现频率越高的值其对应的编码长度越短，反之出现频率越低的值，其对应的编码长度越长。步骤如下：1）统计信源符号出现的概率2）将信源符号按概率递减顺序排列3）将两个最小的概率值加起来，作为一个新组合符号的概率。4）重复2、3步，直到概率和达到1为止5）在每次合并信源时，将合并的信源分别标记为“1”和“0”(例如，概率小的标记为“1”，概率大的标记为“0”)6）寻找从每一信源符号到概率为1的路径，记录下路径上的“1”和“0”7）对每一版本号写出“1”和“0”序列缺点：1）必须精确统计出每个值出现的频率，通常需要两遍操作，速度慢。2）译码过程比较复杂，对于位的增删比较敏感。6、预测编码可分为线性预测和非线性预测编码。前者常被称为差分脉冲编码调制，即DPCM。其基本原理是基于图像中相邻象素之间的相关性，每个象素可通过与之相关的几个象素来进行预测。7、变换编码就是将时域信号变换到频域信号上进行处理的方法。常用有K-L和DCT(离散余弦变换)。8、模型法编码预测编码、矢量量化编码以及变换编码都属于波形编码。其理论基础是信号理论和信息论，其出发点是将图像信号看作不规则的统计信息，从象素之间的相关性这一图像信号统计模型出发设计编码器。而模型编码则是利用计算机视觉和计算机图形学的知识对图像信号的分析与合成。模型编码的关键是对特定的图像建立模型，并根据这个模型确定图像中景物的特征参数，如运动参数，形状参数等。解码时则根据参数和已知模型用图像合成技术重建图像。9、混合编码以两