搜索
计算机软考——多媒体应用设计师复习笔记蒲公英整理1专题一多媒体技术基础第一章多媒体计算机的定义和关键技术媒体（Medium）在计算机领域中有两种含义：1、用以存储信息的实体，如磁带、磁盘、光盘和半导体存储器；2、信息的载体，如数字、文字、声音、图形和图像。多媒体技术中的媒体是指后者。多媒体计算机技术定义计算机综合处理多种媒体信息(文本、图形、图象、音频和视频)，使多种信息建立逻辑连接，集成为一个系统并具有交互性。简单地说：计算机综合处理声、文、图信息；具有集成性和交互性；总之多媒体计算机具有信息载体多样性、集成性和交互性。多媒体计算机的关键技术（把一台普通计算机变为多媒体计算机要解决的的关键技术）(1)视频音频信号获取技术；(2)多媒体数据压缩编码和解码技术；(3)视频音频数据的实时处理技术和特技；(4)视频音频数据的输出技术。多媒体计算机的分类家电制造厂商研制的：电视计算机——灵巧电视SmartTV计算机制造厂商研制的：计算机电视——发展方向是TV-killer在多媒体计算机发展史上卓有成效的公司和系统1、Philips/Sony公司的CD-I系统2、Commodore公司的Amiga系统3、Apple公司的HyperCard4、Intel和IBM公司的DVI系统HDTV（HighDefinitionTelevision高清晰度电视）特点：(1)采用国际标准的压缩编码算法MPEG-2。（能与多媒体计算机兼容、通信）(2)采用打包数据结构。（图像、声音、及多媒体服务附加数据以包的方式发送，包可随即次序传送、大小动态分配）(3)采用双层传输技术。（重要数据放到高优先级的载波上传输，其他数据放到具有标准优先级的载波上传输）常规电视数字化：汤姆逊（Thomson）消费电子公司通过休斯银河（HughesGalaxy）601卫星，开创世界首次全数字直接到户的卫星广播业务（DSS-DigitalSatellitesSystem及DBS-DirectBroadcastService）。消费者很容易获得120到150个频道最受欢迎的电视节目。用户端只需要购置一个易于安装的18英寸或常规碟形天线，一个和录像机体积差不多的接收机/解码器以及一个易于控制和操作的遥控器。交互式电视技术（ITV）：最常用的是节目间的交互，即VOD系统。典型的VOD系统主要由下述四部分组成：（1）视频服务器；（2）编码器/路由器；（3）用户请求计算机和记帐计算机；（4）机顶盒计算机软考——多媒体应用设计师复习笔记蒲公英整理2多媒体计算机技术在常规电视和高清晰度电视，影视节目制作中的应用分成两个层次：影视画面的制作；影视的后期制作（如非线性编辑器）。用多媒体技术制作V-CD及影视音响卡拉OK机多媒体数据压缩和解压缩技术是多媒体计算机系统中的关键技术，首次将此技术应用到VCD播放机中的是美国C-Cube公司。VCD问世于1993年，是多家公司联合制定的数字电视视盘技术标准。安徽合肥万燕公司在世界上首先利用MPEG国际标准和CD光盘技术,研制了全功能影视音响卡拉OK机CDK-320。VCD播放机，由CD-ROM驱动器、MPEG解压卡及控制操作电路组成。DVD与VCD的不同只是视频和音频的编码标准不同，两者的原理是一样的。DVD的视频和音频编码标准是MPEG-2或者AC-3而不是MPEG-1。V-CD播放系统主要有下述两种产品：MPEG播放卡、V-CD播放机多媒体家庭网关MHG（多媒体家庭网关）数据流向图MHG结构图一般认为，多媒体技术研究的兴起从（1984年，美国Apple公司推出Macintosh系列机）开始卫星天线MHG电视机用户输入立式PC立式PC本地应用应用服务系统软件硬件资源应用硬件驱动计算机软考——多媒体应用设计师复习笔记蒲公英整理3多媒体创作工具的分类：基于时间的创作工具；基于图符（Icon）或流线（Line）创作工具；基于卡片（Card）和页面（Page）的创作工具；以传统程序语言为基础的创作工具。多媒体创作工具的应用：制作各种电子出版物、教材、参考书、地图、医药卫生、商业手册及游戏娱乐节目。多媒体应用系统、演示系统或信息查询系统、导游系统；培训和教育系统；娱乐、视频动画及广告等等。多媒体数据库的研究途径：(1)在现有商用数据库管理系统的基础上增加接口，以满足多媒体应用的需要；（实用，效率低）(2)建立基于一种或几种应用的专用多媒体信息管理系统；（易实现，缺乏通用性，可扩展性差）(3)从数据模型入手，研究全新的通用多媒体数据库管理系统（研究和发展的主流，难度较大）多媒体数据库要解决的关键技术问题：(1)多媒体数据模型：采用面向对象的方法描述和建立多媒体数据模型是较好的方法。(2)数据的压缩和解压缩(3)多媒体数据的存贮管理和存取方法(4)多媒体信息的再现及良好的用户界面(5)分布式技术多媒体数据存储的问题：巨大的数据量、存储技术、多媒体对象存储、多媒体文档检索。多媒体数据库基于内容的检索：目标标识，特征提取，数据库查询接口，检索引擎，索引/过滤器多媒体通信分类：(1)对称的全双工的多媒体通讯。如分布式多媒体信息系统、视频会议系统及计算机支持的协同工作系统；(2)非对称全双工的多媒体通讯系统。如交互式电视系统（ITV）、点播电视系统（VOD）多媒体通信的关键技术：(1)多媒体数据压缩。(2)高速数据通讯问题。尤其是视频会议系统要解决视频会议系统的国际标准问题。视频会议系统可分为两类:(1)点对点视频会议系统：如可视电话、台式机—台式机视频会议（桌面视频会议系统）、会议室—会议室视频会议(2)多点视频会议系统：如三个或三个以上不同地点的参加者一起参加讨论。多点会议系统的关键技术是：多点控制器（MCU），它能自动的交换数据。视频会议系统的结构：视频会议终端、多点控制器、信道（网络）、控制管理软件。MCU——多点控制单元/多点控制器MCU是视频会议系统的关键设备，它的主要功能是对视频、语音及数据信号进行切换。例如它会将传送到MCU某会场的场景图像信号切换到所有会场，对于语音信号，若同时有几个发言，可以对他们进行混合处理，选出最高的音频信号切换到其它会场。MCU的主要组成部分：网络接口单元、呼叫控制单元、多路复用和解复用单元、音频处理器、视频处理器、数据处理器、控制处理器、密钥处理分发器、呼叫控制处理器。多媒体计算机的发展趋势（1）进一步完善计算机支持的协同工作环境CSCW（ComputerSupportedCollaborativeWork）（2）智能多媒体技术（3）把多媒体信息实时处理和压缩编码算法作到CPU芯片中。（集成原则:压缩算法采用国际标准设计；多媒体功能的单独解决变成集中解决；体系结构设计和算法相结合。）总之，多媒体计算机将朝着高分辨率、提高显示质量、高速化、简单化、智能化方向发展。计算机软考——多媒体应用设计师复习笔记蒲公英整理4第二章多媒体信息处理技术采样、量化、数字化、数字图像多媒体计算机处理图像和视频，首先必须把连续的图像函数f(x,y)进行空间和幅值的离散化处理：采样:空间连续坐标(x,y)的离散化量化：f(x,y)颜色的离散化数字化:两种离散化结合在一起，叫做数字化。离散化的结果称为数字图像。采样对连续图像彩色函数f(x,y)，沿x方向以等间隔△x采样，采样点数为N，沿y方向以等间隔△y采样，采样点数为N，于是得到一个N×N的离散样本阵列[f(m,n)]N×N。为了达到由离散样本阵列以最小失真重建原图的目的，采样密度必须满足香农采样定理。（采样密度：△x与△y）采样定理：采样间隔与f(x,y)频带之间，频带愈窄，相应的采样频率可以降低，采样频率是图像变化频率二倍时，就能保证由离散图像数据无失真地重建原图。颜色的基本概念彩色可用亮度、色调和饱和度来描述，人眼看到任一彩色光都是这三个特性的综合效果。亮度：光作用于人眼时所引起的明亮程度的感觉，它与被观察物体的发光强度有关。（光的强和弱）色调：当人眼看一种或多种波长的光时所产生的彩色感觉，它反映颜色的种类，是决定颜色的基本特性。饱和度：指颜色的纯度，即掺入白光的程度(指颜色的深浅程度，对于同一色调彩色光，饱和度越深颜色越鲜明或者说越纯)。色度：色调和饱和度通称为色度。亮度表示某彩色光的明亮程度，而色度则表示颜色的类别与深浅程度。三基色原理三基色原理：自然界常见的各种颜色光，都可由红（R）、绿(G)、蓝(B)三种颜色光按不同比例相配而成，同样绝大多数颜色也可以分解成红、绿、蓝三种色光。三基色的选择不是唯一的，三种颜色必须是相互独立的，即任何一种颜色都不能由其他两种颜色合成。相加混色：把三种基色光按不同比例相加称之为相加混色。常用亮度公式：（Y表示白光的亮度）NTSC电视制式：Y=0.3R+0.59G+0.11B；PAL电视制式：Y=0.222R+0.707G+0.071B注：如果把单色光亮度定为100，则主观感觉是绿光仅次白光，是三基色中最亮的，红光次之，亮度约占绿光的一半，蓝光最弱，亮度约占红光的1/3。注意0.3+0.59+0.11=1.0三原色的系数之所以不同是因为人的眼睛对不同波长的颜色有着不同的敏感度。f(x0,y0)f(x511,y0)f(x0,y511)f(x511,y511)x,y的离散化称为采样f(x,y)的离散化称为量化红色+白光粉红色饱和度下降红色+绿色色调发生变化黄色计算机软考——多媒体应用设计师复习笔记蒲公英整理5RGB彩色空间当三基色按不同强度相加时，可得到任何一种颜色。在RGB彩色空间，某一种颜色和这三种颜色之间的关系可用下面的式子来描述：F(颜色)＝r[R]＋g[G]＋b[B]（r+g+b=1）其中r、g、b为三色系数。r[R]、g[G]、b[B]为F色光的三色分量。当三基色等量相加时，得到白色。不管多媒体系统采用何种色彩空间，最后监视器输出一定要转换成RGB色彩空间。RGB和黑白电视信号不兼容。YUV彩色空间摄像机把摄得的彩色图像信号，经分色棱镜分成R0G0B0三个分量的信号，分别经放大和γ校正得到RGB，再经过矩阵变换电路得到亮度信号Y、色差信号R-Y和B-Y。Y=0.3R+0.59G+0.11BU=m(B-Y)=0.493(B-Y)V=n(R-Y)=0.877(R-Y)优点：1)亮度信号Y解决了彩色电视和黑白电视的兼容问题。2)可以利用人眼的特性来降低数字彩色图像所需要的存储容量。YUV彩色空间，数字化后通常的比例为：Y:U:V=8:4:4Y:U:V=8:2:2YIQ彩色空间亮度：Y色差：I、QI轴：表示人眼最敏感的色轴（123度的橙色及其相反方向的303度的青色，人眼对其具有最大的彩色分辨率）Q轴：表示人眼最不敏感的色轴优点：人眼分辨红、黄之间颜色变化的能力最强，而分辨蓝与紫之间颜色变化的能力最弱。在传送分辨力弱的信号时，可以用较窄的频带，而传送分辨力较强的信号时，可以用较宽的频带。电视广播制式世界上主要使用的电视广播制式有PAL、NTSC、SECAM三种，中国大部分地区使用PAL制式，日本、韩国及东南亚地区与美国等欧美国家使用NTSC制式，俄罗斯则使用SECAM制式。PAL制式（.正交平衡调幅逐行倒相制）：采用YUV彩色空间；25帧/秒。NTSC制式（正交平衡调幅制）：采用YIQ彩色空间。30帧/秒。SECAM制（行轮换调频制）25帧/秒。HSI彩色空间H(hue)色调；S(saturation)饱和度；I(Intensity)光的强度优点：亮度分量与图像的色彩信息无关；能够减少彩色图像处理的复杂性，它更接近人对彩色的认识和解释。广泛用于计算机视觉、图像检索和视频检索。HSI彩色空间与RGB彩色空间之间的转换：图像子采样对图像进行采样时，如果对色差信号使用的采样频率比对亮度信号使用的采样频率低，这种采样就称为图像子采样(subsampling)。计算机软考——多媒体应用设计师复习笔记蒲公英整理6★全电视信号电视摄像机把一幅图像信号转变成的输出信号就是全电视信号。黑白全电视信号=图像信号(视频信号)+复合消隐信号（行消隐、场消隐）+复合同步信号（