搜索
1第八章多媒体技术基础8.1多媒体技术的基本概念8.2多媒体计算机系统8.3多媒体信息的数字化和压缩技术28.1多媒体技术的基本概念8.1.2多媒体媒体:存储信息的物理实体，如磁盘、光盘等,信息的表现形式或载体,如文字、图形、图像、动画、声音等。•国际电信联盟（ITU）将媒体分为：感觉媒体、表示媒体、显示媒体、存储媒体、传输媒体和信息交换媒体六大类。多媒体:融合两种或两种以上媒体的一种信息集合，分：静态媒体和动态媒体；使用的媒体信息类型包括:文字、图形、图像、声音、动画和电视图像。多媒体技术:指以数字化技术为基础，计算机综合处理多种媒体信息，使多种媒体信息之间建立逻辑关系，并连同多媒体设备一起集成为一个具有交互性能的应用系统的技术。是一门跨学科的综合技术。综合处理指：录入、压缩与解压缩、编辑、存储、检索、显示、传输等。38.1.3多媒体技术的特性集成性媒体、设备与软件的集成。交互性用户与多媒体信息。实时性声音媒体和视频媒体。多样性媒体、处理方式。数字化媒体信息以数字的形式存储和处理。数据量大一页A4纸文字的数据量约为20kB，一幅640*480经压缩的照片数据量约为180kB，1分钟MPEG1压缩视频大约需要10MB的存储空间。要求传输速度高对于MPEG1的压缩视频文件，要求的数据传输率为1.5Mbit/s。MPG2-DVD(7M)，网络流一般32k-1024k。协同性各种媒体之间必须有机地配合才能协调一致。多种媒体之间符合人的自然交流方式。4•多媒体数据的特点数据量巨大数据类型多数据类型间区别大多媒体数据的输入和输出复杂。•多媒体文件的存储格式文件格式：是一种信息的数字化存储方式。多媒体文件：包含文件头和数据两大部分。文件头多媒体数据5•多媒体文件–静态多媒体文件•无法提供网络在线播放功能。它需要先下载，后观看。–流式媒体文件（简称流媒体）•在因特网中采用流式传输技术的连续时基媒体，如音频、视频等文件。•流媒体文件的数据可以随时传送、随时播放。•实现流媒体的关键技术是数据的流式传输。68.1.4多媒体信息处理的关键技术1.多媒体数据压缩技术节省存储空间，提高通信介质的传输效率，使计算机实时处理和播放视频、音频信息成为可能。2.多媒体数据存储技术数字化数据存储的介质有：硬盘、光盘和磁带等。3.集成电路制作技术为多媒体技术的进一步发展创造了有力的条件。4.多媒体数据库技术研究多媒体信息的特征、建立多媒体数据模型；有效地组织和管理多媒体信息；多媒体信息的检索和统计。7多媒体信息处理的关键技术5.虚拟现实技术利用计算机生成一种模拟环境，通过多种传感设备，使人能够沉浸在计算机生成的虚拟境界中，并能够通过语言、手势等自然的方式与之进行实时交互，创建了一种适人化的多维信息空间。6.多媒体网络与通信技术多媒体通信技术支持是保证多媒体通信实施的条件。88.1.5多媒体技术的应用领域1.多媒体教育2.电子出版物3.多媒体网络应用互联网直播视频点播远程教育视频会议系统98.2多媒体计算机系统多媒体系统是指能综合处理多种媒体信息，使信息之间能建立联系，并具有交互性的计算机系统。一个完整的多媒体计算机系统包括硬件系统和软件系统两大部分。多媒体PC机联盟先后发布了4个MPC标准。计算机技术的高速发展，从现在的计算机软、硬件性能来看，已完全超过MPC标准的规定，MPC标准已成为一种历史，但MPC标准的制订对多媒体技术的发展和普及起到了重要的推动作用。10MPC标准MPC联盟规定多媒体计算机系统由5个基本部件组成：PC机、CD-ROM、声卡、音箱和Windows操作系统MPC4.0为将PC机升级成MPC提供了一个指导原则，要求在普通微机的基础上增加以下4类软、硬件设备：•多媒体计算机（MultimediaComputer）:是具有多媒体处理能力的计算机系统•声/像输入设备：主要用于将多媒体信息输入计算机：光驱、声卡、视频采集卡、麦克风、电子琴、扫描仪、录音机、VCD/DVD、数字照相机、摄像机等。•功能卡:用于对多媒体信息进行处理：电视卡、Modem卡、视频编辑卡、VCD压缩卡、网卡等。•声／像输出设备:用于输出多媒体系统：光盘刻录机、声卡、视频转换卡、音箱、立体声耳机、录音机、录像机、打印机等。•软件支持:音响、视频和通讯信息以及实时、多任务处理软件。118.2.1多媒体计算机硬件系统多媒体系统层次结构多媒体应用系统运行平台多媒体编辑与创作系统多媒体素材制作工具及应用程序接口API多媒体操作系统、多媒体设备驱动程序多媒体计算机主机、外围设备硬件系统软件系统12多媒体计算机硬件系统示意图13•计算机厂商提供多媒体硬件设备的方式有：一是集成在主板上，二是提供各种接口卡。•在一台具体的多媒体计算机硬件配置中，不一定都包括上述全部配置，但至少应当包括声卡和CD-ROM驱动器。•多媒体计算机的硬件技术要求：•主机处理性能强大。•主机接口齐全。•各种多媒体设备齐全。14DVI/HDMI158.2.2多媒体计算机软件系统多媒体计算机软件系统多媒体应用系统多媒体计算机主机、外围设备多媒体编辑与创作工具多媒体库函数、素材制作工具多媒体操作系统设备驱动软件、接口程序系统软件16多媒体创作工具多媒体创作工具的功能提供编程环境及对各种媒体数据流的控制能力处理各种媒体数据生成应用系统和提供应用程序链接能力用户界面处理和提供人机交互功能预演与播放能力17多媒体创作工具多媒体创作工具的类型基于时间序列的创作工具Director基于流程图的创作工具Authorware基于描述语言（符号）的创作工具MultimediaToolBook可视化编程环境VisualBasic和VisualC++188.2.3多媒体应用系统的设计流程需求分析脚本设计多媒体素材制作多媒体集成和调试多媒体作品包装需求分析脚本设计多媒体素材制作多媒体集成和调试作品包装198.3多媒体信息的数字化和压缩技术8.3.1数字音频信息及处理1.基本概念复杂的声波由许许多具有不同振幅和频率的正弦波组成。周期T:重复出现的时间间隔;振幅A:波形相对基线的最大位移,表示音量的大小;频率f:信号每秒钟变化的次数,即1/T以赫兹(Hz)为单位。振幅AAf周期T20声音按频率分类正常人所能听到的声音频率范围为20Hz～20kHz。声音质量的频率范围:CD如随身听FM:调频AM:调幅20kHZ20HZ20HZ次声波可听声波超声波f(HZ)20kHZCD-DAFM广播AM广播1020502003.4k7k15k20k次声波可听声波超声波f(HZ)20kHZ电话把调制信号从低频搬移到了高频，以便利用电离层传播,调频声音的高低变为频率的变化的电信号,调幅就是用声音的高低变为幅度的变化的电信号.212.模拟音频的数字化用计算机对音频信息处理，就要将模拟信号（如语音、音乐等）转换成维数字信号。采样每隔一定时间间隔对模拟波形上取一个幅度值。量化将每个采样点得到的幅度值以数字存储。编码将采样和量化后的数字数据以一定的格式记录下来模拟信号采样量化编码数字信号振幅频率1/T采样点T振幅1/TT采样模拟信号量化编码成数字信号0111000111000223.数字音频的技术指标采样频率、量化位数和声道数采样频率：每秒钟的采样次数量化位数(采样精度)：存放采样点振幅值的二进制位数。通常量化位数有8位、16位，分别表示有28、216个等级。声道数：声音通道的个数，立体声为双声道。每秒钟存储声音容量的公式为：采样频率×采样精度×声道数/8=字节数例如，用44.10kHz的采样频率，16位的精度存储，则录制1秒钟的立体声节目，其WAV文件所需的存储量为：44100×16×2/8=176400（字节）23采样频率和量化参数比较244.数字音频的文件格式Wave格式文件（.Wav）记录了真实声音的二进制采样数据，通常文件较大。MIDI格式文件（.MID）数字音乐的国际标准.记录的是音符数字，文件小。MPEG音频文件（.MP1/.MP2/.MP3）采用MPEG音频压缩标准进行压缩的文件。RA格式文件（.ra）RA（RealAudio）是RealNetwork公司制定的音频压缩规范，有较高的压缩比，采用流媒体的方式在网上实时播放。WMA文件（.wma)是微软公司新一代OS平台音频标准，压缩比高，音质强于MP3等。255.声音的录制与播放“录音机”是用于声音文件的录制与播放，还可以对声音进行编辑和特殊效果处理。录制声音编辑声音删除声音当前位置之前或之后插入声音移动声音删除和插入间接完成268.3.2数字图像及处理1.基本概念•图形和图像图形：由点、线等组成的有边界画面，文件中存放描述图形的指令。图像：由图像设备输入的无边界画面，数字化后以位图形式存储。•图形与图像的数字化分辨率（行、列）和颜色深度真彩色每个像素点占3个字节，224=16777216种颜色。计算存储一秒图像公式：列数×行数×像素的颜色深度/8×帧/秒=字节数例：1280×1024分辨率的“真彩色”电视图像，按每秒30帧计算，显示1分钟，则需要：1280×1024×3×30×60≈6.6GB272.图像的数字化•采样用多少个像素点的“列数×行数”表示，分辨率越高，图像越清晰，存储量也越大。•量化量化是在图像离散化后，将表示图像色彩浓淡的连续变化值离化为整数值的过程。把量化时所确定的整数值取值个数称为量化级数,也称为颜色深度.图像采样量化数字图像28颜色深度①黑白图图像的颜色深度为1，则用一个二进制位1和0表示纯白、纯黑两种情况；②灰度图图像的颜色深度为8，占一个字节，灰度级别为256级。通过调整黑白两色的程度（称颜色灰度）来有效地显示单色图像；③RGB24位真彩色彩色图像显示时，由红、绿、蓝三基色通过不同的强度混合而成，当强度分成256级（值为0～255），占24位，就构成了224=16777216种颜色的“真彩色”图像。灰度图彩色图29图像的分辨率和像素位的颜色深度决定了图像文件的大小，计算公式为：列数×行数×颜色深度÷8=图像字节数例8.2当要表示一个分辨率为640×480的“24位真彩色”图像，则需要：640×480×24÷8≈1MB由此可见，数字化后的图像数据量十分巨大，必须采用编码技术来压缩信息。它是图像传输与存储的关键。•编码对数字化后的图像信息存储格式的处理过程303.常用图像文件格式•BMP和DIB格式文件与设备无关的位图格式文件，Windows环境中经常使用.•GIF格式文件Internet上的重要文件格式之一，最大不超过64KB，256色以内，压缩比较高，与设备无关。•JPEG格式文件（.JPG）利用JPEG方法压缩,Internet上重要文件格式之一，适用于处理256色以上、大幅面图像。•WMF格式文件位图与矢量图的混合体,Windows中许多剪贴画图像是以该格式存储的。广泛应用于桌面出版印刷领域。•PNG格式文件流式图像文件，无损压缩，压缩比高，适用网络中传播。314.图像数据的获取•利用图像处理软件和现成的图像库最常用的是Photoshop,可以绘图,也可以编辑来自网络、CD-ROM光盘上存储的图像库“画图”程序可以获取屏幕界面•利用数字化设备获取数码相机、数字摄象机，将拍摄的自然界景物按数字格式存储通过连接转换转换成计算机中的图像和影象文件。扫描仪将照片、艺术作品转换成数字图像文件。328.3.3数字视频及处理视频是将一幅幅独立图像组成的序列按照一定的速率连续播放，利用视觉暂留现象在人的眼前呈现出连续运动的画面。模拟视频常用两种标准：NTSC制式(30帧/秒，525行/帧)PAL制式（25帧/秒，625行/帧），我国采用PAL制式。例1分钟的数字视频容量640×480×3×30×60=1658880000字节分辨率帧/秒采样深度时间33常用视频文件格式•AVI（Audio-VideoInterleaved）文件将视频与音频信息交错地保存在一个文件中，较好地解决了音频与视频的同步问题，已成