多媒体技术概述qdu

第1章多媒体技术概述2第1章多媒体技术概述媒体和多媒体的概念多媒体标准和系统31.1媒体和多媒体的概念•媒体•多媒体•多媒体分类和描述•数字媒体41.1.1媒体•“媒体（medium）”的原义是“thingsinthemiddle”，又称载体或介质，指信息传送和存储的最基本的技术和手段。•可分为感知媒体（perceptionmedium）、表示媒体（representationmedium）、表现媒体（presentationmedium）、存储媒体（storagemedium）和传输媒体（transmissionmedium）五类。51.1.1媒体感知媒体：指人的感觉器官所能感觉到的信息的自然种类。如声音、图形、图像、动画、电影和文本等。人的感觉包括视觉、听觉、触觉、嗅觉、味觉等。感知媒体帮助人类感知环境的信息。目前，人类主要靠视觉和听觉来感知环境的信息。触觉作为一种感知方式也慢慢引入到计算机中。人类从外部世界获取信息的70%~80%是从视觉获得，10%从听觉获得，其余的10%从触觉、嗅觉和味觉获得。6感知媒体例：文本象形文字：foot(埃及）汉字：水（唐朝怀素、东晋王羲之及周朝石鼓文）中国甲骨文字释文旬壬申夕月有食说明远在三千年前我国即有关于天文方面的记录，本片甲骨是当时月食的记录。这说明我国具有悠久的文明历史。7感知媒体例：图形和图像图形图像8感知媒体例：动画和视频动画视频9感知媒体例：音频10感知媒体例：音视频111.1.1媒体表示媒体：指被交换的数据类型，它们定义信息的特性。表示媒体的特性用信息的计算机内部编码表示，例子有语音PCM编码、图像JPEG编码、文本ASCII编码和乐谱等。121.1.1媒体表现媒体：指为人们再现信息的物理工具和设备（输出设备），或者指获取信息的工具和设备（输入设备）。如显示器、扬声器、打印机等输出类显现媒体，以及键盘、鼠标器、扫描器等输入类表现媒体。131.1.1媒体存储媒体：指存储数据的物理介质，如纸张、磁盘、光碟等。141.1.1媒体传输媒体：指传输数据的物理媒介，如双绞线、同轴电缆、光缆、无线电链路等传输媒体。15传输媒体：电缆（a）双绞线（b）同轴电缆16传输媒体：光纤17传输媒体：无线电离层181.1.2多媒体•“多媒体（multimedia）”一词大约在1960-1965年开始使用，其中“multi”是“许多”的意思。术语“多媒体”的原意是指“通过计算机、电视、电话等散布和表现用图形、动画、音频、视频、文本等格式编码的信息”。•多媒体=多种媒体数据+一系列交互19多媒体=多种媒体数据+一系列交互•多种媒体数据：多种来源的、多种类型的和多种格式的数据（multisource,multitypeandmultiformatdata）的集合。•多媒体成分之间的交互：由复杂的关系组成。如果没有这些关系，多媒体只能是音频数据、视频数据与其他数据的简单集合。20交互•交互是人类获取信息、掌握知识的重要途径–看见的信息人们只能记住20%–听见的信息人们只能记住30%–既看见同时又听见的信息人们能记住50%–既看见同时又听见并且也参与的信息人们能记住80%EffectofMediaTypeonMemoryRecallPercentageofFactsRememberedTreichler(1967)%Recall0102030405060708090ReadingHearingSeeingHearingandSeeingSayingandDoing221.1.2多媒体•多媒体技术涉及许多方面，其中最重要的有多媒体信号处理技术、多媒体数据存储技术、传输技术、表现技术、安全技术等。•一般所说的“多媒体”，不仅指多种媒体信息本身，而且指处理和应用多媒体信息的相应技术，因此“多媒体”常被当作“多媒体技术”的同义词。231.1.2多媒体•区分一个应用或系统是否是多媒体应用或多媒体系统的三条主要标准：媒体的数目支持多媒体的类型媒体的集成化程度•支持处理多种媒体，以及支持多种类型媒体集成化处理，是衡量是否属多媒体应用和系统的标准。241.1.3多媒体分类和描述•从人类感知角度划分，媒体可以分成听觉媒体、视觉媒体、触觉媒体、嗅觉媒体和味觉媒体等五大类。•听觉媒体又称为可聆听（Audio）媒体，视觉媒体又称为可视（Visual）媒体。现在多媒体包含的主要是可听和可视两大类。251.1.3多媒体分类和描述•如果媒体的显示域是一个连续域，这种媒体一般称为模拟媒体（analogmedium）或连续媒体（continuousmedium）。•如果媒体的显示域是一些离散的点，这种媒体一般称为离散媒体（discretemedium）。模拟媒体例：时间和幅度均连续离散媒体例：时间和幅度均不连续261.1.3多媒体分类和描述•按照显示域里的时间维，媒体被分为非时间媒体（离散媒体）与时间媒体（连续媒体）两类。非时间媒体或时间离散媒体。它们由不依赖于时间的信息组成。时间媒体或时间连续媒体。其显示要求随时间变化连续地播放。27时间离散媒体28时间连续媒体291.1.3多媒体分类和描述•从网络连接的角度，媒体可以分为非实时媒体和实时媒体两大类。•根据应用的不同，上述时间离散媒体既可能是非实时的，也可能是实时的。30媒体的网络分类媒体类型非实时类实时类文本数据图像离散的连续的容许时延的不容许时延的文本方式聊天及时消息气象报告流式音频/视频交互式音频/视频远程桌面应用不容错的311.1.4数字媒体•在多媒体技术中，绝大多数数字媒体是对模拟媒体进行适当处理而得到的。321.1.4数字媒体•处理大致分为两步：•第一步：对模拟媒体在显示域进行采样（sampling），形成离散媒体。•第二步：对离散媒体的表达值（即第1步得到的样本值）进行量化（quantization）。采样量化模拟媒体输入数字媒体输出离散媒体33采样如果对模拟信号，每隔相等的一小段时间采样一次，这种采样称为均匀采样(uniformsampling)；否则称为非均匀采样。通常采用均匀采样。34量化•连续幅度的离散化通过量化来实现，就是把信号的强度划分成一小段一小段，并用某种准则（例如四舍五入）将其数值表示出来。如果幅度的划分是等间隔的，就称为线性量化，否则称为非线性量化。35模拟-数字转换的两个问题•采样频率(fs)：每秒钟需要采集多少个信号样本•量化精度：每个信号样本的比特数b/s(bitpersample)应该是多少36奈奎斯特理论（Nyquisttheory）采样频率不应低于模拟信号最高频率的两倍，这样就能把以数字表达的信号还原成原来的信号，这叫做无损数字化（losslessdigitization）fs≥2f或者Ts≤T/2其中f为被采样信号的最高频率，T为被采样信号的最低周期，fs称为采样频率，Ts为采样间隔。37奈奎斯特理论解释•模拟信号可看成是由许许多多正弦波组成的，一个振幅为A、频率为f的正弦波至少需要两个采样样本表示，因此，如果一个信号中的最高频率为fmax，采样频率最低要选择2fmax。•示例：电话话音的信号频率约为3.4kHz，采样频率通常选为8kHz38工程实现问题•ADC和DAC–ADC（Analog-DigitalConvert）–DAC（Digital-AnalogConvert）•模拟运动图像的数字化：首先是在时间维上采样，得到静止图片。然后对每幅图片在水平方向采样（X轴），得到行图像。然后对每个行图像采样（Y轴）。最后对得到的每个样值进行量化。•其他问题：–性能方面：如带宽、存储容量、处理能力等–质量方面：实时性（realtime）、容错（errortolerance）和同步（synchronization）等391.2多媒体标准和系统•多媒体标准ISO的MPEG系列、MHEG、JPEG系列，ITU-T的音频标准G.711/G.721/G.722/G.723/G.728，IEFT的RSVP、DiffServ、IPv6，W3C的HTML、XML、XHTML等标准移动多媒体3G,4G…….•多媒体系统的概念多媒体系统及特性、分类、元素401.2.1多媒体标准•什么叫做标准？所谓标准是记录在案的一致意见（documentedagreements），包含技术规范或其他被一致地用作规则（rules）、指南或角色定义的精确的准则，以便保证材料、产品、过程和服务合乎各自的目的。有很多组织机构开发和发布与多媒体技术有关的协议，包括国际组织，区域组织，政府机构，企业事业和研究单位等。41多媒体标准化组织•国际标准化组织（ISO，InternationalOrganizationforStandardization）•ITU-T•因特网协会•W3联盟•中国的官方标准化组织42ISO•一个涉及范围很广的开发标准的国际机构•一个自愿的、无条约的组织–会员是由各成员国指定的标准化组织，再加上没有选举权的观察组织组成。–目前共有146个国家参加了该组织。虽然ISO不是一个政府机构，但有70％以上的ISO会员是政府的标准研究机构或依法组建的团体，其他会员大多数与各国的行政管理机构有密切联系。•包含150多个技术委员会，600多个分委员会，1,500多个工作组43ISO（续）•ISO于1946年组建以来，已在广泛的领域发布了12,000多个标准，超过300,000页，涉及从螺纹到太阳能等各种各样的东西。–著名的开放系统互连（OSI，OpenSystemsInterconnection）参考模型就是ISO提出的标准。•ISO的目标是推动标准化及其相关活动的发展，以促进国际间的贸易和服务往来，并发展智力、科学、技术和经济等各领域的活动合作。44ISO标准的开发原则•一致意见（Consensus）。即考虑所有利害关系方的意见，包括制造厂，销售商和用户，消费群体，测试实验机构，政府机构，工程行业和研究组织。•工业界（Industry-wide）。寻求全面的解决方案，以满足世界范围的工业界和消费界要求。•自愿（Voluntary）。国际标准是市场驱动的，因此基于市场上所有利害关系方的自愿参与。45ISO标准的开发过程•第一阶段：标准的提出–标准的需要通常由一个工业工作部门提出，这个部门将此需求与一个国家成员体进行交流。后者向ISO提出一个总的工作项建议。当识别到真正需要一个国际标准并就此正式达成一致意见时，第一阶段就开始了，包括定义该未来标准的技术范围。这个阶段通常有一个工作组完成，工作组由来自对该主题感兴趣的有关国家的专家组成。46ISO标准的开发过程（续）•第二阶段：实现一致意见–当就该标准覆盖的各技术方面达成一致意见后，就进入第二阶段。在此阶段，各国就该标准的细节规范进行协商。这是实现一致意见的阶段。•最后阶段：ISO标准–包括正式批准形成的国际标准草案，以及作为ISO国际标准出版。国际标准草案需分发给国家成员体进行表决。发布一项国际标准，至少需要75%的参与表决的国家成员体投票赞成。47ISO标准经历的六个步骤1)建议阶段（Proposalstage）：一个新的工作项目被指派到合适的技术委员会，该技术委员会再将其分配给合适的工作组。2)预备阶段（Preparatorystage）：工作组准备工作草案。当工作组认为那些被提到的问题已经有了最佳的技术解决方案后，才会考虑下一步的工作草案。在这个阶段，草案会被提交给该工作组的上级委员会，从而进入寻求一致意见阶段。48ISO标准经历的六个步骤（续）3)委员会阶段（Committeestage）：一旦委员会草案第一稿形成，就要在ISO中央秘书处登记，并将其分发给感兴趣的成员，以期得到推荐及技术上的评议。直至委员会成员就其技术内容一致同意后，才会考虑后续的委员会草案。一旦达成一致，该文件才能作为国际标准草案(DraftInternationalStandard，DIS)提交。4)质询阶段（Enquirystage）：ISO中央秘书处向全体ISO成员体发行该DIS，已发行的DIS需要经过5个月的投票和建议期。如果