数字媒体技术概述

数字媒体处理技术课程定位2019/10/12提纲1.1数字媒体的基本概念1.2数字媒体处理关键技术1.3数字媒体标准简介1.4数字媒体技术的应用41.1数字媒体的基本概念计算机的社会角色计算信息交流智能服务信息交流(人类发展和人的成长/计算机发展)情感—语言—文字—bits(—简单化、精确化)情感—语言—文字—bits(—自然化、可觉化)文字信息为主的信息交流时代计算机数字技术什么是多媒体●多媒体定义多媒体技术是利用计算机对文字、图像、图形、动画、音频、视频等多种信息进行综合处理、建立逻辑关系和人机交互作用的产物。●“多媒体”一词源自“Multimedia”Multi(Latinmultus)-many;much;multiple-多重、复合Medium(Latinmedius)-asubstanceregardedasthemeansoftransmissionofaforceoreffect;achannelorsystemofcommunication,information,orentertainment(Merriam-WebsterDictionary)medium的复数形式media介质、媒介和媒体1234多媒体的特性多媒体强调的是使用多种媒体、综合表达信息内容并进行交互式处理的技术。从本质上来说，具有三种最重要的特性：媒体的多样性，其中至少有一种连续媒体；媒体的集成性（综合性），多种不同媒体综合地表现某个内容，取得更好的效果；处理的交互性，使人们获取和使用信息的过程中具有细粒度的控制和操纵能力。计算机与媒体表示存储展现采集感觉感觉表示传输OutputDeviceInputDeviceCPU什么是多媒体：分类最常见的分类方法是基于感觉文本图像音频(语音)视频基于描述空间中时间维分类时间独立(离散)文本、图形时间依赖(连续)音频、视频、语音、动画基于描述空间中空间维分类1D媒体单声道语音、音乐2D媒体双声道音乐、图像、二维图形3D及多维媒体三维图形,全景图像,空间立体声音乐媒体分类标准存储(Storage)展现(Presentation)表示(Representation)感觉(Perception)信息交换(InformationExchange)传输(Transmission)什么是数字媒体多媒体Multimedia:文本、图形、图像、视频和音频的组合形式，使其内容更丰富，更便于交流。数字媒体DigitalMedia:以数字化的形式存储、处理和传播信息的媒体，以网络为主要传播载体，并具有多样性、互动性、集成性等特点。什么是数字媒体：ABigPicture图像文本语音音频视频多媒体VirtualworldsStreamingvideoWebpagesStreamingaudioClient-server数字媒体系统Authoring媒体内容管理ToolsFrameworks网络分布式数字媒体系统数字媒体技术的研究内容核心关键技术数字媒体信息处理技术：视音频编码压缩、图像/视频内容分析、语音识别等；数字媒体传输技术：网络流媒体、P2P、无线多媒体传输等；数字媒体内容管理技术：数字媒体数据库、基于内容的检索、数字版权管理、数字信息保护、数字媒体集成分发等。关联支持：数字媒体信息获取与输出技术：图像/视频采集技术与设备、三维显示技术与设备等；数字媒体存储技术：海量分布存储等。扩展应用：图形与动画技术：图形输入、图形建模、图形处理与输出、复杂物体造型、表演动画等；虚拟现实技术：动态虚拟环境建模、实时三维图形生成、立体显示与传感器等。什么是数字媒体数字媒体信息的表现形式是多种多样的，能够用计算机记录和传播的信息媒体，无论是已经应用还是将要应用的，其共同的一个重要特点就是信息的最小单元是比特——“0”或“1”。数字信息的最小单元就是比特，通过比特可以表述各种媒体信息。比特是信息的最小单元比特没有颜色、尺寸和重量，它只是一种存在的状态：开或关、真或假、高或低、黑或白，总之简记为0或1。比特易于复制，而且复制的质量不会随复制数量的增加而下降。比特可以以极快的速度传播，而且在传播时不受时空的限制。比特可以用来表现文字、图像、动画、影视、语音及音乐等信息多媒体与数字媒体多媒体是混合的比特多媒体（multimedia）：文本数据、声音、图像、动画等的混合。多媒体技术：能对多种载体（媒介）上的信息和多种存储体（媒质）上的信息用计算机进行采集、存储、编辑、显示、传播等综合处理的技术多媒体信息：通过多媒体传播的信息。多媒体系统：能够产生、存储、传播多媒体信息的系统。数字媒体技术的发展数字媒体计算机演变的关键技术1970-an19801990Future8位处理器CD-ROM,LAN,WAN,16位处理器桌面PC32位处理器数字视音频图形操作系统计算、通信、内容、消费电子融合(4C)BROADBAND/WiredandWirelessEntertainment,E-Business,ServicesMEDIAPre-RecordedContentPersonalMediaConditionalAccess/Cable,Satellite,Broadcast,WirelessServices,EntertainmentAnyContent+,AnyPlace,AnyDevice,AnyTime+AsAuthorizedMOBILEMULTIMEDIAEntertainment,PersonalPicturesandVideo,Services181.2数字媒体处理关键技术媒体数字化为什么要数字化？数字化过程媒体数字化关键技术采样（Sampling）压缩（Compression）编码（Coding）为什么要数字化？模拟的问题：模拟失真，依赖载体数字化的好处：通用的存储和传输格式，数字化后处理更方便适用于光盘存储和远距离传输准确可靠，没有累计失真，可以无损传输和存储数字化的问题采样率失真，信息丢失与模拟相比，需要很大的空间，例如35mm照片需要420万像素，高清视频码率大于1Gbps需要压缩数字悬崖：马赛克、画面暂停丢失数字化过程三步骤采样（Sampling）量化（Quantizing）压缩（Compression）与编码（Coding）SamplerQuantizer&CoderanalogsignalsampledsignaldigitizedsignalStep1:采样与失真通过某种频率的采样脉冲将模拟信息的值取出，变连续的模拟信息为离散信号。采样定理：采样频率＝原始信号频率的2倍时，采样信号才可以保真地恢复为原始信号。Step2:量化与失真将采样样本的幅度按照量化级别决定其取值的过程。目的是将采样样本的幅度值离散化。量化之前需要规定量化级，比如8级，16级，256级等。量化是一个对一的映射。例如：画图软件的颜色级别为什么感知很重要？失真评价的基础:编码与压缩编码用相应位数的二进制代码表示量化后的采样样本的量级。如果有N个量化级为，那么对应的二进制位数就为log2N。当N＝16，二进制需要4位。经过编码之后，每个样本都表示为相应的二进制代码。脉冲编码调制（PCM，PulseCodeModulation）,完成模拟信号的数字化为什么需要数据压缩？压缩编码的理论基本原理从信息论的角度来看，压缩就是去掉信息中的冗余，即保留不确定的信息，去除确定的信息(可推知的)，也就是用一种更接近信息本质的描述来代替原有冗余的描述。信息冗余的例子你的朋友，Helen，将于明天晚上6点零5分在上海的虹桥机场接你。(23*2+10=56个半角字符)你的朋友将于明天晚上6点零5分在虹桥机场接你。(20*2+3=43个半角字符）Helen将于明晚6点在虹桥接你。(10*2+7=27个半角字符）结论：只要接收端不会产生误解，就可以减少承载信息的数据量。多媒体领域中的冗余分类统计冗余空间冗余——规则物体的物理相关性时间冗余——视频与动画画面间以及音频帧间的相关性信息熵冗余编码冗余——数据与携带的信息结构冗余纹理冗余——规则纹理、相互重叠的结构表面视/听觉冗余视觉、听觉敏感度和非线性感觉知识冗余凭借经验识别10110001110010110001110001011010101010111100010111111010224色28色数据压缩数据压缩可分成两种类型无损压缩有损压缩无损压缩指使用压缩后的数据进行重构(或者叫做还原，解压缩)，重构后的数据与原来的数据完全相同用于要求重构的信号与原始信号完全一致的场合。一个很常见的例子是磁盘文件的压缩。有损压缩指使用压缩后的数据进行重构，重构后的数据与原来的数据有所不同，但不影响人对原始资料表达的信息造成误解。适用于重构信号不一定非要和原始信号完全相同的场合。压缩策略无损压缩(LosslessCompression)哈夫曼编码(HuffmanCoding)自适应哈夫曼编码Lempel-Ziv-Welch(LZW)用于GIFJPEG-LS有损压缩(LossyCompression)JPEGH.261,MPEG-1,MPEG-2无损+有损(LosslessandLossyTogether)JPEG2000数据压缩的性能指标衡量压缩算法的三个主要性能指标（1）压缩比；（2）压缩质量（失真）；（3）压缩与解压缩的速度。不能兼得时要综合考虑压缩质量评价主观评价：平均意见得分（MOS）、五分制（优良中差劣）客观评价：均方误差、加权均方误差、信噪比、峰值信噪比（图像）、分段信噪比（音频）、似然比、谱失真测度2210log10)(rxdBSNR22max10log10)(rxdBPSNR编码方式举例：哈夫曼编码(HuffmanCoding)Huffman编码属于信息熵编码的方法之一，是根据信源符号出现概率的分布特性而进行的压缩编码。也称为最佳编码，平均码长最短。编码过程：1.初始化:将信源符号按频率递减顺序排列,输入L;2.重复如下操作直至L中只有1个结点:(a)从L中取得两个具有最低频率的结点，为它们创建一个父结点；(b)将它们的频率和赋给父结点，并将其插入L;(c)将树的左右孩子赋符号“0”和“1”，并从L中删除。哈夫曼编码(HuffmanCoding)示例输入：“ALOHAHAWAII”频率：4A,2H,2I,1L,1O,1space,1W96bits(8bits*12characters)to32bits:AIHL[space]WO010000011111A=0,I=100,H=101,L=1100,space=1101,etc.例子：Javaappletexampleat数字媒体标准简介为什么需要媒体标准？数字媒体标准是相关技术与产业之基础！技术基础：采用不同标准的数字媒体，其压缩、编码、传输、内容分析与检索等技术有所不同产业基础：五环相扣——技术、专利、标准、产业、应用例子：全球电视竞争的转折点在MPEG-2(1996)19911986197219841988929394979896日本向ITU-R提出模拟HDTV提案日本提出MUSE模拟传输制式日本模拟HDTV在汉城奥运会播出ISO/IEC成立信源标准组织MPEG美国成立高级电视技术委员会（ATSC），主攻数字电视欧洲媒体领域成立推进组织ELG，试探模拟高清电视HD-MACMPEG-1标准完成，信源编码技术体系形成欧洲成立数字电视