研究生多媒体01_绪论

多媒体技术多媒体技术任课教师：杨静电子邮件：[e-mail]第一章绪论多媒体系统：通过多种技术在不断演进过程中产生的融合和集成课程主要内容：多媒体相关技术，以及从系统的角度出发的多媒体系统的组成与特性第一章绪论环境感觉操纵时间、空间环境表现操纵采集操纵多媒体系统第一章绪论1.什么是多媒体系统1.1概述媒体（media）：指承载信息的载体。按照ITU-T建议的定义，媒体可以分为以下几种：感知媒体，表示媒体，显示媒体，存储媒体和传输媒体。第一章绪论1.什么是多媒体系统1.1概述多媒体（multimedia）：多种媒体的结合和利用【定义一】利用计算机技术把文本、图形、图像和动画等多种媒体综合一体化，使之建立起逻辑上的联系，并能够对它们获取、解码、编码、编辑、处理、存储、传输和再现。【定义二】将影象、声音、图形、图象、文字、文本、动画等多种媒体结合在一起，形成一个有机的整体，能实现一定的功能，就称之为多媒体。第一章绪论1.什么是多媒体系统1.1概述多媒体（multimedia）：多种媒体的结合和利用【定义三】多媒体将多种媒体——包括文本、图片、动画、视频、和声音组合成一个大包。它是互动的，用户通过选择和控制成为其中一员。【定义四】多媒体是融合两种或者两种以上媒体的一种人－机交互式的信息交流和传播媒体。关键特性：信息载体多样性、集成性、交互性第一章绪论1.什么是多媒体系统1.1概述多媒体的起源多媒体的直接起源是计算机工业界、家用电器工业界和通信工业界对各自领域未来发展的预测。家电行业、有线电视、娱乐行业、计算机工业及通信业应用的相互融合，产生了真正意义上的多媒体技术。第一章绪论1.什么是多媒体系统1.1概述多媒体技术：用计算机有效处理有机集成的多种媒体载体上的信息的技术。多媒体技术的特点：综合性：计算机技术＋用户研究＋心理研究等多元性：时间特性，空间特性，逻辑特性等广泛性：涉及多种技术第一章绪论1.什么是多媒体系统1.1概述多媒体技术的基础——多媒体软硬件平台技术、多媒体操作系统技术、多媒体信息管理技术、多媒体通信与分布应用技术。包含的主要内容：数据压缩和编码数据交换输入/输出技术存储技术……第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势：（一）智能感知技术（二）虚拟现实与人机交互第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——智能感知技术基于人类感知和认知机理的智能信息处理技术主要研究内容：感知计算模型，图像语义理解技术，基于人类感知和认知机理的机器学习、模式识别、多源感知融合等。新型人机交互模式及技术主要研究内容：新型人机交互模式与多通道人机交互技术，生物特征识别新方法，基于注意机制的人机交互新模型等。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——智能感知技术基于视觉感知与认知机理的图像分析与识别系统研究目标：突破基于人类视觉感知与认知机理的图像处理模型、关键技术和算法，建立个性化、高准确度的图像分析与识别系统。主要研究内容：分层交互的统计视觉计算模型与推理，基于感知整合机制的视觉模式识别技术，具有选择性注意机制的视觉信息搜索与多目标跟踪模型。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——智能感知技术复杂应用环境下的生物特征识别系统研究目标：突破安全便捷的、高可靠性的多生物特征获取及识别算法，建立面向典型应用的生物特征识别与认证原型系统。主要研究内容：脸相、虹膜、掌纹等多生物特征获取技术，大规模生物特征库的分类和检索，具有鲁棒性的生物特征识别关键技术，面向实际应用需求的多种生物特征的融合技术等。主要指标：研制脸相、虹膜、掌纹等生物特征获取设备样机，以及大规模脸相、虹膜和掌纹库的分类和检索系统，错误接收率为百万分之一条件下错误拒绝率小于3%，等错误率小于1/1000。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——智能感知技术面向网络应用环境的自然人机/人际语音系统研究目标：研究基于自然口语的人机对话技术和特定领域的口语翻译技术，建立网络应用环境下的自然人机对话系统和双语语音翻译系统，探索语音应用新模式。主要研究内容：自然口语语音识别、理解和翻译技术，面向应用的自然人机对话模型与管理技术，个性化目标语音合成，人机对话和语音互译的系统集成技术等。主要指标：面向领域自然口语人机对话响应准确率达到90%，语音合成MOS得分超过4.5，支持中-英、中-日互译，在限定应用场景下的语音翻译BLEU达到0.35，支持企业级和电信级的大用户量的并发使用。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——虚拟现实与人机交互虚拟现实建模与表现技术主要研究内容：多种媒体融合、光照合成和虚实结合等新技术；大规模复杂场景快速建模与实时绘制新技术；虚拟对象情感与行为特性建模表现技术；医学医疗、文化教育、工业制造、社会活动等领域中特殊环境和行为过程建模表现的新技术和新方法等。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——虚拟现实与人机交互数字媒体内容制作技术主要研究内容：文字、图像、音视频信息数字化处理与合成的新技术；电影/动漫特效制作和数字影音内容制作的新技术；游戏、动漫等媒体内容网络化协同创作技术；支持数字媒体内容制作的图形图像处理新技术等。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——虚拟现实与人机交互数字媒体处理与服务技术主要研究内容：数字媒体内容集成与分发的关键技术；数字媒体海量信息管理与基于内容检索的关键技术；提升数字媒体制作效率或精度的CG新技术；视音频编解码新技术等。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——虚拟现实与人机交互支持人机交互的显示技术主要研究内容：视觉、听觉、触觉等感知信息处理和显示技术；虚拟环境中的多通道交互信息融合与显示技术；可伸缩的高分辨率投影显示技术；沉浸感的新型显示方法与技术等。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——虚拟现实与人机交互分布式虚拟现实与数字媒体技术主要研究内容：分布式大规模虚拟环境构建与时空管理技术；支持分布式大规模虚拟仿真应用的并行计算技术；分布式应用环境中多用户远程协同交互技术等。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——虚拟现实与人机交互虚拟现实应用系统集成开发环境研究目标：构建由工具和平台组成的，能够支持虚拟现实技术研究、应用系统开发和效能分析评价的综合集成环境。主要研究内容：虚拟环境和对象高效建模的新型技术，虚拟现实应用系统开发、测试、发布和体验的关键技术，虚拟现实系统效能的验证与评判技术，千兆级复杂度的虚拟环境驱动引擎技术，支持虚拟现实相关技术研究的分布计算环境。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——虚拟现实与人机交互支持数字媒体内容创作的集成环境研究目标：构建能够支持动漫、游戏、数字影视等数字媒体产品开发的创作工具集和通用引擎。主要研究内容：支持大规模网络协作式内容创作的关键技术，网络游戏通用引擎开发的关键技术，高效的对象造型与非线性编辑技术；支持多种媒体融合的建模技术与创作工具，高效的数字媒体渲染服务新技术。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——虚拟现实与人机交互支持大型公共设施安全问题研究的系统原型研究目标：建构能支持对大型公共建筑或重要公共基础设施危机处置预案进行研究与评估的系统原型。主要研究内容：复杂场景和大规模实体建模技术，安全危机过程的建模、控制和可视化体验技术，安全危机处置预案可视化编辑和分析决策支持技术，安全危机处置效果的分析验证技术。主要指标：虚拟场景中的实体规模数应大于五万个、环境规模应大于100平方公里或建筑面积大于10万平方米；实现的虚拟环境能够随现实世界的自然变化过程而实时生成新的环境。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——虚拟现实与人机交互支持大规模综合训练的集成环境研究目标：构建能够支持重大问题决策分析的，集大规模人员、装备及相关环境设施为一体的综合训练集成环境。主要研究内容：大规模训练所需环境的建模与实时绘制技术，复杂虚拟实体及大规模群体建模技术，多模式人机交互技术，训练过程实时控制和综合效能分析技术。主要指标：训练环境应包括综合自然环境和公共基础设施环境等，训练虚拟实体数达到1万个以上，虚拟聚合类实体应能达到数十万人以上，能够支持虚实结合和人机结合的训练。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——虚拟现实与人机交互支持城市环境规划设计的集成环境研究目标：构建能够对城市环境或基础设施进行规划设计的工具集和资源管理平台。主要研究内容：支持规划设计中相关环境和社会活动建模绘制技术，相关数字媒体处理、编辑和集成展示技术，虚实结合的增强型虚拟环境生成技术，规划设计的决策分析和效果评价方法与技术。主要指标：能够实现城市级（100平方公里以上）规模的规划设计，应具有可视化的设计、体验和决策分析功能。第一章绪论1.什么是多媒体系统1.1概述多媒体技术应用发展的趋势——虚拟现实与人机交互支持先进装备模拟训练的系统原型研究目标：选择先进的实用装备或设备，集成开发出符合实际装备训练需求的虚拟现实系统原型。主要研究内容：复杂装备/设备系统的建模与展示技术，复杂装备/设备动态行为仿真建模技术，装备系统训练的人机交互技术，支持模拟训练环境集成和系统实现的相关技术。主要指标：所模拟的装备性能和效能应通过权威部门使用验证，支持装备训练的真三维场景地形面积≥1000km2，能够支持虚实装备和操作人员相结合的训练。第一章绪论1.什么是多媒体系统1.2多媒体系统所谓多媒体系统，是指多媒体终端设备、多媒体网络设备、多媒体服务系统、多媒体软件及有关的媒体数据组成的有机整体。当多媒体系统只是单机系统时，可以只包含多媒体终端系统和相应的软件及数据，例如多媒体个人计算机MPC。而在大多数情况下，多媒体系统是以网络形式出现的。至少在概念上应该以网络互联的。第一章绪论1.什么是多媒体系统1.2多媒体系统多媒体系统——信息系统的新形式所谓“信息系统”，是指提供信息、辅助人们对环境进行控制和决策的系统，是人、机器、思想及收集与处理活动的集合。特性：整体性、结构性和各组织成分间的交互性第一章绪论1.什么是多媒体系统1.2多媒体系统传统的信息系统多媒体信息系统多媒体信息系统集成的范围更为广泛使用的信息真正的实现多媒体化多媒体信息系统的应用范围更加广泛第一章绪论1.什么是多媒体系统1.2多媒体系统多媒体系统的分类——多媒体计算系统和多媒体通信系统广义：信息系统包含所有与信息获取、信息处理、信息分发、信息显示等完整过程有关的设备和内容。多媒体信息系统包括：计算机设备、数据库系统、多媒体通信网、用户接口等各个部分。其中，有关计算机的信息处理部分被称为计算系统，而将通信部分看作是支持信息系统的信息传输通道，即通信系统。第一章绪论1.什么是多媒体系统1.2多媒体系统多媒体系统与分布式系统在我们的课程中，如果不做特殊的说明，我们所说的多媒体系统应该是一个分布式的多媒体系统。系统中应该具备：全局名称空间、客户服务器计算、全局时钟和分布对象管理等方面的能力，使得多媒体的资源能在更大的范围共享。第一章绪论1.什么是多媒体系统1.3多媒体系统的应用及分类多媒体出版多媒体办公自动化和计算机会议系统多媒体信息咨询系统交互式数字化电视与视频点播数字化图书馆远程学习和远程医疗保健……第一章绪论2.多媒体系统的主要特征集成性交互性实时性人机合作第一章绪论2.多媒体系统的主要特征2.1集成性集成是系统的一个飞跃。多媒体系统的集成性主要表现在两个方面：多媒体信息媒体的集成处理这些媒体的设备与设施的集成第一章绪论2.多媒体系统的主要特征2.1集成性计算、通信和消费娱乐领域的融合计算设备LAN&WAN通信设备公共交换网消费娱乐