多媒体技术word版

第一章绪论什么是媒体？媒体是指传播信息的媒介。是人用来传递信息与获取信息的工具、渠道、载体、中介物或技术手段。存储信息的实体：媒质承载信息的载体：媒介什么是多媒体？以数字化为基础;对多种媒体信息进行采集、编码、存储、传输、处理和表现;综合处理多种媒体信息并建立起有机逻辑联系；集成为一个系统并能具有良好交互性；多媒体举例1.多媒体课件文字、图形、图像、声音、动画、影像等多种媒体素材在时间和空间两方面进行集成，使他们融为一体并赋予交互特性，满足辅助教学。软件PowerPoint、Authorware2.多媒体查询系统多媒体硬件系统：包括计算机、各种外部设备以及与各种外部设备的控制接口卡（其中包括多媒体实时压缩和解压缩电路）软件系统：包括多媒体驱动软件、多媒体操作系统、多媒体数据处理软件、多媒体创作工具软件和多媒体应用软件。1.1多媒体的基本概念概念1：国际电信联盟（ITU）对媒体分类感觉、表示、显示、存储、传输感觉媒体直接作用于人的感官、使人能直接产生感觉的一类媒体听觉、视觉、触觉嗅觉等表示媒体信息的表示形式，为了加工感觉媒体而构造出来的一种媒体图像、图形、视频等图像：BMP、JPG、PNG、GIF等；语音：MP3、WMA、WAV、APE、AAC等；视频：MP4、3GP、WMV、AVI、flv等；图形：3ds、OBJ、STL、VRML等；显示媒体表现和获取信息的物理设备，感觉媒体与通信电信号进行转换的一类媒体可分为：输入表现媒体，输出表现媒体显示器、打印机、扬声器、键盘、摄像机存储媒体存储数据的物理设备，用于存放表示媒体的一类媒体硬盘、光盘等传输媒体传输数据的物理媒体，用来将表示媒体从一处传送到另一处的物理传输介质各种通信电缆五类媒体的关系是什么？冯·诺伊曼结构：运算器、逻辑控制装置、存储器、输入和输出设备如下图概念2：什么是多媒体定义1：（Lippincott，Byte杂志1990）计算机交互式综合处理多种媒体信息--文本、图形、图像、声音，使多种信息建立逻辑连接，集成为一个系统并且具有交互性。定义2：（IBMMultimediaFoundation1990）多媒体是下面两种以上媒体组成结合体：文本、图形、动画、静态视频、动态视频、声音。这就意味着电视节目、动画片、个人视话都可被看作是多媒体。定义3：（J.Morgen，SGI，1992）多媒体是传统的计算媒体：文本、图形、图像以及逻辑分析方法等与视频、音频以及为了知识创建和表达的交互式应用的结合体。定义4：（汪成为，1994）所谓多媒体技术就是能对多种载体（媒介）上的信息和多种存储体（媒质）上的信息进行处理的技术。多媒体的关键特性特性1：多样性信息载体的多样性是相对于计算机而言的，指的就是信息媒体的多样化，有人称之为信息多维化。媒体分类视觉输入设备控制器存储器输出设备CPU显示媒体显示媒体表示媒体表示媒体感觉媒体感觉媒体传输媒体存储媒体图像图形文字视频图形符号视觉（静止）（动态）其他表示为视觉的媒体二维动画三维动画语言文字真实感生成动态影像视频抽象化抽象化听觉触觉其他感觉特性2：交互性（易于人和计算机的交互）交互可以增加对信息的注意力和理解力，延长信息保留的时间。当交互性引入时，“活动”本身作为一种媒体便介入到了数据转变为信息、信息转变为知识的过程之中。交互的类型视觉：图形用户界面听觉：声音用户界面触觉：实体用户界面交互水平从数据库中检录出某人的照片、声音和文字材料，是多媒体的初级交互应用；通过交互特性使用户介入到信息过程中，不仅仅提取信息，是中级交互应用水平；当我们完全地进入到一个与信息环境一体化的虚拟信息空间自由遨游时，这才是交互式应用的高级阶段，这就是虚拟现实（VirtualReality）。虚拟现实虚拟现实技术（Virtualreality），“灵境”，利用计算机系统和各种显示及控制设备生成一个逼真地可交互地具有视觉、听觉、触觉等沉浸感觉的三维环境的技术。沉浸性：使用户难以觉察、分辨出其自身正处于一个由计算机生成的虚拟环境中；交互性：使用户通过自己的行为自主地改变所处的虚拟环境、感受内容；构想性：依靠自身的感知和认知能力可全方位地获取知识，发挥主观能动性，寻求对问题的完美解决；交互设备穿戴设备非穿戴设备力反馈设备1.WIMP界面Window：窗口，图形用户界面的基础Icon:图标Menu:菜单Pointer:指针交互方式键盘＋鼠标＋显示器声音听觉声响（自然界）语音（人类语言）音乐抽象振动运动触觉传感发生器其他（嗅觉、味觉等）特性3：集成性（实现了信息处理的集成性）多媒体信息媒体的集成处理这些媒体的设备与设施的集成特性4：协同性每一种媒体都有其自身规律，各种媒体之间必须有机地配合才能协调一致。时间、空间和内容方面的协调是多媒体的关键技术之一。特性5：实时性实时性是指在多媒体系统中多种媒体间无论在时间上还是在空间上都存在着紧密的联系，是具有同步性和协调性的群体。实时多媒体分布系统是把计算机的交互性、通信的分布性和电视的真实性有机地结合在一起。归纳叙述多媒体关键特性及这些特性之间的关系多样性、交互性、集成性、（协同性和实时性）。信息载体的多样性是集成性的基础，没有多种信息媒体，也就无法进行多媒体信息的集成化处理；处理多媒体的设备与设施的集成性是实现交互性的前提，没有系统、网络、软硬件设施的集成，就无法为用户交互式使用、加工和控制信息提供平台。多媒体的协同性是指各种媒体之间必须有机地配合才能协调一致，时间、空间和内容方面的协调是多媒体的关键技术之一。多媒体的实时性是指在多媒体系统中多种媒体间无论在时间上还是在空间上都存在着紧密的联系，是具有同步性和协调性的群体。什么是WIMP交互范式？你认为未来人机交互的发展趋势是什么？集成化：人机交互将呈现出多样化、多通道交互的特点。语音、手势、表情、眼动、唇动、头动等交互手段将集成在一起，是新一代自然、高效的交互技术的一个发展方向。网络化：新一代的人机交互技术需要考虑在不同设备、不同网络、不同平台之间的无缝切换和延伸，支持用户随时随地利用多种简单的自然方式进行人机交互，而且包括支持多个用户之间以协作的方式进行交互。智能化：在人机交互中，使计算机更好地自动捕捉人的姿态、手势、语音和上下文等信息，了解人的意图，并做出合适的反馈或动作，提高交互活动的自然性和高效性，使人－机间的交互像人－人交互一样自然。标准化：从降低产品成本，提升设备的兼容性和可扩张性能等角度，人机交互标准的设定是一项长期而艰巨的任务，并随着社会需求的变化而不断变化。应用：AI、VR、AR、大数据结合，应用到数据分析、数字娱乐、游戏等1.2多媒体技术的产生与发展应用需求计算机发展初期：只能用数值媒体承载信息输入/输出：纸带和卡片（机器语言）极少数计算机专业人员能使用上世纪50s~70s：出现了高级语言，文字作为信息载体输入/输出：键盘/显示器等，英文（汇编等）应用扩大到具有一般文化程度的科技人员80s开始：人们致力于将声音、图形和图像作为新的信息媒体输入输出计算机输入/输出：1984年Apple公司的Macintosh机上引进了“bitmap”的图形机理和Mouse输入文化水平较低的人（包括儿童）启蒙发展阶段多媒体计算机技术最早起源于八十年代中期。1984年,Apple公司在研制Macintosh计算机时,为了改善人机交互界面,创造性地使用了位映射(bitmap)、窗口(window)、图符(icon)等技术,所带来的图形用户界面(GUI),同时鼠标作为交互设备配合GUI使用,大大方便了用户的操作。1985年,Microsoft公司推出了Windows,它是一个多任务的图形操作环境。1985年,美国Commodore公司首先推出世界上第一台多媒体计算机Amiga系统。其CPU采用MotorolaM68000,3个专用芯片:图形处理芯片Agnus8370,音响处理芯片Paula8364,视频处理芯片Denise8362。Amiga机具有自己专用的操作系统,能够处理多任务,并具有下拉菜单、多窗口、图符等功能。1986年,荷兰Philips公司和日本Sony公司联合出CD-I（CompactDisc-Interactive）,同时公布了该系统所采用的CD-ROM光盘的数据格式,这项技术对大容量存储设备光盘发展起着巨大的影响,并经ISO认可成为国际标准。该系统把高质量的声音、文字、计算机程序、图形、动画以及静止图像等都以数字的形式存放在容量为650MB的5英寸只读光盘上。最早家庭所用的多媒体系统。多媒体热潮的兴起MPC联盟规定多媒体计算机包括5个基本的部件：个人计算机、只读光盘驱动器（CD-ROM）、声卡、Windows操作系统和一组音箱或耳机1990年10月,微软公司MPC1.0标准（286/386）。1993年，由IBM、Intel等MPC2.0（486）。1995年6月,MPC3.0（586）。1996年以后,新的个人机均支持基本多媒体功能。项目MPC-1MPC-2MPC-3CPU16MHz386SX（推荐386DX或486SX）25MHz486SX（推荐486DX或DX2）75MHzPentium或兼容芯片（推荐100MHzPentium）RAM≥2MB≥4MB≥8MB硬盘≥30MB≥160MB≥540MBCD-ROM150KB/S300KB/S600KB/S声卡8位数字声音，8个合成音、MIDI16位数字声音、8个合成音、MIDI16位数字声音、WAVETABLE、MIDI显卡640×480，16色（推荐256色）640×480256色（推荐65536色）640×48065536色（推荐图形加速卡）项目MPC-1MPC-2MPC-3视频播放352×24030FPS（352×28825FP）15Bit/Pixes多媒体的第二次浪潮一批设备普及移动终端、VR设备、交互设备……一批产品出现HTCVIVE、Oculus、Unity3D一批产业出现美国硅谷、中国中关村等互联网媒体Youtube、乐视等产业化前景极好用途范围极为广泛信息处理手段得以加强–高速计算能力–大规模存储–高速通讯网•人机交互形式（44种）–计算机—计算机；–人—人；–人—计算机；–计算机—计算机—机计算机（数据传输）–多媒体信息系统：为综合考虑多媒体信息的处理、统一数据格式、网络传输协议与标准奠定了基础。•人—人人（通过计算机）–计算机是高效信息传递媒介，如发邮件。–计算机成为“宽”通道，不仅使用文本。–如果计算机可以理解信息的含义，做到自动语言翻译，可提高人人交互的水平。人工智能-深度学习–语音识别：速记准确率达95%；–图像识别：ImageNet比赛的图像识别准确率95%；–文字识别：OCR技术，识别率超过99.9%%–国际象棋：深蓝–围棋：aAIpha人—计算机（克服局限）–人的思维模式：形象、联想、多样、模糊、并行I/O端口MIDI接口、串并口、游戏杆接口MIDI接口、串并口、游戏杆接口MIDI接口、串并口、游戏杆接口操作系统DOS版本3.1以上、Windows3.0带多媒体扩展DOS版本3.1以上、Windows3.1Windows3.1–计算机的工作方式：精确、清楚、串行、……–方法：形式化描述问题；找到一个算法解决问题以合理的复杂程度在计算机上实现算法。多媒体利用各种信息媒体形式，集成使用声、图、文等来承载信息，缩短了信息传递的路径。信息共享–数据结构提供数据处理基础–高效的算法和高速的网络通信提高表示概念的能力–声音，图像，视频，动画丰富信息获取和传递手段1.3多媒体技术研究的主要内容1.3.1多媒体技术的基础媒体（第二章）•媒体的性质与相应的处理方法•每一种媒体的采集、存储、传输和处理–数据压缩（第三章）•文本、图像、视频、图形•JPEG、MPEG4、H.26L等1.3.2多媒体软硬件平台技术–硬件•光盘驱动器、声音适配器、图形显示卡、扫描仪、打印机、数码相机、交互设备–软件•操作系统：windows•编辑创作软件：Photoshop、、会声会影、Cooledit•专用软件：Un