多媒体计算机的应用技术

第七章多媒体计算机的应用技术考核目的：考核学生对多媒体电子出版物的创作流程、视频会议系统、多媒体数据库及基于内容检索等内容的理解和掌握。考核的知识点：什么是电子出版物、电子出版物创作流程、视频会议系统的结构和标准、多媒体数据库及基于内容检索等内容。考核要求：掌握：多媒体电子出版物的创作流程、视频会议系统的组成和基本的工作原理。了解：多媒体数据库及基于内容的检索。1多媒体电子出版物的创作7.1.1多媒体电子出版物概述多媒体电子出版物包括：电子图书、电子期刊、电子新闻报纸、电子手册与说明、电子公文或文献、电子图画、广告和电子声像制品等•电子出版物的应用类型电子出版物的应用类型•教育应用（少儿故事、自然科学、音乐、语文、文学、历史等类）•电子图书（字典、百科全书、经典、参考书籍等类）•旅游与地图（地图、旅游等类）•家庭应用（医药、娱乐等类）•商业（员工训练、商品介绍、查询服务与浏览等类）7.1.2多媒体电子出版物的创作流程1.多媒体电子出版物创作队伍的组织与管理。2.多媒体电子出版物工艺过程多媒体制作队伍的组织结构多媒体电子出版物的工艺过程选题的原则•实用性•小而精面向中小学生教育选择题目时应考虑的问题使用者范围、消费能力、采购动机；主题内容、资料版权；表现策略；播放环境；开发成本、周期、资源；价格定位；发行量；成本效益；市场竞争力；投资回收率；软件内容复杂程度；可行性分析。编写多媒体脚本多媒体脚本是多媒体电子出版物的核心。由于多媒体产品的特点不同，其脚本格式和表述方法也不尽相同，但脚本创作者应把握多媒体的本质及特点，即多媒体的集成性和交互性。多媒体脚本某种程度上和电影剧本很相似，最终应细化为“分镜头”剧本，包括版面设计、图文比例、显示方式、色调、音乐的节奏和交互方式等。具体内容如下：制订节目目标、大纲于表现手法；流程图与故事分镜头表；节目系统功能规划；交互式功能规划；定义制作环境平台于播放系统（硬件于软件工具）；屏幕画面设计；使用者界面设计/交互式设计；各类媒体脚本撰写：文字、图形、图像、声音（包括音乐）、动画、影视脚本；商品化包装设计；设计文件撰写与评估；系统制作由软件工程师根据预先编写好的多媒体脚本，将各种制作好的文字、图形、音频、视频、动画等多媒体资料，利用现成的编辑工具、著作工具或程序进行集成，生成最终产品。产品测试、优化系统制作完毕后，必须作彻底的检查，改正错误，修补漏洞。有可能的话还要进行优化，比如版式设计是否漂亮，速度是否可以提高等等，具体内容如下：节目内容的正确性测试；系统功能测试；安装测试；执行效率测试；兼容性测试：跨平台；内部人员测试；外部人员测；生产、发行:经过检查、优化，确认没有任何问题后，就可以“烧”金盘了。“烧”金盘必须有专门的设备，比如Sony公司的CDW-900ERecordingUnit。如果不“烧”金盘，也可以将你的全部文件存到磁带上，拿去生产厂印制。生产厂把你的数据刻制成母盘，然后就可以上生产线生产了。与此同时，还需要制作一些使用说明书、产品包装、宣传材料等。7.1.3多媒体电子出版物创作示例由清华大学和中国人民银行电教中心于1997年共同完成了多媒体电子出版物《金融博士》的创作任务，已出版了一套两张光盘，作为一个创作示例简述如下。《金融博士》功能设计框图（A）《金融博士》功能设计框图（B）技术特色及性能指标（1）多媒体系统集成的技术（2）开发JPEG图像处理系统（3）中文快速检索技术（4）扩展著名著作工具Authorware3.5的功能，以保证用其开发的光盘功能齐全先进。（5）自动排版技术（6）多媒体动态显示技术：（7）分层次阅读与灵活跳转（8）摘编打印技术（9）多种编程方法结合（10）创意编辑独特，突破了传统编写百科光盘的做法，先出版书籍，再把书籍制作成光盘图书。（11）内容丰富先进（12）表现形式生动形象（13）界面友好，功能强，使用方便（14）表现形式规范7.2.1视频会议系统的结构及标准一、视频会议系统的分类1.点对点视频会议系统1.点对点的视频会议系统可视电话台式机—台式机视频会议会议室—会议室视频会议多点视频会议系统2.多点视频会议系统多点视频会议系统允许三个或三个以上不同地点的参加者同时参与会议。多点视频会议系统一个关键技术是多点控制问题，多点控制单元（MCU）在通讯网络上控制各个点的视频、音频、通用数据和控制信号的流向，使与会者可以接收到相应的视频、音频等信息，维持会议正常进行。二、视频会议系统的结构它主要由视频会议终端、多点控制器、信道（网络）及控制管理软件组成。视频会议系统结构框图视频会议系统终端的主要功能是：完成视频信号的采集、编辑处理及显示输出、音频信号的采集、编辑处理及输出、视频音频数字信号的压缩编码和解码，最后将符合国际标准的压缩码流经线路接口送到信道，或从信道上将标准压缩码流经线路接口送到终端中。此外，终端还要形成通信的各种控制信息：同步控制和指示信号、远端摄像机的控制协议、定义帧结构、呼叫规程及多个终端的呼叫规程、加密标准、传送密匙及密匙的管理标准等。三、视频会议系统的标准1.H系列国际电讯联盟ITUH.320H.323H.3242.T系列国际电报电话咨询委员会CCITTT.1203.个人会议标准PCS(PersonalConferencingSpecification)1.H系列的建议和标准是专门针对交互式电视会议业务而制定的2.T系列是针对其它媒体的管理功能作出规定3.PCS系列多家计算机和通信公司联合制定的个人会议标准（PersonalConferencingSpecification）。1.H.320系列标准H.320系列标准是会议系统中应用最早，最为成熟的协议，支持ISDN，E1，T1，带宽从64Kbps到2Mpbs，几乎所有会议系统厂家都支持。H.320标准系统框图H.320系列标准包括了视频，音频的压缩和解压缩，静止图像，多点会议，加密及一些改进的特性。H.320可分为五个部分：通用体系，音频，多点会议，加密，数据传送等。目前包括15个标准。H.221多路复用/解复用定义了64k1920k视听服务信道帧结构不同媒体的连接机制,空间和时间上的同步归范。H.261视频编码和解码标准采用CIF通用的中间格式并容于不同的电视制式。音频编码解码标准：G.72264kbpsPCM电话质量(3.5KHz)G.(721)72248/56/64kbpsADPCMG.72816kbpsLD-CELP语音压缩标准H.230传递帧同步控制和指示信号。H.242数字信道会议电视中端之间建立通讯和设置呼叫的规程，H.320设备间传递协议。H.243主要处理多个终端之间建立通讯的过程，它定义了H.320CODEC与MCU之间的控制过程。H.231定义了多点控制单元。H.231和H.243主要通过MCU桥接各个视听终端，MCU将向各终端发SCM信号以实现对视频、画面、声音的选择切换。是多点通讯控制的暂时解决方案。H.244是信道远端摄象机控制协议。H.281及H.224采用视频链路的控制摄象机协议。H.233设备加密标准(H.320)。H.234确定在不同点之间传递密匙管理标准。H.323LAN(无QOS保证)。H.320ISDNH.323(有QOS保证)LANH.324GSTN(GeneralSwitchTelephoneNetwork)普通交换电话网。H.323标准系统框图各ITU标准间的互操作H.324标准系统框图系列国际标准的组成及应用2.T系列标准(1)T.120是国际电信联盟通信标准部开发的系列国际标准。(2)T.120由三部分组成：(a).T.123传输规程框架规定了不同的网络之间的连接Ｖ调制解调器的共同交换网X.25数据交换网ISDN和电路交换数据(b).多点通信业务(MCS)T.122和T.125定义和规范。(c).T.124普通会议控制(GCC)建立终止会议、会议协商能力、通用会议的管理（参加会议计算、主持人控制功能）GCC也装备了安全机制（口令编码保护，限制未被邀请的人参加会议。）还提供了两个高层规范：T.127为用户提供同时初始化多点文件转移能力。T.126它允许用户在多点文件会议中查阅图像，对它进行注释、共享应用程序和交换传真图像。T系列国际标准G.7XX语音压缩编码标准3.PCS标准Intel公司与150个计算机和通信公司成立了一个个人会议工作小组(PCWG)，于1994年制定了一个个人会议标准：PCS(PersonalConferencingSpecification)。其目的是基于文本的会议可以在各种操作系统、硬件平台和传输媒体中操作。与H.320不同，PCS是专为个人计算机设计的，并与各种个人计算机标准兼容,其中包括TAPI和TSAPI两种电话API，Intel公司的Indeo—IntelVideo编程和解码及Microsoft公司的DVI图形/图像标准接口。由于基于微机的桌面会议系统日益增多，由Intel、AT&T、Lotus、HP、DEC和另外11个主流软硬件公司，以及96个计算机和通信公司联合成立了一个个人会议工作组，简称PCWG(PersonalConferencingWorkGroup)。它于1994年制定了一个个人会议标准(PCS，PersonalConferencingSpecification)，适合于任何网络(数字、模拟、LAN或WAN)。此标准包括PCS’ST120、ITU-T桌面系统多点电视会议视频压缩协议。T系列国际标准G.7XX语音压缩编码标准3.PCS标准Intel公司与150个计算机和通信公司成立了一个个人会议工作小组(PCWG)，于1994年制定了一个个人会议标准：PCS(PersonalConferencingSpecification)。其目的是基于文本的会议可以在各种操作系统、硬件平台和传输媒体中操作。与H.320不同，PCS是专为个人计算机设计的，并与各种个人计算机标准兼容,其中包括TAPI和TSAPI两种电话API，Intel公司的Indeo—IntelVideo编程和解码及Microsoft公司的DVI图形/图像标准接口。由于基于微机的桌面会议系统日益增多，由Intel、AT&T、Lotus、HP、DEC和另外11个主流软硬件公司，以及96个计算机和通信公司联合成立了一个个人会议工作组，简称PCWG(PersonalConferencingWorkGroup)。它于1994年制定了一个个人会议标准(PCS，PersonalConferencingSpecification)，适合于任何网络(数字、模拟、LAN或WAN)。此标准包括PCS’ST120、ITU-T桌面系统多点电视会议视频压缩协议。7.2.2综合业务多媒体终端的设计与实现综合业务多媒体通信终端可以广泛用于多媒体通信、交互式分布多媒体系统，特别是各种计算机支持的协同工作系统（CSCW）的通用设备，是目前世界各国大力研究的热点课题。由于各种技术发展较快，因此要求总体结构设计要考虑通用性和可扩展性。1996年3月清华大学计算机系设计实现了一种综合业务多媒体通信终端（IMCT），它的方案是：终端的软、硬件支撑环境采用多媒体个人计算机（MPC）与清华大学和中国银河公司共同设计制造的满足H.320系列标准的视频音频实时压缩和处理卡VC-1000A。系统应用软件采用模块化结构，如视频讨论、多媒体电子邮件、协同编著等，可相对独立运行，又能集成在一个统一的平台上。一.VC-1000A的结构9800视频音频采集处理卡9810视频音频压缩编解码卡9820通讯接口卡VC-1000A是综合业务多媒体终端的关键部件，它由下述三块卡组成（如图所示），三块卡在功能上既有联系，又相互独立。VC-1000A整体框图VC-9800原理框图VC-9810系统简图软件：（1）视频信号编解码器的控制模块（2）视频内容显示控制模块（3）视频信号数字化处理模块（4）声音压缩解压缩模块（5）DSP2