多媒体人机交互技术

实用标准文案精彩文档第五章多媒体人机交互技术课前索引人机交互（HumanComputerInteraction）是研究人与计算机之间的交互技术。由于计算机的应用越来越广泛，功能越来越强，计算机能处理和表现越来越多的信息。目前，计算机能够处理图形、图像、动画、视频、语音、音乐、文字等不同的媒体，但缺乏仿生的眼睛和耳朵，也没有从外部世界收集信息所需的触觉、味觉和嗅觉。计算机没有语言能力，没有四肢，没有建立各种各样信息表达形式的能力，所以，我们目前仍然以键盘和鼠标为主要输入工具，输入输出严重不平衡，这就限制了人和计算机之间的信息沟通。不能充分利用人的认知资源，人们长期追求的以自然的方法和计算机交流的理想仍然无法实现，许多新的计算机应用技术无法普及。因此，人和计算机之间的交互显得日益重要。5.1多媒体人机交互技术概述人机交互技术是计算机应用的核心技术，以用户为中心是人机交互界面设计的核心思想，人机界面作为人与计算机通信的途径，其效果好坏直接影响到用户使用计算机的效率以及软、硬件功能的发挥，现有的人机交互技术已落后于计算机软、硬件的发展，成为信息产业急待解决的问题，美国将软件、人机交互、网络和高性能的计算机并列为21世纪信息技术计划的基础研究内容，我国“973”计划也将人机交互技术与虚拟现实的真实感作为科技攻关的关键问题。5.1.1人机交互技术的概念及发展历程人机交互系统是实现人与计算机之间通信的软、硬件系统的总称，包括人机交互硬件和人机交互软件两方面，前者有：键盘、鼠标、显示器、打印机等硬件设备；后者又分为系统软件（如鼠标、打印机驱动程序等）和应用软件通常是指人机交互界面。人机交互技术（Human-ComputerInteraction）就是研究人与计算机之间相互通信的技术，人机界面（HCI,HumanComputerInterface）是实现人与计算机信息交互的平台，通常是指人机交互软件界面。多媒体人机交互技术是指人们通过各种媒体与计算机进行通信的技术，它含盖了：文字、图形、图像、动画、声音、视频等多种信息的交互。现有的人机交互方式有：看、听、说和操作，人可以通过操作键盘、鼠标、跟踪球、操纵杆、光笔、手写板、触摸屏、数字化仪、扫描仪、话筒、摄像头等输入设备向计算机输入信息；计算机也可以通过显示器、打印机、绘图仪、音箱、耳机、立体眼镜、头盔显示器等输出设备向人反馈供信息。实用标准文案精彩文档随着计算机技术、多媒体技术、虚拟现实技术以及网络技术的发展，人机交互的内容与形式日益丰富，交互的方法也层出不穷，不断向人机交互技术提出新的、更高的要求。人机交互技术随着交互设备和软件技术的发展也在不断进步，回顾人机交互技术的发展历程，它大致经历了手工操作、命令行界面（CLI，CommandLineInterface）和图形用户界面（GUI，GraphicUserInterface）三个阶段。1．手工操作阶段自从1946年世界上第一台数字电子计算机ENIAC在美国宾西法尼亚大学诞生以来，早期计算机程序和数据的输入是采用穿孔卡片或穿孔纸带进行的，计算机的状态用指示灯来显示，计算结果由打印机打印输出。穿孔卡片或纸带上的程序和数据是人们用手工将二进制机器码输入穿孔机，再交由阅读机读入计算机的，这时的人机交互是相当原始的，程序输入错了也没法修改，只能将纸带报废，输出界面也很不直观，更谈不上实时交互。2．命令行界面到了上个世纪50年代中期，出现了终端显示器，这时显示器和键盘是一体的，在内部缓冲寄存器的支持下，构成了字符显示终端，它显然比穿孔卡片或穿孔纸带使用起来方便得多，由于有输入缓冲器，所以输入的错误可以及时修改，终端显示器的输出也比打印机的速度要快得多，而且便于连续使用。后来随着汇编语言和一些高级语言如FORTRAN、COBOL、LISP、PASCAL和BASIC等语言的出现，为了便于操作和控制作业，逐步发展出了交互式命令语言及其有关标准，当时的终端分为批处理终端和交互终端，在批处理终端上一次提交的是整个作业计算机按照指令顺序执行，而在交互终端上人们可以每次向计算机输入一行命令或数据，计算机逐条解释执行，并在显示器上输出结果。为了便于输入数据，人们还编制了文本菜单程序，用户可以在计算机的提示下通过问答的方式输入数据，第一次实现了人机交互，这一时期的人机界面被称作命令行界面，可以看作是第一代真正的人机界面。它的操作由熟练的操作员通过键盘输入来进行，输出的也只能是静态字符，交互的方式单一、自然性差、效率低。3．图形用户界面图形用户界面的出现使人机交互技术向前迈进了一大步，普通的用户不须要懂计算机，更不须要记住烦琐的操作命令，所有图形用户界面下的应用程序界面标准是统一的，操作是相同的，用户只须轻点鼠标就可以完成所有操作，非常简单、易于掌握，极大地推动了计算机的普及应用。实用标准文案精彩文档图形用户界面起源于上个世纪60年代，1963年美国麻省理工学院（MIT）的Sutherland发明了Sketchpad技术，并首次引入了菜单、瓦片式层叠窗口及图标，并采用光笔进行绘图操作，同年美国斯坦福（Standford）研究所的Engelbart发明了鼠标器，到了70年代美国施乐（Xerox）公司的Alto计算机首次使用了位图显示技术，开发出了可重叠菜单、弹出式菜单和滚动条，成为了日后图形用户界面的基本要素。1984年美国苹果（Apple）电脑公司在此基础上开发出了Macintosh计算机，成为世界上第一台图形用户界面计算机，Macintosh风格也成了图形用户界面的标准，它以窗口（Windows）、图标（Icon）、菜单（Menu）和指点装置（Pointingdevice）为基础形成了所谓WIMP界面，1986年美国微软（Microsoft）公司推出了Windows视窗操作系统，以后版本不断更新，成为风靡全球的图形用户界面操作系统。WIMP界面是第二代人机界面，输入采用鼠标，输出可以是二维的图形或图像，与第一代人机界面—命令行界面（CLI界面）相比，其交互的自然性和效率都大为改观，但它们都属于单通道人机交互界面，不具备使用多种媒体以及三维交互的能力。现在的人机交互技术向网络化、多媒体、多通道和智能用户界面方向发展，为新一代人机交互界面的开发提出了新的课题。5.1.2人机交互技术的主要研究内容人机交互技术与认知心理学、人机工程学、多媒体技术以及虚拟现实技术密不可分，其中认知心理学和人机工程学是人机交互技术的理论基础，而多媒体技术和虚拟现实技术为人机交互技术提供了更丰富的表现手段和更高的要求。1．认知心理学认知心理学（CognitivePsychology）起源于上个世纪50年代，到70年代在西方已成为心理学的一个主要研究方向。它研究人的认识过程，如注意、知觉、表象、记忆、思维和语言等，从心理学的观点研究人机交互的原理。该领域通过视觉、听觉等手段接受和理解来自周围环境的信息和感知过程，以及通过人脑进行记忆、思维、推理、学习和解决问题等人的心理活动的认识过程。认知心理学是人机交互界面设计的依据，人的认知过程包括人的感官（视觉、听觉和触觉）是如何接受信息的，人又是如何处理信息、理解信息、记忆信息以及如何进行推理，只有了解了这些，才能进行界面设计。一个交互的计算机系统，要能很好地实现用户与计算机之间的人机交互，通常必须考虑三个元素：人的因素、交互设备及实现人机对话的软件。交互计算机系统的最终目标是让用户能方便自然地和计算机进行交互式操作，因此设计交互计算机系统时，必须把满足用户的使用要求作为重要依据。实用标准文案精彩文档2．人机工程学人机工程学（Ergonomics）是指用系统工程学的方法研究人体科学与环境科学相互作用、相互影响，从而进行优化设计以提高功效的一门综合科学。经典的人机工程学称为硬件人机工程，主要研究在系统设计时如何考虑人的体力、耐力和舒适度等人的因素，以使系统设计最优、工效最高。软件人机工程学研究软件和软件界面，侧重于运用和扩充软件工程的理论和原理，对人机界面软件进行分析、描述、设计和评估等。主要解决有关人类思维与信息处理的有关问题，包括设计理论、标准化、增强软件的可用性的方法等，使计算机与人的对话能满足人的思维模式与数据处理的要求，实现软件的高度可用性。从科学和技术的角度看，人机工程学是研究“人—机—环境”系统中这三要素之间的关系，为解决系统中人的效能、健康问题提供理论与方法的科学。人机工程学主要研究的内容有：人与机器之间的分工与配合；机器如何能更适合人的操作和使用，以提高工效、减轻人的劳动强度；工作环境对操作者的影响，如何改善工作环境；如何设计人机界面、信息传递的方式以及显示方式等。3．多媒体技术多媒体技术是指计算机处理多种信息如：文本、声音、图形、图像、动画和视频信息的技术。引入多媒体技术极大地丰富了计算机对信息的表现形式，同时也增加了人机交互的途径，在串行、字符信息和并行、联想信息方面扩展了人的信息处理能力。另一方面，多媒体技术为多通道人机交互提供了手段，使用多通道人机交互技术，可以提高计算机对信息的识别、理解能力，增加人机交互的效率，使交互更自然，界面更友好。4．虚拟现实技术虚拟现实（VirtualReality,VR）就是通过三维空间设备在计算机上营造一个虚拟环境，人可以通过视觉、听觉、触觉与虚拟世界进行交互，使人有身临其境的感觉。虚拟现实技术的特点是：真实感、沉浸感和交互性，自然和谐的交互方式其研究的重要内容。虚拟现实交互设备有：三维鼠标、三维跟踪球、三维游戏杆、三维扫描仪、数据手套、数据衣、触觉和力学反馈装置、位置跟踪器、眼动跟踪器、立体眼镜、头盔式显示器、洞穴式显示器和大屏幕立体显示器等。虚拟现实交互设备极大地丰富了人机交互的手段，将传统的二维、静态的人机交互方式扩展到三维、实时的动态交互，这对人机交互技术提出了更高的要求。实用标准文案精彩文档5.1.3人机交互界面的创意设计“创意”在人机界面方面主要是屏幕设计。除了对计算机屏幕进行空间划分外，在时间轴上还要根据需要以音乐、解说和动画等形式加以表现。时间和空间统一起来构成一个完整的屏幕设计。1.屏幕设计创意一个屏幕含有背景、标题、描述(文字、图形和动画等)、各种控制(如跳转按钮等)等空间成分，以及与之同步的背景音乐和解说词等时间成分。屏幕设计创意是通过各种艺术表现手法和各种技术手段表现一个与主题相适应、为主题服务的意境。它包括表现样式、风格追求和对信息内容的合理布局等等。当创意作用于屏幕的设计与制作时，将信息内容的本来意义与创意设计出来的各种形象、符号、图标、字体及正文进行刻意的编排，在整个屏幕的视觉审美结构上达成有机融合，能够进一步增强屏幕的直观感染力和耐人寻味的可视性。一个屏幕载有各种媒体信息，图文并茂，有多层结构，并具有动态特性，其信息指向也是多向的。在进行设计时，通过直观的图形、图像、文字、概念、色彩等各种造型要素及信息菜单、信息正文所构成的总体感性印象及心理感受来传达信息内容。各构成要素就是传达特定信息的载体，将这些构成要素按照视觉运动的法则精心地编排组合使它们在组合中有主有次、有轻有重、有大有小、有疏有密、有曲有直，从而使这些要素和谐地出现在一个屏幕上，使其相辅相成，成为具有活力的有机体，以发挥最有效的诉求效果，更好地传达信息。2.屏幕创意设计原则屏幕创意设计包括文字排列方向、字群聚散组合、字体大小风格的选择、图片的分布及色彩与空白的经营。从狭义的概念上讲，所研究的是各种视觉元素的位置、面积、大小的排列组合和视觉流程问题；从广义上讲，它更多的是研究各种视觉元素通过搭配协调所构成的格调，强调美的韵味设计，使使用者在接受屏幕信息的过程中，能感受到设计者对美的追求及对信息内容的主题思想、立场倾向和风格特点的把握与理解，从而强化信息主题的有效传达。进行屏幕界面的创意设计时，必须遵循以下几条构成原则：（1）内容与形式表现必须统一，形式表现必须服从内容要求。如在造型上各构成要素规格化的设计样式要统一。（2）要充分考虑各构成要素之间的视觉流程，能自然而有序地达到信息诉求重点的位置，突出