搜索
游戏中的人机界面技术浙江大学软件学院梁秀波Email：liangxb@cst.zju.edu.cn教学内容•人机交互界面的组成模块•几种常见游戏交互界面•基于运动感知的自然人机交互系统•游戏交互界面的设计准则•课后思考与作业什么是人机界面人机界面的划分•从产品系统论的角度出发，人机界面主要有三种表现形式：–图形用户界面（GUI）•视觉-起信息拾取的作用–实体用户界面•触觉-对拾取信息的操作–声音用户界面•听觉-对信息操作的一种反馈人机界面的划分•以软、硬件来划分–图形用户界面和实体用户界面分别对应软件界面和硬件界面–声音界面根据发声原理的不同分别包含于这两类界面•声音来自软件系统—软件界面•声音来自硬件系统—硬件界面人机交互模块人类行为模块计算机感知模块设备打字手写点击带上数据手套手势说话身体移动头的移动自由手势面部表情眼睛移动手部挤压大脑运动位置/运动声音视频触觉/挤压力神经相机、视觉跟踪与识别麦克风、语音识别与合成键盘、鼠标、数据手套、写字板等眼部跟踪系统触觉仪器脑电图描记器眼动跟踪、表情识别ArringtonResearch的头戴式眼动仪（源自Arrington公司网站）Sebe等开发的表情识别系统姿势识别Canesta的手势遥控电视（源自Canesta公司网站）智能感知方向的iPhone（源自苹果公司网站）脑机界面通过脑机界面写博客（源自威斯康星大学网站）用意念控制机器人运动（源自本田公司网站）命令语言界面•命令语言界面（Command）由用户命令驱动，计算机读取用户命令来执行用户的意图–由于软件的命令格式并没有标准，因此用户必须要记住大量的计算机命令才能正确地与计算机交互，这无形中增加了使用软件的难度。–20世纪90年代中期流行的MUD（MultiUserDimension，俗称泥巴）游戏就是一种纯文字界面。图形输入界面•菜单–固定式菜单显示游戏中重要性最高的功能。–弹出式菜单在不使用时处于隐藏状态，用于显示错误信息和提示。–下拉式菜单（级联式菜单），构成树状结构，适合于功能复杂的递进式选择。•图标–某些图标只是起提示作用；某些图标是文字按钮的图形化，每个图标对应一项功能。•快捷键–由键盘字母组合方式构成的指令发布方式–在快节奏的游戏中，能极大地提高速度奥汀科技公司开发三国群英传online语音识别界面•自然语言比命令语言更符合使用者的语言习惯–然而自然语言非常复杂，不仅包含语音、语义，还包含语义的延伸以及语义的多重性，这使得自然语言界面的实现十分困难。–典型的自然语言界面是语音输入，但目前还没有一款完全以自然语言界面为基础的流行游戏。Konami公司开发的面向Playstation2的游戏Lifeline采用语音输入姿势识别界面•姿势识别界面大体上分为两类–使用摄像机捕获人的手势、眼神、表情或其他肢体动作，进而控制计算机，如：微软的Kinect体感游戏机。–使用计算机的数据笔（stylus）和三维鼠标，根据一段时间内的移动轨迹和速度决定操作命令，如：用数据笔在手写输入屏上书写汉字。头部运动控制界面方式手势控制界面方式任天堂Wii2020/2/17幻灯片手势控制系统2020/2/17手势拨号系统2020/2/17武术动作编排系统XsensMTx2020/2/17手势识别系统框架噪音生成加速度采样添加噪音预处理手势指令映射控制交互应用训练器识别器机器学习模型以用户为中心的设计准则•控制权在用户手上：让用户感觉到是他在控制程序，而不是程序控制他暴雪娱乐副总裁比尔·鲍珀：“易于上手，难于精通”•“帝国时代”的工程师们：“前15分钟法则”愤怒的小鸟游戏软件界面的设计准则•降低计算机的影响•在游戏中策略地加入帮助•避免运用标准的界面•综合集成界面•可扩充性•一致性•界面精致、风格统一•运用界面的艺术设计原则微软Kinect游戏硬件界面的设计准则•从交互技术发展的趋势看，要开辟新的输入、输出方式•从产品使用功能的角度看，趋向于集多功能于一体和智能化•从产品与使用者关系的角度观察，更加突出以人为本的理念•从产品造型的角度观察，更加注重语义学的运用•从能源环境的角度观察，注重节能环保的设计