计算机图形学与虚拟现实环境41

虚拟现实技术主讲：杨文晖•感知、光、颜色和数学•投影的虚幻世界•虚拟环境的数学基础•关照—光亮度方程•颜色以及人对光的反应•图形的真实和实时•计算机图形的绘画隐喻•局部光照和光线跟踪•照相机的一般化•场景构造、照相机模型的实现•裁剪多边形、、可见性确定•多边形渲染、图像空间渲染和纹理生成计算机图形学与虚拟现实环境什么是“计算机图形学”？有关建模、光照、虚拟世界的动态特性以及人们在集中活动方式的理论。起源于IvanSutherland发表的论文，论文描述了一个称为Sketchpad的画板系统。该画板系统允许用户使用“光笔”交互在屏幕上画图“计算机图形学”的结果是什么？产生一个“投影的虚幻世界”，也叫“虚拟环境”、“虚拟现实”是一个将三维空间中的对象表示投影到二维显示器上所形成的表现。“网络虚拟环境”？多领域技术的集成，这些技术包括不同地域间异质网络互联技术，支持视觉、听觉、触觉/力觉反馈技术以及相应的多种交互设备。“虚拟环境”有三个主要组成部分？内容内容由“对象”组成，构成整个环境每一个对象都有一个“描述”和一个“状态”对象的特殊子集叫做“参与者”几何几何包括维度、度量和环境的范围或边界动态特性由对象之间的相互规则组成，例如碰撞检测虚拟环境系统示意图关于“场景数据库”内容包含对所有对象的总描述信息和那些必须对整个场景给出的任何其他信息存储一定在维持共享虚拟环境的计算机网上的某处存储更新一定要以某种方式及时反映到分布环境的所有节点上。“CAVE”虚拟环境“CAVE”含义？CAVE是自动虚拟环境的缩写理想的CAVE？拥有六面墙壁当做投影屏幕的房间参与者—立体眼镜、头部跟踪器CAVE例图关于VE的“真实感”和“实时性”产生并维持虚拟“真实感”感觉的条件？a.环境被显示出来b.参与者被实时跟踪c.场景表现充分计算机图形学中“真实感”的含义？a.几何真实感b.光照真实感c.行为真实感几何真实感什么是“几何真实感”？与要描述的真实世界中对象具有十分相似几何外形的一个图形对象。三维几何图形由什么构成？是由平面多边形（一般是三角形）来构造的。对象表面区域越是完全，所需要的三角面片数目就会越多。“几何真实感”的实际用处？虚拟原型设计1.建立真正物理实体之前的虚拟的构造过程2.检测对象在特定位置时候产生的影响等人脸扫描仪—点云---3D---渲染人脸的激光扫描产生的3D点云，64028个顶点，扫描过程10秒点组成三角形，形成了126108个三角形表面进行明暗处理，生成的3D人脸光照真实感光照真实感的计算复杂吗？是一种极端复杂的计算，是计算机图形学中计算最精深的方面光照计算分为两种？局部光照假设每个对象是场景中除了光源之外唯一的对象全局光照对环境中光分布的正确计算，对象间的反射也要考虑局部光照和全局光照渲染的场景图行为真实感情感共鸣讲话恐怖症病人的治疗卡通人物—米老鼠漫画、印象主义和图标表现漫画见图印象主义梵高的画图标表示孩子笔下的任务真实感和实时之间的冲突计算机图形学中的“真实感”的三个部分（几何、光照、行为），构造的难度是怎样的？几何视觉真实感-----行为真实感------光照真实感难度依次递增“计算机图形学”中的冲突是什么？真实感与实时实时的含义帧与帧频一幅图像每秒实际显示出来的图像数目实时漫游在计算和渲染下一帧图像时，会产生一个时间延迟，或者显示滞后实时对象交互虚拟世界中的位置在场景数据库中得到更新延迟和滞后使VE中选择和操作对象的过程变得困难共享的虚拟环境中交互网络上的数据传输所需要的延迟是系统无法避免的每个位置以60HZ运行，500ms的延迟也会破坏正常交互关于折衷实时需求对计算机系统的哪些方面提出极高要求？计算设备显示网络性能存在和沉浸感看电影电影调动了人的感觉，但是身体的反应还是受限制的看一张房间中间有深度8公尺深坑的图会有眩晕的感觉什么是存在？从虚拟环境到真实世界相似性的程度，是个意识状态参与者所做的与在现实世界中所做的相似行为越大，存在的程度就越高是对人的反应存在的必要条件是传感数据和本体感受应该匹配（移动手臂，看见虚拟手臂在动）什么是沉浸感？存在并同时与来自那个环境的传感数据的质和量相关是对系统的描述是关于传感器数据显示的（传感数据视觉、听觉、触觉等）跟踪系统（精度依赖于几何表示精度、采样频率、数据传送和解释的速度）虚拟环境如何工作现实是虚拟的？周围是个时空连续系统，构成高分辨率的视觉流视网膜是图像被投影的地方视网膜包含的光敏感单元，将光能转换为电信号，通过视神经传输到大脑的视觉皮质视觉是个采样过程对环境的整体认识以及心理滤波器视觉系统通过扫描路径序列来采样环境，重复相同区域，以确认我们内部的心理模型，和设想看见的内容关于路径扫描的图关于扫描路径扫描路径——交替快速扫描和定影的序列扫描路径本身是受到我们内在心理模型的驱使，而不是受外部世界驱使的。我们从外部世界中所看见的事物，如扫描路径所指示的，不只是受外部世界的“物质”所左右，而是受到我们内在认知模型的控制。认知模型的影响尺寸不变性伸缩什么是尺寸不变性伸缩？用高层认知信息替代传感数据作用？使物体看起来较之真实传感信息形成在视网膜上图像的尺寸发生了变化。双目视差、调节、收敛双目视差左右眼间的图像差别朝所处环境的任意地方看，交替用两眼看，图像水平地从左到右然后从右到左地来回切换调节调节透镜让场景中的店对准焦点的过程透镜受睫状肌控制收敛眼睛向内旋转以便让附近的对象进入焦点；或者向外旋转，使视线趋于平行，以便让远处的对象进入焦点。视域间隙视网膜上与视神经相连的区域是相对的线性透视、深度线索视网膜上的图像尺寸反比于对象离观察者的距离线性透视、深度线索计算机学中的投影中心O线性透视错觉Ponzo错觉Muller-Lyer错觉纹理梯度梵高的画纹理梯度的抽象实例阴影和明暗处理阴影不仅能传达有关对象形状的信息，还能传递在场景里的深度关系信息，大大提高对深度的感知对象的阴影是对象的另外一个视图—由光源产生的视图阴影提供了每个对象与周围表面间空间关系的直接信息见阴影深度线索图遮挡与光照遮挡当一个对象部分地遮挡其他对象的时候，它提醒人们该对象比较靠近观察者见图Kanizsa三角形错觉光照光能量的衰减与距离的平方成比例远处对象与近处对象相比，颜色比较淡，比较模糊。时间和空间不变性是外界的差别在刺激我们的视觉，如果我们完全固定视线，不久之后我们会什么也看不见，就像连续背景噪声滴答声被忽略。每一次眨眼就是一次视觉中断，通常我们不注意眨眼的事实，认为我们的视觉是连续而不间断的。视觉系统执行一个预报性的预计算，提供了时间和空间上的不变性视觉记忆假设我们所看见的东西主要依赖于我们的内部认知模型扫描路径既与我们个性相关，也与我们所见实物相关，同时是不断重复的视觉记忆以最大概率迅速导向目标，这是基于多方面因素的，例如：先验知识、暗示、经验以及周围的上下文等视觉记忆在假设之间转换例图