虚拟现实技术.ppt
73页
虚拟现实技术 课程的主要内容 虚拟现实与系统仿真的基本虚拟现实与系统仿真的基本概念和术语概念和术语概念和术语概念和术语 虚拟现实与系统仿真的虚拟现实与系统仿真的基础方法基础方法基础方法基础方法 虚拟现实有关的虚拟现实有关的人的因素人的因素人的因素人的因素，虚拟现实的，虚拟现实的接口设备接口设备接口设备接口设备和和计算机设备计算机设备计算机设备计算机设备 虚拟现实的虚拟现实的建模技术建模技术建模技术建模技术 虚拟现实的虚拟现实的应用应用应用应用 相关知识背景 虚拟现实技术学习的虚拟现实技术学习的知识背景知识背景是什么样的？是什么样的？ 虚拟现实技术是针对计算机专业的本科生开设的课程，学生需要有 计算机原理，体系结构，操作系统，网络，软件工程，程序设计，数据结构，电子学，图形学与CAD，系统分析，人工智能的知识背景 1.虚拟现实概述虚拟现实概述2.虚拟现实的接口设备虚拟现实的接口设备3.虚拟现实的计算机技术虚拟现实的计算机技术4.虚拟现实的建模和仿真技术虚拟现实的建模和仿真技术5.虚拟现实的应用虚拟现实的应用课程目录课程目录 学习重点和难点虚拟现实的虚拟现实的基本概念基本概念基本概念基本概念；；人的人的视觉系统视觉系统视觉系统视觉系统和虚拟现实的和虚拟现实的视觉显示技术视觉显示技术视觉显示技术视觉显示技术；；各类各类位姿跟踪系统位姿跟踪系统位姿跟踪系统位姿跟踪系统的技术；的技术；力觉和触觉反馈力觉和触觉反馈力觉和触觉反馈力觉和触觉反馈技术；技术；虚拟现实的虚拟现实的计算机系统计算机系统计算机系统计算机系统；；虚拟现实的虚拟现实的工具软件系统工具软件系统工具软件系统工具软件系统；；分布式分布式分布式分布式虚拟现实系统。
虚拟现实系统 第一章 虚拟现实概述◇◇课前索引课前索引◇◇第一节 虚拟现实的基本概念第一节 虚拟现实的基本概念◇◇第二节 虚拟现实有关的人的因素第二节 虚拟现实有关的人的因素◇◇章节小结章节小结◇◇课后习题课后习题 课前索引两个问题两个问题1．什么是虚拟现实？2．虚拟现实与人有什么关系？ 点击观看点击观看VRML演示演示 第一节 虚拟现实的基本概念1.虚拟现实的虚拟现实的概念概念2.有关的有关的其它概念其它概念3.虚拟现实的虚拟现实的特点特点4.虚拟现实的虚拟现实的应用领域应用领域5.虚拟现实的虚拟现实的技术技术 1 虚拟现实虚拟现实这个概念最早是由谁在什么时间提出的？虚拟现实这个概念最早是由谁在什么时间提出的？ 19891989年，美国VPL Research公司创始人JaronJaron Lanier Lanier提出了“Virtual Reality”（虚拟现实）的概念如何理解如何理解“虚拟虚拟”这个词？这个词？“Virtual”说明，这个世界或环境是虚拟的，不是真实的这个世界或环境是人工构造人工构造人工构造人工构造的，是存在于计算机内部的用户应该能够“进入”这个虚拟的环境中。
所谓“进入”这个虚拟的环境中，是指用户以自然的方式与这个环境交互以自然的方式与这个环境交互以自然的方式与这个环境交互以自然的方式与这个环境交互如何理解如何理解“交互交互”这个词？这个词？包括感知感知感知感知环境并干预干预干预干预环境，从而产生置身于相应的真实环境中的虚幻感，沉浸感，身临其境的感觉虚拟现实或虚拟环境系统包括哪些？虚拟现实或虚拟环境系统包括哪些？包括人类操作者操作者操作者操作者、人机接口接口接口接口和计算机计算机计算机计算机 问题请给出正确与错误的判别请给出正确与错误的判别使用虚拟现实系统的标志就是使用头盔式立体显示器和数据手套1.虚拟现实系统应用最多的专用设备是头盔式立体显示器和数据手套于是，有人以使用这些专用设备为虚拟现实系统的标志这种观点是不准确不准确不准确不准确的2.头盔式立体显示器和数据手套等设备，只是当前已经实现的一部分虚拟显示设备一部分虚拟显示设备一部分虚拟显示设备一部分虚拟显示设备它们还很不完善例如，头盔的视场，分辨率，造成眩晕等问题还有待解决听觉接口和力觉接口等设备还在研究，应用还不多味觉，嗅觉，运动觉等技术，还缺乏研究 关于虚拟仿真虚拟现实系统中的虚拟环境，可能有下列几种情况虚拟现实系统中的虚拟环境，可能有下列几种情况第一种情况是模仿真实世界中的环境模仿真实世界中的环境模仿真实世界中的环境模仿真实世界中的环境。
例如，建筑物，武器系统，或战场环境这种真实环境，可能是已经存在的，也可能是已经设计好但还没有建成的为了逼真地模仿真实世界中的环境，要求逼真地建立几何模型和物理模型几何模型和物理模型几何模型和物理模型几何模型和物理模型环境的动态应符合物理规律这一类虚拟现实系统的功能，实际是系统仿真系统仿真系统仿真系统仿真 点击观看居室环境的仿真和漫游例子点击观看居室环境的仿真和漫游例子 2 和虚拟现实有关的几个概念虚拟环境虚拟环境( Virtual Environment )系统或虚拟现实系统或虚拟现实( Virtual Reality )系统系统包括人类操作者、人机接口和计算机遥操作遥操作( Teleoperator )系统系统包括人类操作者、人机接口和遥机器人增强现实增强现实( Augmented Reality )系统系统组合了虚拟环境和真实环境合成环境合成环境( Synthetic Environment )系统系统是遥操作系统、虚拟环境系统、增强现实系统等的总称 关于虚拟现实系统对于虚拟现实系统，与用户交互的环境实际是对于虚拟现实系统，与用户交互的环境实际是人工人工构造构造的，存在于计算机内部的环境。
这种虚拟的环的，存在于计算机内部的环境这种虚拟的环境，可能是不同的环境境，可能是不同的环境一种情况是真实环境的仿真例如，仿真真实建筑物的虚拟建筑物这种真实建筑物可能是已经建成的，也可能是已经设计好但尚未建成的一种情况是完全虚拟的人造环境例如在虚拟风洞中，借助可视化技术构造的虚拟风洞环境又如在三维动画中，人工构造的虚拟环境 关于遥操作系统为什么要针对虚拟现实系统提出这么多概念？概念之间的区为什么要针对虚拟现实系统提出这么多概念？概念之间的区别？别？这些概念之间的区别在于与用户交互的环境不同与用户交互的环境不同与用户交互的环境不同与用户交互的环境不同虚拟现实系统的环境是怎样的？虚拟现实系统的环境是怎样的？真实环境的仿真完全虚拟的人造环境遥操作系统的环境是怎样的？遥操作系统的环境是怎样的？对于遥操作系统，与用户交互的环境实际是在远地的一个真实的环境用户通过类似虚拟现实系统的人机接口，用户通过类似虚拟现实系统的人机接口，与远处的真实环境与远处的真实环境与远处的真实环境与远处的真实环境交互也就是看到真实环境的场景，听到真实环境的声音，也就是看到真实环境的场景，听到真实环境的声音，感到与环境中物体的接触。
感到与环境中物体的接触遥操作系统实际上是遥操作系统实际上是高级的遥控系统高级的遥控系统，是采用了先进的虚拟，是采用了先进的虚拟现实技术的遥控系统现实技术的遥控系统 3 虚拟现实的特点基于虚拟现实的基本概念，可以得到虚拟现实的下基于虚拟现实的基本概念，可以得到虚拟现实的下列三个特点列三个特点1．人机接口的内容计算机提供“环境”, 不是“数据, 信息”这改变了人机接口的内容2．人机接口的形式操作者由视觉,听觉,力觉感知环境, 由自然的动作操作环境, 不是由屏幕,键盘,鼠标和计算机交互这改变了人机接口的形式3．人机接口的效果逼真的感知和自然的动作，使人产生身临其境的感觉这改变了人机接口的效果 人机接口内容的改变计算机提供计算机提供“环境环境”, 不是不是“数据数据, 信息信息”这改变了人机接口的这改变了人机接口的内容虚拟现实的这个特点体现了虚拟现实的这个特点体现了计算机应用的新方向1.计算机的名称体现了它的最早应用是计算计算当时，计算机和用户交互的是计算有关的数值数值2.此后，计算机扩大到处理数值，字符串，文本等各类数各类数据据3.以后，计算机更扩大到处理图像，图形，声音，语言等多种媒体的信息多种媒体的信息。
4.虚拟现实系统则以环境环境为计算机处理的对象和人机交互的内容这开拓了计算机应用的新思路数值数值--------各类数据各类数据---------多媒体信息多媒体信息---------环境环境人机接口的内容的变化：人机接口的内容的变化： 人机接口的形式的改变操作者由操作者由视觉视觉视觉视觉, ,听觉听觉听觉听觉, ,力觉力觉力觉力觉感知感知环境环境, 由由自然的动作自然的动作自然的动作自然的动作操操作作环境环境, 不是由屏幕不是由屏幕,键盘键盘,鼠标和计算机交互这改鼠标和计算机交互这改变了人机接口的形式变了人机接口的形式这个特点体现了计算机这个特点体现了计算机人机接口的新方向至今为止的计算机人机接口都是至今为止的计算机人机接口都是面向机器面向机器的人机接口有哪些？人机接口有哪些？终端，键盘，鼠标，打印机等接口设备，都是适应计算机的专用设备这些设备很好地完成了各类数据和多媒体信息的交互 虚拟现实中的人机接口，则是虚拟现实中的人机接口，则是面向用户面向用户的虚拟现的虚拟现实系统中，用户以实系统中，用户以自然的方式与虚拟环境交互与虚拟环境交互如何理解自然的方式呢？如何理解自然的方式呢？所谓自然的方式，是指用户通过视觉，听觉，视觉，听觉，触觉触觉等感觉虚拟环境，使用户产生在真实环境中的幻觉。
同时，用户通过在真实环境中的行真实环境中的行为，去干预虚拟环境为，去干预虚拟环境于是，虚拟现实的人机接口设备，完全不同于现有计算机的人机接口设备这也是虚拟现实技术中最有特色的内容 人机接口的效果的改变逼真的逼真的感知感知和自然的和自然的动作动作，使人产生身临其境的感，使人产生身临其境的感觉这改变了人机接口的效果觉这改变了人机接口的效果这个特点体现了计算机人机接口的新要求人机接口的新要求用户通过人机接口与虚拟环境交互的结果，是使用户产生身临其境的虚幻感，沉浸感 虚拟现实的概念中有三个虚拟现实的概念中有三个I：：（1）Immersion(沉浸)，是指逼真的，身临其境的感觉2）Interaction(交互)，是指用户感知与操作环境（3）Imagination(想象)，是指创造性 4 虚拟现实的应用领域1．娱乐．娱乐2．国防．国防3．设计、制造和销售．设计、制造和销售4．医疗和健康．医疗和健康5．危险操作．危险操作6．训练．训练7．教育．教育8．信息可视化．信息可视化9．远程交往与远程游历．远程交往与远程游历 5 虚拟现实的技术1．．VR的人机接口的人机接口2．．VR的计算机系统的计算机系统3．．VR的建模和仿真的建模和仿真 VR的人机接口VR的的人机接口的作用人机接口的作用是什么？是什么？其一是给人类操作者提供环境信息提供环境信息提供环境信息提供环境信息通过什么方式提供环境信息？视觉、听觉和触觉包括：视觉通道、听觉通道、触觉通道、运动接口和其他接口其二是感觉人类操作者的动作和响应动作和响应动作和响应动作和响应包括：位置跟踪和映射，语音识别等。
（1）位置跟踪和映射位置跟踪和映射用于位置跟踪和映射用于测量人体各部位的位置和姿态分析判断人面部的表情它的目的是：它的目的是：了解人的身体行为这是为了实现人机交互所必需的系统功能VR系统由此了解人的行为，然后做出适当的响应，实现交互常用的技术包括：常用的技术包括：机械链接、磁传感器、声传感器、光传感器和惯性传感器基本目标是精确完成位置和姿态的测量三个主要的要求：大范围的线性响应，高带宽（1kHz），以及允许头和身体的运动 （2）视觉通道视觉通道的作用：视觉通道的作用： 给人的视觉系统提供图形显示为了提供身临其境的逼真感觉视觉通道应该满足的要求：为了提供身临其境的逼真感觉视觉通道应该满足的要求：显示的像素应该足够小，使人不至于感觉到像素的不连续显示的频率应该足够高，使人不至于感觉到画面的不连续给两眼提供具有双目视差的图形，形成立体视觉应该具有足够大的视场，理想情况是显示画面充满整个视场视觉通道的显示表面分为：视觉通道的显示表面分为：基于CRT和基于LCD视觉通道的光学系统分为：视觉通道的光学系统分为：头盔显示(HMD)和非头盔显示(OHD) 专用头盔图 （3） 听觉通道听觉通道的作用：听觉通道的作用：给人的听觉系统提供声音显示。
为了提供身临其境的逼真感觉，听觉通道应该满足一些要求为了提供身临其境的逼真感觉，听觉通道应该满足一些要求使人感觉置身于立体的声场之中能识别声音的类型和强度能判定声源的位置听觉通道的关键技术包括：听觉通道的关键技术包括：合成由接口提供的虚拟声音信号声音在虚拟空间定位问题发声设备 （4） 触觉通道触觉通道的作用触觉通道的作用给人体表面提供触觉和力觉当人体在虚拟空间中运动时，如果接触到虚拟物体，虚拟显示系统应该给人提供这种触觉和力觉触觉通道涉及操作以及感觉包括触觉通道涉及操作以及感觉包括触觉反馈力觉反馈触觉通道的结构分为：触觉通道的结构分为：安装在身体上的设备安装在地面的设备 （5） 运动接口人体在环境中的运动包括：人体在环境中的运动包括：身体的被动运动如在车上的运动身体主动运动漫游，如散步人在运动中，人体内部的运动感觉器官可以感知运动信息人在运动中，人体内部的运动感觉器官可以感知运动信息感知运动信息的器官包含：感知运动信息的器官包含：前庭系统运动系统视觉听觉系统本体感受，动觉和触觉运动接口应该给这些器官提供运动信息运动接口应该给这些器官提供运动信息。
（6） 其它类型接口其它类型接口包括：其它类型接口包括：嗅觉、味觉通道感觉热、风及湿度的接口还包括语音通讯（语音识别与合成）以及直接心理感觉和控制这些接口，目前还缺乏研究这些接口，目前还缺乏研究 2．VR的计算机系统 现有的虚拟现实系统，主要的通道是什么？ 现有的虚拟现实系统，主要的通道是什么？ 现有的虚拟显示系统主要考虑视觉通道听觉通道和触觉通道还处于研究阶段VR的计算机系统主要考虑的通道是什么？的计算机系统主要考虑的通道是什么？所以，VR的计算机系统主要考虑视觉通道的要求 VR的计算机系统的视觉通道（（1）） 视觉通道对计算机系统视觉通道对计算机系统硬件硬件的要求的要求 首先是要求维持足够的图形帧速率这要求在指定的时间内（约为0.1秒）计算出两眼的两幅图像同时要求提供足够好质量的图像这一般体现在图像中显示的多边形或三角形的树木因此，往往需要专用硬件图形硬件应提供快速几何变换、截取、消隐、多边形填充和表面纹理 （（2）视觉通道对计算机系统）视觉通道对计算机系统软件软件的要求的要求VR系统中的软件主要包括下列几种：系统中的软件主要包括下列几种：交互软件：利用人机控制设备的输出去修改VE。
视觉漫游软件：控制用户在VE中运动时看到的场景建模软件：定义虚拟物体形状、外观和属性的模型操作系统支持VE的实时多模态要求 （（3）视觉通道对计算机系统）视觉通道对计算机系统网络网络的要求的要求分布式交互仿真•分布式交互仿真已经成为现代仿真技术，特别是军事仿真的潮流•通讯网络可以把VE转换成共享的分布式计算环境 3．VR的建模和仿真 （（1）） VR的建模包括：的建模包括：几何建模和物理建模VR的几何建模1.一般的VR工具软件都具有几何建模功能2.利用现有的CAD建模工具也是常用的方法3.市场上已有商业模型库出售4.对实际物体的建模，则采用激光扫描等专用设备VR的物理建模物理建模是基于物理方程的建模一般考虑刚体建模，链接物体的建模，以及非刚体的建模智能体建模不是基于物理方程，而是基于人为的物体智能 思考题什么是刚体？什么是刚体？什么是智能体？什么是智能体？ 3．VR的建模和仿真 （（2）仿真）仿真仿真包括：图形绘制和三维动画 图形绘制图形绘制•是把三维环境，相对于虚拟摄像机（虚拟视点）投影，形成图像的过程图形绘制要求1.为了提供连续运动连续运动连续运动连续运动的错觉，帧速率帧速率必须大于每秒8到10帧。
2.为了保持瞬间交互控制瞬间交互控制瞬间交互控制瞬间交互控制的错觉，响应时间的延迟响应时间的延迟必须小于0.1秒3.为了绘制人眼可分辨的所有细节可分辨的所有细节可分辨的所有细节可分辨的所有细节，这要求有8千万个多边多边形形4.然而，用今天的硬件，每个画面8千万多边形的系统对真正的实时交互是太慢了，于是存在真实图像与实时交互间真实图像与实时交互间真实图像与实时交互间真实图像与实时交互间的折衷的折衷的折衷的折衷某些应用（如建筑和艺术）可能要求照片一样真实的绘制制造和医疗应用要求更高层次的实时交互 （（2）仿真）仿真仿真包括：图形绘制和三维动画 三维动画三维动画可以用两种途径实现:1：基于物理模型的数值计算数值计算属于满足物理规律的仿真技术，用于军事和工业等方面2：数学插值数学插值这种技术在三维动画电影中获得了巨大的成功 虚拟现实开发系统的方块图用户通过用户通过输入输出设备输入输出设备与与输入输出软件输入输出软件交互输入软件通过交互输入软件通过形形状编辑器状编辑器完成几何建模，通过完成几何建模，通过声音编辑器声音编辑器完成虚拟声音系统建完成虚拟声音系统建模然后，在模然后，在世界编辑器世界编辑器完成虚拟环境的建模。
其中的完成虚拟环境的建模其中的虚拟剪虚拟剪切器切器，用于模型的剪切建立的模型，保存在，用于模型的剪切建立的模型，保存在虚拟世界虚拟世界中整个工作在计算机系统中完成个工作在计算机系统中完成 第二节 虚拟现实有关的人的因素为什么要讨论人的因素？为什么要讨论人的因素？计算机，接口和用户是VR系统中的三个组成部分接口设计必须考虑人的因素，人的因素与VR系统性能直接相关虚拟现实中有关的人的因素具体有哪些方面？虚拟现实中有关的人的因素具体有哪些方面？人眼人耳身体感觉 虚拟现实有关的人的因素----人眼1．视觉生理结构．视觉生理结构2．立体视觉．立体视觉 3．屈光度．屈光度4．瞳孔．瞳孔5．分辨力．分辨力6．明暗适应．明暗适应7．周围视觉和中央视觉．周围视觉和中央视觉8．视觉暂留．视觉暂留9．视场．视场 1．视觉生理结构．视觉生理结构 大脑皮层大脑皮层（（Cerebral Cortex）是大脑半球的最外）是大脑半球的最外层，它负责各种形式的感觉层，它负责各种形式的感觉视网膜视网膜（（Retina）是）是在每只眼背部的神经细胞的多层膜，它把在每只眼背部的神经细胞的多层膜，它把光转成电光转成电信号信号，并通过，并通过视神经视神经和和管道管道传给大脑。
传给大脑 下图表示，视网膜的解剖图图中显示了层， 下图表示，视网膜的解剖图图中显示了层，管道和神经管道和神经 光感受器光感受器（（Photoreceptor）是每只眼睛视网）是每只眼睛视网膜中膜中1.25亿个神经细胞中的一部分，它在受亿个神经细胞中的一部分，它在受到到特定波长的光的刺激时特定波长的光的刺激时，会，会发出电信号发出电信号视网膜是眼的光敏层，几百微米厚，有视网膜是眼的光敏层，几百微米厚，有10层光线通过其中层光线通过其中8层，被另外两层的视杆层，被另外两层的视杆细胞和视锥细胞的光接收器细胞和视锥细胞的光接收器（（Photoreceptor）吸收每只眼的视网膜上）吸收每只眼的视网膜上有有1.25亿个神经细胞脊椎动物有两种光感亿个神经细胞脊椎动物有两种光感受器，：受器，：视杆细胞（视杆细胞（rods）负责低分辨率）负责低分辨率的、单色的、夜间的视觉的、单色的、夜间的视觉视锥细胞视锥细胞（（cones）负责高分辨率的、彩色的、白天）负责高分辨率的、彩色的、白天的视觉的视觉它花费25ms把光转成电信号，再把光转成电信号，再送给大脑送给大脑 右图表示，视网膜内光感受器的解剖 右图表示，视网膜内光感受器的解剖图。
图中杆状细胞和锥状细胞在上部，通图图中杆状细胞和锥状细胞在上部，通向大脑的视神经纤维在下部向大脑的视神经纤维在下部 2．立体视觉．立体视觉 视觉的另一个重要因素是立体视觉能力提供给人类视觉的图像，必须使人感觉是立体的这样，观看者的视觉系统就可以计算出被看物体的远近对同一个场景，两眼得到稍有差别的视图左视区的信息，送到两眼视网膜的右侧在视交叉处，左眼的一半神经纤维交叉到大脑的右半球，左眼的另一半神经纤维不交叉，直接到大脑的左半球这样，两眼得到的左视区的所有信息，都送到右半球 右图表示，人类立体视觉的原理图HMD（头盔显示器）提供两个显示，不但应保持双目视差双目视差，而且应该重叠重叠实际上,由于两眼有6.5cm的瞳距，所以两者视场总有些差别,有不重叠的区域对中央凹区域，深度感在150m时减弱对周围视觉，深度感在100m减弱而在这个距离上，双目视差不是最有用的，运动视差和透视可能更有用 3．屈光度．屈光度与眼的光学部分有关的一个度量是"屈光度" （dioptre）有1个屈光度的镜头，可以聚焦平行光线在1米距离人眼的聚焦能力约60屈光度，这表明聚焦平行光在17mm距离，这就是眼球尺寸，是晶状体和视网膜的距离。
年青人可以连续改变14个屈光度，这称为调节或聚焦调节或聚焦这保证对远近物体都能看到清晰远近物体都能看到清晰的图像年长后调节能力减弱，50岁时调节能力2个屈光度，70岁时调节能力0个屈光度在注视运动物体时，自动调节屈光度调节作用保证某个距离的物体清晰，而其它距离物体模糊这起了滤波器的作用，使人集中关注视场中部分区域在HMD中没有调节中没有调节，2个图像都是聚焦在2到3米距离 4．瞳孔．瞳孔瞳孔是晶状体前的孔，直径可变化，由1.5mm到8mm面积之比1:30瞳孔作用有三个：(a) 放大时可增加眼的敏感；(b) 缩小时可增加近视觉的视距；(c) 缩小时可限制入射光在光学效果最好的中心区 5．分辨力．分辨力分辨力是人眼区分两个点的能力，限于10m距离上约1.5-2mm例如在2m的距离观看宽度400mm的电视人眼区分两个点的能力，在2m距离上约0.4mm则宽度400mm上应该由1000个0.4mm大小的像素计算机监视器和高清晰度电视机，都达到了这样的分辨率 6．明暗适应．明暗适应眼对亮度的感觉可以自动调节，这是通过改变在视杆和视锥细胞中光敏化合物的浓度例如从亮处进入暗室时的现象，称为暗适应暗适应，花费约40分。
亮适应亮适应是从暗室进入阳光下时的现象，这种适应的强度变化在25000倍视杆细胞适应时间约1小时，视锥细胞适应时间约几分钟 7．周围视觉和中央视觉．周围视觉和中央视觉视网膜不仅是被动的光敏表面通过视杆和视锥细胞与神经细胞的连接，它还有一定的图像处理中央凹是视网膜中央部分，在光轴与视网膜焦点附近，直径约1mm，有高密度视锥细胞中央凹区域的视觉称为中央视觉中央视觉是高分辨率部分，有中央视觉是高分辨率部分，有彩色的、白天的视觉彩色的、白天的视觉视网膜周围区域包含视杆和视锥细胞视网膜周围区域的视觉称为周围视觉这些神经细胞对光强的变化敏感，它帮助我们注意运动物体周围视觉虽然分辨率低，周围视觉虽然分辨率低，是单色的、夜间的视觉，但敏感运动物体是单色的、夜间的视觉，但敏感运动物体 8．视觉暂留．视觉暂留视觉暂留是视网膜的电化学现象造成视觉的反电化学现象造成视觉的反应时间应时间当观看很短的光脉冲时，视杆细胞得到约0.25s 的峰，视锥细胞快4倍，得到约0.04s的峰这种现象造成视觉暂留 现有的现有的VR技术，是否对以上技术，是否对以上8个人眼的因素都考虑个人眼的因素都考虑到了？到了？人眼的八个因素：视觉生理结构、立体视觉、屈光度、瞳孔、分辨力、明暗适应、周围视觉和中央视觉、视觉暂留、视场 现有的VR系统中，已经考虑的因素包括：立体视觉，分辨力，视觉暂留，以及视场。
其他因素还没有充分考虑到 虚拟现实有关的人的因素----人耳1．声音．声音2．声音感觉．声音感觉3．频率范围．频率范围4．声强．声强5．声音方向．声音方向6．声音舞台．声音舞台7．头部有关的传递函数．头部有关的传递函数 1．声音．声音 音速在空气中，0℃时331m/s，20℃时344m/s在海水中，1℃时音速1453m/s在铸铁棒中，音速3500m/s 耳听到的频率范围约20Hz到20kHz随年岁增加，频率范围缩小，特别是高频段 考虑音速344m/s 20Hz的波长17.2m, 1kHz的波长34.4cm, 10kHz的波长 3.44cm人耳的尺寸约7cm，这是5kHz的波长这说明耳会影响这种频率声音的收集人的身体也会与声波交互，这也会影响声音的质量这类似音乐厅中的音响效果 2．声音感觉．声音感觉 耳分为外耳、中耳、内耳外耳把声音引导进内耳，它也作为滤波器而改变声音把手放在耳前面，就会感到声音变化声音最终冲击耳膜，使之振动耳膜振动再传到耳蜗，并且振动加大20倍 3．频率范围．频率范围 耳蜗有3个螺旋管，被2个膜片分开，Reissner膜和耳底膜振动会刺激耳底膜上的2万到3万个硬毛，并产生电信号传给大脑。
耳底膜有识别频率识别频率的机制高频振动刺激膜的开始部分，中频振动刺激膜的中间部分，低频振动刺激膜的远端部分 4．声强．声强声强影响到耳底膜的振幅，直接转成毛细胞的刺激5．声音方向．声音方向一般认为，人脑识别声源位置，是利用两耳收识别声源位置，是利用两耳收到的声音的时间差和声音幅度差到的声音的时间差和声音幅度差当人面对声源时，两耳的声强和路径相等当人向左转以后，右耳声音比左耳强，且更早听到若两耳路径之差为20cm，则时间差0.6ms6．声音舞台．声音舞台如果用一对麦克风记录立体声音，就可以重现声音舞台，它有宽度和深度 7．头部有关的传递函数．头部有关的传递函数 在听耳机时，每个耳只听一个发声器的声音当然一个耳中的声音，也会经头部传给另一耳在听扬声器时，每个耳都分别听到两个扬声器的声音 1974年Plenge认为，进入耳的声音的形式，会产生外部的声音舞台的感觉对于耳机（特别是插入式耳塞），感觉的声音舞台是内部的如果驱动耳机的左右通道可以由电子设备构成声音，则人会感觉声音有外部的真实性为此要求知道声音的形状，或由声源到耳内部的传递函数这个由声源到耳内部的传递函数称为"头部有关的传递函数" (Head-related transfer functions, HRTF)，它反映头和耳对传声的影响，不同的人有不同的HRTF。
HRTF的测量方法如下对空间每个位置的声源，安放在耳中接近耳膜的小麦克风测量收到的信号信号经过处理，补偿非线性频率响应由此得到HRTF 现有的现有的VR系统中，已经考虑的人耳的因素有哪些？系统中，已经考虑的人耳的因素有哪些？现有的VR系统中，已经考虑的因素包括：声音方向，声音舞台，以及头部有关的传递函数其他因素还没有充分考虑到 虚拟现实有关的人的因素----身体感觉在在VR环境中，我们说的身体感觉，主要是对哪些事环境中，我们说的身体感觉，主要是对哪些事物的感觉？物的感觉？感觉表面粗糙、振动、运动、位置、压力、疼痛和温度现有的现有的VR系统中，已经考虑了触觉和力觉显示但系统中，已经考虑了触觉和力觉显示但是有关的技术细节还没有充分考虑到是有关的技术细节还没有充分考虑到 按身体不同部位，身体感觉可分四类按身体不同部位，身体感觉可分四类(a)深部感觉它提供关节、骨、腱、肌肉和其它组织的信息，涉及压力、疼痛和振动 (b)内脏感觉它提供胸腹腔中的内脏的状况，主要是疼痛 (c)本体感觉它提供身体的位置，平衡和肌肉感觉也涉及与其它物体的接触，如站在地上、躺在床上本体感觉接受器位于关节、肌肉和深部组织。
(d)外感受感觉它是身体表面的接触感觉 VR系统中，对众多的人的因素是如何考虑的？系统中，对众多的人的因素是如何考虑的？ 在VR中，某些人的因素明显被考虑，如HMD中考虑瞳距另外一些人的因素未明显考虑，如运动眩晕运动眩晕Defence Research Agency研究了沉浸感显示的副作用有些人认为用HMD看不同远处物体时，不能用会聚和调节，使人不适应有人认为HMD与内瞳距不匹配也使眼疲劳有人认为眼不是会聚，而是在发散有些用户很敏感运动刺激，如汽车、船、飞机、火车等有人实验研究了VR引起运动眩晕问题在150个实验者中，有8人产生强烈眩晕其它实验者经历了20分钟沉浸环境5分后有22%的人眩晕，10分后有32%人眩晕，15分后有40%人眩晕，20分后有45%人眩晕在沉浸经历以后5分钟，还有36%的人眩晕，10分钟后还有27%的人眩晕在VR中，具有图像生成的延迟，视觉和前庭器官信息的时间不同步也造成感觉（视觉与本体感觉）的冲突快速处理和予测算法有可能缓解这种不同步 章内小节介绍了虚拟现实的概念和有关的人的因素介绍了虚拟现实的概念和有关的人的因素 虚拟现实或虚拟环境是人工构造的，存在于计 虚拟现实或虚拟环境是人工构造的，存在于计算机内部的环境，包括人类操作者、人机接口和计算机内部的环境，包括人类操作者、人机接口和计算机。
虚拟现实具有三个特点虚拟现实具有三个特点 人的视觉问题和听觉问题，都是和虚拟现实有 人的视觉问题和听觉问题，都是和虚拟现实有关的人的因素关的人的因素 习题一、一、 填空题填空题1、、 虚拟现实系统的三个部分是虚拟现实系统的三个部分是 ——————2、、 遥操作系统的三个部分是遥操作系统的三个部分是 —————— 3、、 增强显示系统是增强显示系统是 —————— 4、、 合成显示系统是合成显示系统是 —————— 5、、 虚拟现实系统的三个特点是虚拟现实系统的三个特点是 —————— 6、、 虚拟现实系统的三个虚拟现实系统的三个I是是 —————— 7、、 虚拟现实系统的主要应用领域是虚拟现实系统的主要应用领域是 —————— 8、、 虚拟现实系统的三个主要技术领域是虚拟现实系统的三个主要技术领域是 —————— 9、、 视觉交叉的结果是，脑左半球处理视觉交叉的结果是，脑左半球处理 —————— 10、、 人眼的屈光度是人眼的屈光度是 眼球的焦距是眼球的焦距是 —————— 11、、 人眼的分辨率在人眼的分辨率在10m距离上为距离上为 —————— 12、、 中央视觉特点是中央视觉特点是 。
主要利用的细胞是主要利用的细胞是 —————— 13、、 周围视觉特点是周围视觉特点是 主要利用的细胞是主要利用的细胞是 —————— 14、、 确定电影和电视的帧频应该考虑人眼的确定电影和电视的帧频应该考虑人眼的 现象现象—————— 15、、 人耳的人耳的HRTF的中文名称是的中文名称是 其含义是其含义是 其测量方法是其测量方法是 —————— 16、、 飞行仿真中，发生眩晕的原因是飞行仿真中，发生眩晕的原因是—————— 一、一、 填空题填空题1、、 虚拟现实系统的三个部分是虚拟现实系统的三个部分是人类操作者、人机人类操作者、人机接口和计算机接口和计算机2、、 遥操作系统的三个部分是遥操作系统的三个部分是人类操作者、人机接人类操作者、人机接口和遥机器人口和遥机器人 3、、 增强显示系统是增强显示系统是组合了虚拟环境和真实环境组合了虚拟环境和真实环境 4、、 合成显示系统是合成显示系统是遥操作系统，虚拟环境系统，遥操作系统，虚拟环境系统，增强现实系统等的总称增强现实系统等的总称 5、、 虚拟现实系统的三个特点虚拟现实系统的三个特点是计算机提供是计算机提供"环境环境", 不是不是"数据数据, 信息信息"。
这改变了人机接口的内容这改变了人机接口的内容 2．操作．操作者由视觉者由视觉,听觉听觉,力觉感知环境力觉感知环境, 由自然的动作操作环由自然的动作操作环境境, 不是由屏幕不是由屏幕,键盘键盘,鼠标和计算机交互这改变了鼠标和计算机交互这改变了人机接口的形式人机接口的形式 3．逼真的感知和自然的动作，．逼真的感知和自然的动作，使人产生身临其境的感觉这改变了人机接口的效使人产生身临其境的感觉这改变了人机接口的效果 6、虚拟现实系统的三个、虚拟现实系统的三个I是是 Immersion(沉浸沉浸)，是指，是指逼真的，身临其境的感觉逼真的，身临其境的感觉 （（2））Interaction(交互交互)，是指用户感知与操作环境是指用户感知与操作环境 （（3））Imagination(想想象象)，是指创造性是指创造性 7、、 虚拟现实系统的主要应用领域是虚拟现实系统的主要应用领域是1.娱乐2．国．国防3．设计、制造和销售．设计、制造和销售4．医疗和健康．医疗和健康5．．危险操作危险操作 6．训练7．教育8．信息可视化．信息可视化9．远程交往与远程游历．远程交往与远程游历 8、、 虚拟现实系统的三个主要技术领域是虚拟现实系统的三个主要技术领域是1．．VR的人的人机接口。
机接口2．．VR的计算机系统的计算机系统3．．VR的建模和仿真的建模和仿真 9、、 视觉交叉的结果是，脑左半球处理视觉交叉的结果是，脑左半球处理两眼得到的两眼得到的右视区的所有信息右视区的所有信息10、、 人眼的屈光度是人眼的屈光度是 眼球的焦距是眼球的焦距是人眼的聚焦人眼的聚焦能力约能力约60屈光度，这表明聚焦平行光在屈光度，这表明聚焦平行光在17mm距离距离 11、、 人眼的分辨率在人眼的分辨率在10m距离上为约距离上为约1.5-2mm 12、、 中央视觉特点是中央视觉特点是中央视觉是高分辨率部分，有彩色的、中央视觉是高分辨率部分，有彩色的、白天的视觉白天的视觉 主要利用的细胞是主要利用的细胞是高密度视锥细胞高密度视锥细胞 13、、 周围视觉特点是周围视觉特点是周围视觉虽然分辨率低，是单色的、夜周围视觉虽然分辨率低，是单色的、夜间的视觉，但敏感运动物体间的视觉，但敏感运动物体 主要利用的细胞是主要利用的细胞是周围区域包周围区域包含视杆和视锥细胞含视杆和视锥细胞 14、、 确定电影和电视的帧频应该考虑人眼的确定电影和电视的帧频应该考虑人眼的 现象现象视觉暂留视觉暂留 15、、 人耳的人耳的HRTF的中文名称是的中文名称是“头部有关的传递函头部有关的传递函数数" (Head-related transfer functions, HRTF) 。
其含义其含义是是由声源到耳内部的传递函数对空间每个位置的由声源到耳内部的传递函数对空间每个位置的声源，安放在耳中接近耳膜的小麦克风测量收到的声源，安放在耳中接近耳膜的小麦克风测量收到的信号信号 其测量方法是其测量方法是信号经过处理，补偿非线性频信号经过处理，补偿非线性频率响应由此得到率响应由此得到HRTF 16、、 飞行仿真中，发生眩晕的原因是飞行仿真中，发生眩晕的原因是视觉接收人体视觉接收人体运动感觉，前庭器官不感觉人体运动运动感觉，前庭器官不感觉人体运动 第一章 虚拟现实的接口设备◇◇课前索引课前索引◇◇第一节 位姿传感器第一节 位姿传感器◇◇第二节 视觉显示第二节 视觉显示◇◇第三节 听觉显示第三节 听觉显示◇◇第四节 力觉和触觉显示第四节 力觉和触觉显示◇◇章节小结章节小结◇◇课后习题课后习题 。
