虚拟现实技术及应用课件.ppt

虚拟现实技术及应用 Virtual Reality,郝泳涛 博士 haoyt@ 同济大学CAD研究中心 副教授 2007年 上海,第二章 虚拟现实技术的技术体系结构,2.1 虚拟现实技术的体系结构,体系结构,,输入处理器,渲染处理器,用户,模拟处理器,虚拟世界 数据库,,,,,,,,,模拟处理器 VR的核心程序 处理: 控制交互、对象动作和决定虚拟世界的状态渲染处理 感觉传输到用户 视觉 听觉 触觉（触摸/力） 实时图像生成 SGI 图形工作站,虚拟世界数据库 设计的主体部分 隶属虚拟世界的对象信息 描述动作的脚本 用户信息 灯光效果 程序控制 硬件设备支持 OOD技术,虚拟现实建模语言(VRML) Virtual Reality Modeling Language VRML 是在因特网上建立虚拟现实的开放标准,A VRML cylinder,#VRML V2.0 utf8 # A Cylinder Shape { appearance Appearance { material Material { } } geometry Cylinder { height 2.0 radius 1.5 } },Cylinder.wrl,2.2 虚拟现实的多感知系统体系和技术,J.J.Gibson总结的感知系统,人类的感知系统,行为系统,人类的行为系统,人与环境的关系,虚拟现实系统,,http://www.reflex.lth.se/reflex/whatisVR/,多感知系统技术框图,一个示例：virtual cockpit,http://www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld068.htm,Virtual Reality systems to train aircraft pilots and tank commanders, 视觉生成基本原理：光线跟踪的方法,假设从视点V通过屏幕象素 e向场景投射光线交场景中的景物于P1, P2, … ,Pm , 那么离视点 最近的P1 就是画面在象素点 e 处的可见点，象素 e 的光亮度应由 P1 点向 P1V方向辐射的光亮度决定。

如此求出视域内每一个象素的光亮度，则可生成一幅完整的真实感图象e,光线跟踪技术(ray tracing),I = Ic + ts Is + tt It,其中： I ： 可见点 P 处的光亮度 Ic： 局部光照亮度 ts Is：环境镜面反射光亮度 tt It： 规则透射光亮度,,每一点的光亮度求法,视觉生成的基本内容,在图形设备上生成逼真视景必须完成四个基本任务： 用数学方法建立所需要三维场景的几何描述 将三维几何描述转换为二维视图 这可通过对场景的透视变换来完成 确定场景中的所有可见面 这需要使用隐藏面消除算法将视域之外的或被其他物体遮挡的不可见面消去 计算场景中可见面的光强与颜色 严格地说，就是根据基于光学物理的光照模型计算可见面投射到观察者眼中的光亮度大小和色彩，并将它转换成合适图形设备的颜色值，从而确定投影画面上每一个象素的颜色，最终生成视景1.2 视景的几何建模与表示方法,要实现虚拟现实，首先要尽可能详细地表示虚拟现实的场景几何信息 例如：表示虚拟环境中的山川河谷、鱼虫鸟兽，花草树木、五官躯体、车船路桥等 实现虚拟现实视景的表示方法有： 多边形(三角形)网格表示方法 结构立体几何表示方法 体数据表示方法(volume-based method),多边形(三角形)表示方法,这种方法又称为表面或边界表示方法，即物体的立体几何信息是通过它们的边界面或包围面来表示的。

而物体的边界面或包围面（即物体的表面）可以用多边形表示结构立体几何表示方法,这种方法又称为体积表示方法这种表示方法中，物体被表示为一个三维体积基元的集合及它们之们的布尔运算：并、交及差Volume-based methods,表示单元为体素(voxel) 每个体素表示了所在位置的颜色、密度等相关信息其他建模与表示技术(VR相关),细节层次(Levels of Detail: LOD)技术 纹理映射(texture map)技术,Courtesy Stanford 3D Scanning Repository,69,451 polys,2,502 polys,251 polys,76 polys,Level of Detail: Traditional LOD In A Nutshell,From: David Luebke (University of Virginia) http://www.cs.virginia.edu/~gfx/Courses/2004/RealTime/lecture06.LOD1.ppt,Distant objects use coarser LODs:,Level of Detail: Traditional LOD In A Nutshell,,From: David Luebke (University of Virginia) http://www.cs.virginia.edu/~gfx/Courses/2004/RealTime/lecture06.LOD1.ppt,纹理映射技术(texture mapping),在视景表示时，对于有些细节，不需要建立相应的多边形表示，为了达到很好的视觉效果，只需要建立简单的几何模型，然后在几何模型的面上贴上对应的逼真图片就可以了。

这种方法称为纹理映射方法 这不仅增加了场景的逼真度，而且减少了表示场景的多边形数目映射纹理前的场景,映射纹理后的场景,纹理映射技术(示例),1.3 立体显示技术,基本原理：人的视觉系统可以通过四种线索得到深度知觉: 侧视网膜图象差(lateral retinal image disparity); 运动视差(motion parallax); 图象大小差异(differential image size); 纹理梯度(texture gradient) 目前的立体显示技术基本上是基于双目视差原理实现的影响（沉浸感）立体 视觉因素 宽视野（１８０Ｘ１５０） 立体显示 彩色 高分辨率 头部跟踪,主要视觉设备： 红蓝滤色眼镜 液晶开关的立体视眼镜 三维头盔显示器（HMD） 双筒全方位监视器（BOOM） 墙式显示屏自动声象虚拟环境（CAVE）,头盔式显示器（Head Mounted Display ，HMD),HMD 实物与原理图,头盔显示器,Head Mounted Display, HMD,头盔实现方法1,带有光导纤维的HMD的原理,HMD 的实现方法,美国icuiti公司 分辨率：VGA（640 X 480） 价格69800日圆（约合人民币5235元） 距离眼睛1 cm，画面相当于2 米外42 英寸屏幕 厚度2 cm，重量70 g 支持连接DVD播放器、桌面电脑等 电源使用3节AA电池，可以连续播放5小时左右。

Video Eyewear 眼镜式显示器,BOOM,Binocular Omni-Orientation Monitor, Omni Orientation Monitor (BOOM),CAVE,Cave Automatic Virtual Environment,http://www.evl.uic.edu/pape/CAVE/,http://www.ipo.tue.nl/homepages/mrauterb/presentations/HCI-history/sld076.htm,CyberSphere,Fully Immersive Spherical Projection System,Illustration of the Spherical Projection System,the Fully Immersive Spherical Projection System,http://www.vr-systems.ndtilda.co.uk/sphere1.htm,ImmersaDesk,http://www.evl.uic.edu/pape/CAVE/idesk/paper/,http://avl.iu.edu/technology/idesk/,Infinity Wall,http://www.evl.uic.edu/pape/CAVE/idesk/paper/,http://www.it.bton.ac.uk/staff/lp22/CS133/vrslides/sld009.htm,2、声音生成技术,,听觉 3D &Stereo 声源定位：强度（高频）和时差（低频） 问题：声音从头里发出，随强度差而偏左或偏右 原因：与耳朵形状有关 解决：Convolvotron($15,000) 耳内录音 + 计算,3 触觉与力觉生成技术,3.1 触觉与力觉反馈设备,There are two main types of haptic devices: devices that allow users to “feel“ textures of 2-dementional objects with a pen or mouse-type interface glove or pen-type devices that allow the user to “touch“ and manipulate 3-dementional virtual objects,触觉（Haptic) Haptic: 机械感受器（压力与纹理）与本体感受器(proprioceptor)（重量、形状、大小） 机械臂，空气囊，记忆金属，小马达，小探针,第二代TeletactII装有更高分辨率的指尖空气室，其余部分的空气室更大，并提供手掌反馈系统。

很大的手掌空气室允许用户使劲握物体，然后接收刺激TeletactII与TeletactI使用相似，只是空气室由20增加到30个 在中指尖、食指尖和拇指区域空气室密度较大，空气室也被放在手的背部，以产生手接触物体的感觉ARRC力学反馈手套,笔式力量感知器,PHANTOM® Omni™ Haptic Device, SensAble Technologies,力反馈手套RMⅡ,RMⅡ像一付手套似的戴在用户的手上主要结构包括一个小平台，上面架着四个特制的汽缸每个汽缸轴的顶端都和相应的指尖相连接，轴和指尖的连接通过“Y”形的连接物一个简单的细皮手套被作为传感器/反馈系统的支持结构CyberGrasp, Immersion Corporation,数据手套,DHM手势传感装置原理图,4、身体位置跟踪,,身体跟踪 位置的跟踪（位置+方向） 及角度的度量（指关节、光纤） 眼动跟踪,位置跟踪技术： 正交电磁场 Polhemus trackers 超声波信号 Logitec. Mattel Power Glove 机械连接 Fake Space Labs 视频信号处理 Myron Krueger LED视频传感 UNC at Chapel Hill 惯性跟踪（加速度） Spaceball,PowerGlove示意。