人机交互系统的设计准备重点

第三讲 人机交互系统的设计准备,江萍,虚拟环境是一个封闭的回路系统，虚拟环境生成系统将生成的用以仿真现实环境的图象、音响(和语音)、压力等等通过人机接口系统作用到用户的感官，并实时通过传感器测试与跟踪用户的行为与反应，以便实时调整生成的序列，用户则通过交互方式可以实际感知和响应虚拟环境。虚拟环境人机接口系统中传感器的作用是将得到的用户数据实时地反馈到虚拟环境系统中，而虚拟环境则可以根据这些数据来计算和生成新的视景、音响和作用力，以使生成的系统更加逼真，更加符合自然规律，并将新的结果再作用到用户作为新的激励。 为了设计一个友好和实用的虚拟环境系统，有必要对虚拟环境系统的构成，特别是人机交互系统的构成，以及其中主要部件和模块的情况和设计准则有一个概括的了解。 关于友好和实用虚拟环境的解释，本领域的开创人 Ivan Sutherland最初的想法是利用计算机系统构造一个用户看起来是“景物真实、动作真实、声音真实、感觉真实”的世界。当时强调的是视觉感知和视觉作用，主要想法是通过显示设备(头盔式显示器HMD)来解决问题。从虚拟环境技术的应用中不难发现，在虚拟环境的实现中实际要解决的问题远比仅仅开发一个显示设备要复杂得多，因为它需要考虑虚拟环境系统的所有主动和被动的部分，包括视觉、听觉、触觉、嗅觉以及回路中人的运动和对环境的反应。由此，我们可以看出这样的系统绝不只是一个简单的显示系统，至少还必须考虑音响系统、力觉作用系统、人类感知的心理学和生理学因素、传感器技术、实时图象生成及系统集成。,虚拟环境的基本设计准则,设计一个应用虚拟环境系统，应该确定的设计准则和策略： 所设计的系统应该是开放的 虚拟环境系统是一个集成系统，是一个尚不成熟的技术学科。为了使所设计的系统能够方便地在绝大多数硬件平台上运行，能够吸收任何新的软件系统和硬件设备成为自己的组成部分，能够方便地在网络环境上运行，必须遵循开放性设计的原则。 所设计的系统应该是面向对象的和可重用的 虚拟环境系统中的软件子系统和传感设备种类繁多，而且新的设备不断出现，新的应用要求也不断出现，因此必须采用面向对象技术，将功能块和功能设备全部利用面向对象技术进行描述和管理。 所设计的系统应该是服从标准化原则 必须认真了解每个分支领域在接口和算法方面的标准化现状，严格服从已有的标准化方案，对正在制定中的标准化方案也要充分注意。 所选择的部件或子系统应该是有生命力 在灵境的商品化领域，特别是虚拟环境中的传感设备和应用软件方面，绝大多数的公司都是只有几十个人甚至几个人，因而如何判断他们的生命力是一个很困难的问题。 用户的安全和健康放在第一位 与其他的计算机应用系统不同，虚拟环境系统使用生成的视景和音响，使用力学装置产生虚拟环境，由于我们对生成的环境、对人的健康到底会有什么样的影响和副作用尚不十分清楚，所以在设计和引入某些设备时一定要首先考虑可靠性，要仔细计算或调查对于用户可能带来的任何影响。,虚拟环境系统分类,根据应用的要求，虚拟环境系统可以设计成非配带型或配带型： 非配带型 有时也称为桌上型，其视景是通过计算机的屏幕，或电视屏幕，或投影屏幕，或室内的实际景物加上部分计算机生成的环境来提示给用户的；音响是通过安放在桌上的或室内的音响系统提供的。汽车模拟器、飞机模拟器、电子会议等都属于非配带型。 非配带型的优点是用户比较自由，不需要戴头盔和耳机，不需要戴数据手套，不需要戴跟踪器，可以同时允许多个用户加人系统，对用户数的限制铰小。但非配带型系统不容易解决双目视觉竞争问题。不容易构造用户沉浸于其中的环境。 非配带型系统中比较重要的功能块包括计算机系统、显示系统、摄象机的光学跟踪系统、音响系统、甚至网络系统。 配带型 用封闭的视景和音响系统将用户的视听觉与外界隔离，使用户完全置于计算机生成的环境之中。计算机通过用户戴的数据手套和跟踪器可以测试出用户的运动和姿态，并将测得的数据反馈到生成的视景中，产生人在其中的效果。 配带型系统中比较重要的功能块包括计算机系统、头盔式显示器、图象生成器、数据手套、音响系统和力学传感器系统等等。,虚拟环境中人机接口系统的构成,在理想的情况下，虚拟环境系统应当是多传感器构成的人机交互方便的综合集成系统，该系统所产生的图象的分辨率应该足够高，图象要十分丰富和自然(主要指图象的色彩和运动图象的连续及实时显示)，系统集成不会产生延迟，色彩和立体感要足够好，音响的立体声效果要好，语音合成要足够逼真，力感要足够细微，用户使用该系统不会轻易感觉疲劳，系统中的传感器系统应具有多个自由度，延迟时间要足够短。 一个理想的虚拟环境系统的人机交互系统应该包括右图所示的内容：,虚 拟 环 境 生 成 器,立体声 音响合成,语音合成,图形图象生成,语音识别,头眼手身跟踪,人体语言识别,运动学,头 盔 显 示 设 备,多传感器组,力觉作用装置,分辨率足够的立体显示设备 如头盔式显示器HMD，分左右两屏显示景物，并经过视觉的作用产生立体视觉效果； 立体声音响合成 产生以用户本人为原点的立体声音响； 语音合成 根据文本生成自然语言的语音； 图形与图象生成 产生以用户本人为视点的包括景物和运动目标的视景； 头、眼、手、身体定位与跟踪 确定用户头、眼、手和身体的位置与方向； 人体语言识别 识别用户的手势、头势、体势等形体语言信息； 语音识别 识别用户的语音命令甚至会话内容； 触觉系统 提供重力与压力的反馈； 运动学系统 提供用户和目标运动的法则和定律； 虚拟环境生成器 根据内部模型和外部环境的变化计算生成人在回路中的逼真的虚拟环境。 从系统组织上分类，我们可以将虚拟环境的人机交互子系统分为硬件、软件、界面和人性因素等四部分。 从功能的角度分类，将人机交互子系统分为显示与表现、生成与合成、感知与识别和人性因素等四部分。,虚拟环境的硬件系统,一个逼真的虚拟环境，至少包括以下五类设备或硬件系统：跟踪系统、触觉系统、音频系统、图象生成系统和显示装置。 跟踪系统 其功能是确定用户的头、手、身体及任意真实世界物体的位置及指向。 磁性跟踪设备 利用小型天线发出的磁场，由多个接收天线接收信号，控制并通过计算得到三维的位置坐标和方向。缺点是容易受其他磁场的干扰和对其他的磁性设备产生干扰。 声学跟踪设备 使用超声波脉冲，不受磁干扰的影响。缺点是由于超声波的折射、反射以及衰减会随着环境的改变而改变。 惯性跟踪设备 此种技术在航空、航天和航海导航设备中已经得到广泛的应用，核心技术是陀螺。此类设备的灵敏性好，响应速度快。 机械跟踪设备 通过精密的机械框架和连接来测量指定点的位置和指向。 光学跟踪设备 利用摄象机获取图象，通过立体视觉计算确定目标位置，并通过观测多个参照点来确定目标的表面指向。,触觉系统 触觉系统是指为虚拟世界提供手工探测或操作物体的现实感生成设备，它利用人的触觉、力觉及运动神经系统与虚拟环境相互作用，并具有如下三个基本功能： 测量用户手与/或其他部位的位置和受力，以便得到控制虚拟环境的输入； 显示受力和位置与或它们对用户的空间和时间的分布； 通过力学作用单元产生力矩和力觉作用。 当前在虚拟环境的触觉系统中人们感兴趣的研究领域包括： 手的位置和指向的测量； 应用受力和转矩的测量： 受力情况和趋势的显示； 其他激励分布的测量与分析； 手套中的力矩作用元： 反作用力作用元。 对于触觉系统的研究课题首先考虑的是机械稳定性和可靠性(包括对用户的安全性)。为了避免给出误提示，反馈系统必须用小于几毫米的振幅仔细控制振动。为了保证用户的安全，力觉的作用元必须有完全不会出现危险误动作的保证。,音频系统 一个音频系统，可划分为以下主要功能模块：制作、录音、再生和加工。 由于光盘数字音频磁带与采样系统的出现，极大地简化了控制现实世界声音的再现方式，在这方面仅需进行很少的研究就可以满足虚拟环境的需要。 通过拉长短音样本制造出长音效果，改变音高或振幅以响应虚拟现象，为激活声音起动，常用的工具是MIDI界面，借助于现代数字信号处理装置的计算能力，很容易实现应用中所需要的声音。 在虚拟世界中出现特定的物理现象时，比较困难的问题是应该产生什么样的声音，如设想将木块插进一块厚钢中，除非已经建立了相应的物理声学模型，或者建立了完整的规则库系统，否则虚拟环境系统对产生这类尚无定义的声音是毫无办法的。现假定这样的库存在虚拟环境内部，解决的办法是把两种不同密度材料的撞击和插入声音的数字录音全部拿来，由设计人员凭经验和直觉选出几种候选对象，然后再用合成的方法进行加工。 定位问题是另一个在音频系统中受重视的问题。 人确定声源方位的能力要强于仅仅探测到达两激励间差别的延迟，很显然人们可以区别声音是高还是低，在听者前还是后，即使声音可能来自听者中间。NASA空军研究中心的科研人员已研制出一些测量及应用与头部相关的转换函数HRTF技术，在人体的耳道中放人很小的麦克风，用许多不同源的位置记录头部对脉冲的响应，然后将HRTF 与声音激励一起进行实时卷积计算以产生位置感，通过路径中不同位置上采用的HRTF 间的插值来全面产生轨道。,图形与图象生成器 计算机图形学的发展正迅速改善着多边形、阴影模型及纹理成象技术和图象显示技术，目前可视系统的成本在性能不变的条件下以每年大约50的速度下降。虚拟环境应用中图象生成器的主要问题是延迟时间即可视数据库或视觉参数的变化与屏幕显示的变化间的延迟与实时显示要求之间的矛盾。影响延迟的两个主要因素是视觉参数变化的计算开销和将数据送给显示装置的传送开销。 大多数应用中的图形用户要求等待时间越短越好，因而要求生成器的计算能力越强越好。传送速度的决定因素：一是数据带宽和主频速度；二是从数据库中读取图形图象数据的速度。关于前者，绝大多数图形结构很大程度上使用管道输送方法减小传输时间。目前需要研究减少读取等待时间的方法，即使在牺牲多边形吞吐量的情况下，虚拟环境也需要较低的等待时间。目前还没有找到等待时间的阈值数据，因此仍需进行研究。模拟病对等待时间的影响在100ms与300ms之间，这是由于所用的图象生成系统的限制。确定阈值的一种方法是使用全景缓冲器，并根据头跟踪信息， “拍摄”预存景象。 PAL显示设备的等待时间为20ms，NTSC显示设备的等待时间约16.7ms，为超过该速度，必须在成象前根据最近的几何图形立即产生扫描线。 最新构造的具有最小等待时间的虚拟环境系统从用户实际移动到用户移动后的图象输出到HMD上仍会有延迟。在所有虚拟环境系统中，这些输出将可能导致在知觉质量和模拟病方面造成不良影响。因此应重视研究低延迟时间的计算机成象系统，而且为克服系统本身延迟及所产生的影响，还应研究关于运动预测的软件技术。,可视化显示设备 可视化显示设备主要包括HMD和其他立体显示器。 HMD由光学器件和一对显示屏幕组成，对于HMD的设计，最困难的是如何将光学器件和显示屏幕装入耐用、轻便、人机控制和卫生的封壳中。 HMD的工作原理是由计算机实时生成视景图象，通过光学器件投影到HMD的显示屏幕上，HMD就可以沉浸在计算机生成的视景图象中。 目前，HMD的显示器已采用彩色的液晶显示，但其分辨率还远远满足不了灵境系统中的实际需求的。美国加利福尼亚州航天空间实验室设计了一种特殊的设备BOOM，解决了HMD的光学系统重、显示系统重、显示分辨率低、视域低等问题。BOOM是一种三维显示设备，悬挂在一个重的吊臂上，可自由旋转，使得观察者不必戴头盔，计算机通过获取吊臂的位置信息判断观察者的视点。BOOM可以安装高分辨率的彩色显示器，取代了低分辨率的彩色液晶显示器。BOOM的六轴编码装置可以测量显示设备的位置和方向信息，提供完全六自由度的感觉。 一般认为10241024或者20482048规模的分辨率才会令用户满意，然而这样规模的LCD成本太高。华盛顿大学适人化界面技术实验室，正在研制一种用激光束直接在视网膜上成象的显示设备，激光微型扫描器的优点包括光加权、非常高的分辨率及高亮度。但是该系统必须能准确地确定和跟踪眼睛瞳孔的位置，并且能够