多通道用户界面交讲解.ppt

多通道用户界面交互技术 多通道用户界面交互技术 n人机交互发展史 n多通道用户界面概述 n多通道整合 n眼动跟踪 n三维输入 人机交互发展史 n1969年在英国剑桥大学召开了第一次人机系统 国际大会，同年第一份专业杂志国际人机研究 （IJMMS）创刊可以说，1969年是人机界面 学发展史的里程碑 n在1970年成立了两个HCI研究中心：一个是英 国的Loughbocough（拉夫堡大学 ）大学的 HUSAT研究中心，另一个是美国Xerox公司的 Palo Alto研究中心 n1970年到1973年出版了四本与计算机相关的人 机工程学专著，为人机交互界面的发展指明了 方向 人机交互发展史 n20世纪80年代初期，学术界相继出版了六本专 著，对最新的人机交互研究成果进行了总结 Human-Computer Interface(界面/接口) Human-Computer Interaction(交互) n20世纪90年代后期以来，随着高速处理芯片， 多媒体技术和Internet Web技术的迅速发展和 普及，人机交互的研究重点放在了智能化交互 ，多模态（多通道）-多媒体交互，虚拟交互以 及人机协同交互等方面，也就是放在以人为在 中心的人机交互技术方面。

人机交互发展史 人机交互的发展经历了几个阶段： n早期的手工作业阶段 n作业控制语言及交互命令语言阶段 n图形用户界面（GUI）阶段 n网络用户界面的出现 n多通道、多媒体的智能人机交互阶段 多通道用户界面交互技术 n人机交互发展史 n多通道用户界面概述 n多通道整合 n眼动跟踪 n三维输入 多通道用户界面的几个概念 n通道（modality） 1.传输信息的数据通路2.计算机系统中传送信息 和数据的装置 n模式 （mode） 一种状态或上下文信息决定了如何对信息解释以 获取意义 n通道整合 指用户在与计算机系统交互时，多个交互通道之间 相互作用形成交互意图的过程 多通道用户界面的几个概念 n多通道界面 主要关注人机界面中的用户向计算机输入 信息以及计算机对用户意图理解的问题 ，其目标是达到交互自然性和交互高效 性 多通道用户界面的几个概念 n多通道用户界面交互技术 基于视线跟踪、语音识别、手势输入、感 觉反馈等新的交互技术，允许用户利用 自身的内在感觉和认知技能，使用多个 交互通道，以并行、非精确方式与计算 机系统进行交互，旨在提高人机交互的 自然性和高效性 多通道用户界面的概念模型 多通道人机界面概念模型 多通道用户界面的基本特点 n多个感觉通道 n交互双向性 n交互的隐含性 n交互的非精确性 多通道用户界面评价 n基于多通道用户界面所追求的目标，人 们提出相应的评价多通道用户界面的若 干指标： n互补性（complementary）； n指派性（Assignment）； n等效性（Equivalence）； n冗余性（Redundancy）； 互补性 n互补性是指若干通道必须以互补方式完 成特定的交互任务，也就是说，当单个 通道不能提供充分的任务信息时，需要 其他通道补充，如手势指点补充语音命 令。

互补性可能存在一个“优势通道”，并 需要其他通道予以辅助 指派性 n指派性是指某通道是完成特定交互任务唯一途 径的情形，即某通道必须被用于实现特定交互 任务而没有其他通道可以替代 n指派性可分为两种情形 n一种是不存在其他选择，称为严格的指派性（Strict Assignment） n另一种是虽然存在选择，但用户或系统总是倾向于 使用同一种通道，称为代理指派性（Agent Assignment） 等效性 n等效性是指在完成特定交互任务时至少 有两种以上通道可以互相替代，由于设 备特性、用户习惯或临时因素（如手头 正忙）而使某种通道不能使用时，可选 择其他通道代替 冗余性 n冗余性是指在特定交互中多个通道同时 使用并具有相同的表达作用 n不同通道为相同参数提供所需信息，并 且所表达信息可能是一致的，也可能是 矛盾的 输入原语 n输入原语IP（Input Primitive）代表了用 户到计算机的词法输入，它是来自不用 的通道的独立的、最小的、不可分割的 操作 n根据用户的交互意图和交互方式，输入 原语可以抽象出浏览、指点、拾取、文 本、变换、手势六类 输入原语 n每个IP可实例化为一个四元组 n〈用户动作，数据表示，使用通道，时间标 签〉 n它体现了某一时刻来自某个输入通道的用户 输入动作与一种内部数据表示联系在一起 nIP是通道无关的，不同的物理通道的输 入可以映射到相同的IP n二维鼠标的Click动作和眼动跟踪的眼睛凝 视动作都可归为“指点类“IP─POINT； 多通道用户界面描述方法 nUAN面向任务，支持任务分解，并将每个基本 任务求精为可以完成它的用户动作序列。

体现 为一种多异步任务的类似层次结构，每个任务 内的时序独立于其他任务 nLOTOS是国际标准化组织ISO为了定义网络协 议而制定出来的一种描述语言，适用于描述涉 及并行、交互、反馈和不确定性等问题的一类 系统 多通道用户界面的三维表示模型 多通道用户界面的概念模型 人机交互模型的发展 多通道用户界面交互技术 n人机交互发展史 n多通道用户界面概述 n多通道整合 n眼动跟踪 n三维输入 多通道整合和算法 n基本概念 n整合（Integration) n在比较低的层次上，主要关注如何把各种各样的交互设备 和交互方式容纳到系统中 n在较高的层次上，主要关注多个通道之间在意义的传达和 提取上的协作 n融合 (Fusion) n在多个层次上（词素的、词法的、语义的、会话的）上对 来自不同通道、具有不同表示的信息的合一化处理，其目 的是正确地获取用户输入，特别是正确地解释用户输入 n分流 (Fission) n在多个层次上对需要向用户传达的特定信息向不同输出通 道、不同信息表示和表现的转换 多通道整合原理-整合策略 n语音和手势整合 n歧义消除 n时间响应上 n多通道反馈 n急性子融合 n慢性子融合 面向任务的整合模型(ATOM) n多通道界面的面向任务设计，需要解决 如何将同一任务的相关信息让不同的通 道来分担，并使它们能够相互协作的问 题。

n与传统界面相比，任务参数的设计问题 在多通道界面设计中尤其突出，多通道 协作的指称就是这一设计所要考虑的问 题之一 面向任务的整合模型(ATOM) n多通道整合的问题可以看作一个如何对多通道信息流 加以合理地组块化并正确解释各个组块的意义的问题 n将整个多通道输入流分割成对应于任务的“段”和对应于任 务参数的“节”； n分块的依据主要是语法约束和时间接近性 n模型以格(lattice)这种代数结构为基础 n来自多个通道的输入在时间上的关系是一种偏序关系 n为了支持多通道整合，需要由各个通道输入处理程序给每个 输入事件加上时间戳，这种时间戳应该尽可能接近用户相应 动作发生的时间 多通道用户界面交互技术 n人机交互发展史 n多通道用户界面概述 n多通道整合 n眼动跟踪 n三维输入 眼动跟踪（Eye-Gaze Tracking） n与视觉有关的人机交互自始至终都离不开视线 的控制，如果能通过用户的视线盯着感兴趣的 目标，计算机便“自动”将光标置于其上，人机 交互将更为直接，也省去了上述交互过程中的 大部分步骤 n有关视觉输入的人机界面研究主要涉及两个方 面 n一是视线跟踪原理和技术的研究 n二是在使用这种交互方式后，人机界面的设计技术 和原理的研究 眼动跟踪 n早期的视线跟踪技术首先应用于心理学 研究、助残等领域，后来被应用于图像 压缩及人机交互技术 n视线跟踪技术有强迫式与非强迫式、穿 戴式与非穿戴式、接触式与非接触式之 分 n视线追踪主要用于军事领域（如飞行员 观察记录），阅读及帮助残疾人通信等 眼动跟踪 Stanford University和The Poynter Institute 合作研究 人们对于Internet上新闻的注意程度 眼动跟踪 人们对于Internet上新闻 的注意程度研究结果 人们对于Internet上新闻的注意程 度研究结果 内 容注视率 文章文字（Articles text）92% 简讯（Briefs）82% 照片（Photos）64% 标题广告（Banner Ads）45% 图形（graphics）22% 眼动的主要形式 n眼动有三种主要形式 n跳动（Saccades） n在正常的视觉观察过程中，眼动表现为在一系列被观察目 标上的停留及在这些停留点之间的飞速跳跃 n在注视点之间的飞速跳跃称为眼跳动。

n注视（Fixations） n停留时间至少持续100ms以上的称为注视在注视中，眼 也不是绝对静止不动，会有微小运动，但大小一般不会超 过1°视角 n绝大多数信息只有在注视时才能获得并进行加工 n平滑尾随跟踪（Smooth Pursuit） n缓慢、联合追踪的眼动通常称为平滑尾随跟踪 眼动跟踪的基本原理 n利用红外发光二极管发出红外线，采用图像处理技术 和能锁定眼睛的特殊摄像机，通过分析人眼虹膜和瞳 孔中红外线图象点的连续变化情况，得到视线变化的 数据，从而达到视线追踪的目的 n从视线跟踪装置得到的原始数据需要经过进一步的处 理才能用于人机交互 n数据处理的目的是滤除噪声、识别定位及局部校准与 补偿等，最重要的是提取出用于人机交互所必需的眼 睛定位坐标 n但是由于眼动存在固有的抖动，以及眼睛眨动、头部 剧烈的移动所造成的数据中断，存在许多干扰信号， 提取有意眼动数据非常困难解决此问题的办法之一 是利用眼动的某种先验模型加以弥补 米达斯接触问题与解决方法 n“米达斯接触（Midas Touch）”问题： n如果鼠标器光标总是随着用户的视线移动，可能会 引起用户的厌烦，因为用户可能希望能随便看着什 么而不必非“意味着”什么，更不希望每次转移视线 都可能启动一条计算机命令。

n避免“米达斯接触”问题的方法：在理想情况下 ，应当在用户希望发出控制时，界面及时地处 理其视输入，而在相反的情况下则忽略其视线 的移动 n可采用其他通道（如键盘或语音）进行配合 多通道用户界面交互技术 n人机交互发展史 n多通道用户界面概述 n多通道整合 n眼动跟踪 n三维输入 三维输入 n许多应用（如虚拟现实系统）需要三维空间定 位技术：三维空间控制器的共同特点是具有六 个自由度，分别描述三维对象的宽度、深度、 高度、俯仰角、转动角、偏转角 n通过控制这六个参数，用户可以在屏幕上平移 三维对象或光标，也可沿三个坐标轴转动三维 对象 n三维空间控制器、视线跟踪器、数据手套等输 入设备产生的空间位置是相对的 n在三维用户交互中必须便于用户在三维空间中 观察、比较、操作、改变三维空间的状态 三维空间的交互操作方式 n三维光标 n由六自由度三维输入装置控制的三维光标将使 三维交互操作更自然和方便； n三维光标必须有深度感，即必须考虑光标与观 察者距离：离观察者近的时候较大，离观察者 远的时候较小； n确定光标在三维空间的方向，这种定向操作必 须自然且方便操作；为保持三维用户界面的空 间感，光标在遇到物体时不能进入到物体内部 。

三维光标的实现需要大量的计算，对硬件的 要求较高，编程接口也比二维光标复杂得多 三维空间的交互操作方式 n三维widgets n三维widgets即三维交互界面中的一些小工具用户 可以通过直接控制它们使界面或界面中的三维对象 发生改变 n三维widget包括在三维空间中漂浮的菜单、用于拾 取物体的手的三维图标、平移和旋转指示器等 n许多三维用户界面的研究者正在设计和试验各种不 同的三维widgets，希望将来能够建立一系列标准的 三维widgets就像二维图形用户界面中的窗口、按钮 、菜单等 三维widgets图例 采用三视图输入技术，实现三维的输入 n如果输入一个三维点，只要在两个视图 上把点的对应位置指定后便唯一确定了 三维空间中的一个点；把直线段上两端 点在三视图上。