东北大学计算机图形学10

第10章 实时真实感图 形学技术绪论在前面的几章中，我们已经详细介绍 了各种光照明模型及它们在真实感图形 学中的一些应用方法，它们都是用数学 模型来表示真实世界中的物理模型，可 以很好的模拟出现实世界中的复杂场景 ，所生成的真实感图象可以给人以高度 逼真的感觉。但是，我们发现，用这些 模型生成一幅真实感图象都需要较长的 时间，尤其对于比较复杂的场景，绘制 的时间甚至可以达到数个小时。尽管现在的计算机硬件水平有了很大 的提高，而且对于这些真实感图形学算 法的研究也有了很大的发展，但是，真 实感图形的绘制速度仍然不能满足某些 需要实时图形显示的任务要求。例如在 某些需要动态模拟、实时交互的科学计 算可视化以及虚拟现实系统中，它们对 于生成真实感图形学的实时性要求很高 ，就必须采用实时真实感图形学技术。实时真实感图形学技术是在当前图形算法和硬 件条件的限制下提出的在一定的时间内完成真实 感图形图象绘制的技术。一般来说，它是通过损 失一定的图形质量来达到实时绘制真实感图象的 目的，就目前的技术而言，主要是通过降低显示 三维场景模型的复杂度来实现，这种技术被称为 层次细节(LOD：Level of Detail)显示和简化技术 ，是当前大多数商业实时真实感图形生成系统中 所采用的技术。在最近的几年中，又出现了一种 全新思想的真实感图象生成技术基于图象的绘 制技术(Image Based Rendering)，它利用已有的 图象来生成不同视点下的场景真实感图象，生成 图象的速度和质量都是以前的技术所不能比拟的 ，具有很高的应用前景。10.1 层次细节显示和简化在实时生成真实感图形图象的过程中，在 前面的章节中我们已经介绍过，如果我们要得 到某种特定的视觉效果，那么生成图象的算法 的选择是有限的，因而要实现实时性，我们只 有从需要绘制的三维场景本身入手。在当前的 真实感图形学中，需要绘制的三维场景的复杂 度都非常高，一个复杂的场景可能会包含几十 甚至几百万个多边形，要实现对这种复杂场景 的实时真实感图形绘制是很困难的。一种自然 的想法就是通过减少场景的复杂度，来提高图 象绘制的速度。层次细节显示和简化技术就是 在这种背景下提出来的。当场景中许多面片在屏幕上的投影小 于一个象素，我们可以合并这些可见面 而不损失画面的视觉效果。层次细节技 术最初是为简化采样密集的多面体网格 物体，而设计的一种算法。这些复杂的 多面体网格往往通过激光扫描测距系统 扫描真实三维物体而得到。为真实反映 原物体的表面变化，扫描过程中所采取 的采样点非常稠密，这为三维场景的存 储/传输/及绘制带来极大的困难。为此人 们开始研究复杂多面体网格的简化。层次细节显示简化技术就是在不影响画面 视觉效果的条件下，通过逐次简化景物的表面 细节来减少场景的几何复杂性，从而提高绘制 算法的效率。该技术通常对一个原始多面体模 型建立几个不同逼近程度的几何模型。与原模 型相比，每个模型均保留一定层次的细节，当 从近处观察物体时，我们采用精细的模型，而 当从远处观察物体时，则采用较粗糙的模型， 这样对于一个较复杂场景而言，我们可以减少 场景的复杂度，同时对于生成的真实图象的质 量的损失还可以在用户给定的阈值以内，而生 成图象的速度也可以大幅度的提高。这是层次 细节显示和简化技术的基本原理。 但是，需要注意的是，当视点连续变化 时，在两个不同层次的模型之间就存在一个 明显的跳跃，有必要在相邻层次的模型之间 形成光滑的视觉过渡，即几何形状过渡，使 生成的真实感图象序列是视觉光滑的。层次 细节显示和简化技术的研究主要集中于如何 建立原始网格模型的不同层次细节的模型以 及如何建立相邻层次的多边形网格模型之间 的几何形状过渡。对于原始网格模型的不同层次细节的模型的 建立，我们假设场景的模型都是三角形网格（在 实际应用中，为了绘制方便，三维场景最后一般 都被转化为三角形网格），从网格的几何及拓扑 特性出发，存在着三种不同基本化简操作，它们 分别是顶点删除操作，删除网格中的一个顶点， 然后对它的相邻三角形形成的空洞作三角剖分， 以保持网格的拓扑一致性；边压缩操作，把网格 上的一条边压缩为一个顶点，与该边相邻的两个 三角形的退化（面积为零），而它的两个顶点融 合为一个新的顶点；面片收缩操作，把网格上的 一个面片收缩为一个顶点，该三角形本身和与其 相邻的三个三角形都退化，而它的三个顶点收缩 为一个新的顶点。这些操作如图10.1所示。图10.1 层次细节模型化简的基本操作利用这些基本操作，我们只要确定每次 操作给网格场景带来的误差计算，用这个 误差代价计算方法来计算原始网格上的每 一个基本元素的误差作为权值，插入到一 个按权值增序排列的队列中。然后开始循 环进行网格基本化简操作。在每一次循环 中，我们选取队首权值最小的操作，执行 之，更新变化的网格信息，并重新计算改 变了的网格基本元素的误差，插入到队列 中，再开始下一个循环，直到队列的最小 误差达到用户设定的阈值或者用户希望的 化简网格数目已经得到。通过上面的方法，我们可以建立原始场 景的不同层次细节的模型，所建立的模型 具有一定层次的细节，而且相对于原始网 格，它们之间的误差是逐步递增的，这样 的模型可以很好的用于层次细节的显示中 。建立相邻层次的多边形网格模型之间的 几何形状过渡，基本的方法就是通过插值 对应网格基本元素的位置来实现光滑过渡 ，问题的关键是如何得到两个相邻层次的 多边形网格模型的基本元素之间的对应关 系。对于顶点删除操作和面片收缩操作，我 们可以用被操作的对象与其相邻的基本元 素之间建立对应关系，而对于边压缩操作 ，只要简单的把压缩边上的两点与压缩后 的新点建立对应关系。在有了这些对应关 系后，就可以通过插值的方法来实现光滑 过渡。在实际的应用中，线性插值就可以 很好的达到预期的效果。层次细节显示和简化技术是实时真实感 图形学技术中应用比较多的一个技术，通 过这种技术，可以较好的简化场景的复杂 度，同时，采用不同分辨率的模型来显示 复杂场景的不同物体，使在生成的真实感 图象质量损失很小的情况下，来实时的产 生真实感图象，满足某些关键任务的实时 性要求。图10.2是牛模型的三个不同层次 细节简化模型的示意。图10.2 牛的层次细节简化模型10.2 基于图象的绘制技术在我们前面介绍的实时真实感图形学技术 层次细节显示和简化中，它是从物体场景的 几何模型出发的，通过减少场景的几何复杂程 度，也就是减少真实感图形学算法需要渲染的 场景面片数目，来提高绘制真实感图象的效率 ，达到实时的要求。但是，随着计算机水平的 发展，人们可以得到高度复杂的三维场景，对 于这种场景，我们即使对其层次简化到一定的 程度，它的复杂度仍然很高，而不能被现有水 平的计算机实时处理，同时我们又不能把场景 简化程度很大，这样会导致图象质量的严重降 低，而失去真实感图象的最初目的。这样，我们就需要一种能够对高度 复杂的场景进行实时真实感图形绘制 的技术，而且要求这种技术可以在普 通的计算机上应用。最近几年，满足 这种要求的技术才开始出现，那就是 基于图象的绘制技术（Image Based Rendering）。基于图象的绘制技术与前面的真实感图 象算法完全不同，它是从一些预先生成好 的真实感图象出发，通过一定的插值、混 合、变形等操作，生成不同视点处的真实 感图象。在这种技术中，我们不需要知道 复杂场景的完全几何模型，我们需要的仅 是与这个场景有关的一些真实感图象，因 而图形的绘制是与场景复杂度相互独立的 ，从而彻底摆脱传统方法的场景复杂度的 实时瓶颈，在这种技术中，绘制真实感图 象的时间仅与图象的分辨率有关。预先生成好的图象可以是通过对真实场景摄影 得到地真实照片，也可以是由传统真实感图形学 算法计算机生成的图片，由于这个步骤是在预处 理阶段进行的，我们可以使用任何一种复杂的真 实感图形算法，构造足够复杂的场景，而不需要 考虑时间因素，来得到这种预设图片。无论是通 过哪种方法，我们能够得到的真实感图象的真实 度都非常高，因而用基于图象地绘制技术生成的 图象的真实度也可以很高。采用基于图象的绘制 技术最重要的一点是，这种方法对计算机的要求 不高，可以方便的在普通的计算机上实时的生成 真实感图象，对真实感图形学的应用有很大的促 进作用。在基于图象的绘制技术中，已经有不少优 秀的图象绘制方法，我们仅介绍其中的最基 本的一个方法视图插值(View Interpolation) 方法。视图插值方法是由Chen于1993年提出 的。因为基于图象的绘制技术中给出的是几 幅某个场景的真实感图象，而我们要生成其 它角度的真实感图象，就需要解决如何由这 几个真实感图象来插值得到目标图象的问题 。视图插值方法就是用以解决这个问题而提 出来的。图10.3 视图插值的象素对应关系示意利用图象来构造虚拟环境的方法在早期的 飞行模拟器中就已经被使用了，系统设计者 在场景的不同位置制作所有方向的采样图象 ，然后对于不同位置的视点，用离该视点最 近的采样图象作为该位置看到的图象。这样 显示的图象是跳跃式的，具有视觉的非连续 性。视图插值方法可以改进这个不足，它在 相邻的采样点图象之间建立光滑自然的过渡 ，可以真实的再现各采样点之间场景透视变 换的变化。实际上，视图插值技术利用了相邻两图 象之间的连贯性，利用两个画面的摄像机 参数及图象个象素点的深度值通过视觉基 本原理来建立相邻采样点真实感图象之间 象素的对应关系，如图10.3所示，是同一个 物体点P在A、B两幅相邻视图中的象素对 应关系。在生成真实感图象的时候，只要 插值对应点的象素颜色就可以得到中间的 过渡图象。视图插值技术是一种反映了实 际场景透视变换变化的特殊的图象变形（ Morphing）过程。在这种技术中，我们首先要得到采样真实感 图象各象素点的深度值，这可以由深度摄像机 的相关摄像机参数直接获取或者计算机视觉理 论来恢复图象深度信息。有了图象的深度信息 ，加上已知的摄像机参数，可以建立两副采样 图象的象素对应关系。然后我们用这种关系， 构造对应象素的偏移向量，再用偏移向量的插 值近似模拟透视变换的变化，得到中间图象象 素的颜色，生成中间的真实感图象。在实际的应用中，若采用逐个象素插值来构 造中间图象，算法的效率并不是很高，尤其是对 于高分辨率的图象，有可能无法进行实时计算。 实际上，源图象上的相邻象素一般都具有相近的 偏移向量，我们可以利用这一个性质来对算法进 行优化。Chen采用四叉树来对图象进行剖分，使 该树的每一个叶子节点对应于图像中偏移向量区 别很小的区域，在绘制时，算法用叶子节点代表 的图象块进行插值计算，可以大大加速算法的执 行速度。在基于图象的绘制技术中还有其它的一些方 法，如层次图象存储技术，全景函数技术，光场 采样技术等，这些技术中还存在着许多需要解决 的问题，在本节中，我们就不再进一步的讨论了 。总之，基于图象的绘制技术，相对于传统的真 实感图形学图象生成技术而言，是一种思想全新 的技术，是计算机图形学中一个新的研究热点， 我们在这里简单地介绍它的基本思想，目的是为 了拓宽大家的视线，介绍当今国际图形学的发展 方向，使我们的图形学发展能够跟上国际的水平 。