倾斜影像多基元融合.pdf

倾斜影像多基元融合2011级 摄影测量与遥感报告日期： 2013-10-09专题研讨报告姚国标提纲一、意义二、研究现状与切入点三、研究内容四、研究方案五、结论本文研究的直接意义及目的： ① 从 地面 近景 倾斜影像自动获取密集或者是准密集可靠同名像点 ， 提高后续三维重建的精度与自动化程度； ② 为航空倾斜影像的空中三角测量 （ “ 空三 ” ） 提供高精度 、 高可靠连接点 ， 提高 “ 空三” 自动化水平与精度 ； ③ 基于倾斜影像测绘阶段 ， 为自动识别 并 提取地貌 、地物提供可靠 “ 种子点 ” ； ④ 亦可为多源遥感影像的信息提取 、 变化检测以及高精度配准提供思路与方法 一、意义二、研究现状与切入点(a) 邻域几何畸变与辐射畸变未知(b) 邻域几何畸变与辐射畸变已知，但不精确Our eyes ： yes！Computer ： no！Compare to =0.0310Our eyes ： yes！Computer ： yes or no?Compare to =0.5703g1(x, y) g2(x, y)h0+h1g2(a1x+a2y+a3, b1x+b2y+b3)g1(x, y)Our eyes ： yes！Computer ： yes！h0+h1g2(a1x+a2y+a3, b1x+b2y+b3)g1(x, y)Compare to =0.9772(c) 已知精确的邻域几何畸变与辐射畸变参数图 1 人眼判别同名点与计算机判别同名点比较研究现状总结： 当今数字摄影测量与计算机视觉领域已报道的影像匹配方面的研究成果 ， 绝大多数围绕着如何提高匹配效率 (如构造影像金字塔 )、 如何缩小同名点的搜索范围 (如核线约束 、 单应约束 、 多视匹配 )、 如何尽量消除相关窗口的几何变形与辐射变形 (如仿射不变特征匹配算法 )、 如何提高匹配点定位精度 (如最小二乘影像匹配 、 牛顿迭代法 )。

二、研究现状与切入点二、研究现状与切入点研究切入点： 本文在已有成果的基础上 ， 进一步提出 “ 倾斜影像自动匹配关键技术研究 ” 这一课题和研究目标 如上所述 ， 尽管相关领域已有大量的理论研究成果 ， 也为我们的进一步研究提供了较高的参考价值 但考虑到本文的研究目标 ， 现有研究仍然存在以下不足：1） 初始稀疏匹配的可靠性不足 初始稀疏匹配主要用来为后续匹配传播提供足够数量的种子点及某种几何约束关系 研究现状表明： （ 1） 当影像视点变化较大时 ， 基于单一仿射不变区域特征的初始匹配方法均难以获得足够数量的种子点 ， 从而难以用于获得稳定的核线几何约束关系； （ 2） 已有 初始匹配方法均不能很好地适应不同纹理类型 （ 尤其是重复纹理或稀疏纹理 ） 的影像场景 .2） 用于匹配传播的相似性测度可靠性不足 现有的基于不同特征基元的匹配传播中 ， 主要采用基于影像强度特征的相似性函数或特征描述符 ， 如基于灰度的 NCC匹配测度和基于影像梯度信息的 SIFT特征描述符等 这些匹配测度和特征描述符虽可在一定程度上克服影像间的亮度变形 ， 但对于深度不连续及亮度变形较大的影像区域 ， 其可靠性将大为降低 。

因而 ， 构造能够较好适应影像的亮度变形和视差非连续变化的相似性函数模型仍是解决上述问题的关键 3） 线特征匹配不具投影不变性 基于邻域仿射 （ 投影 ） 变形改正的倾斜立体影像点特征匹配方法已被证明是行之有效的 然而 ， 该方法尚未有效地用于直线特征匹配 目前 ， 大多数方法仅能实现线特征的尺度和旋转不变匹配 ， 但不适用于更为复杂的仿射变形情况；线特征匹配 方法均没有充分顾及线段端点定位误差对直线特征匹配结果的影响 4） 缺乏有效的多元影像特征融合匹配策略和方法 二、研究现状与切入点研究切入点： 本文综合考虑上述问题 ， 并基于已有工作基础 ， 在特征提取 、稀疏匹配及匹配传播的完整理论和技术框架下就上述问题进行深化研究 ， 通过融合具有密集检测性能及定位精度较高的 Forstner特征点 、 具有较高提取精度以及抗噪性的 SUSAN角点 ， 对倾斜立体影像变形具有较好适应性的仿射不变区域特征及具有高层描述信息的直线特征 ， 系统研究并构建融合多元特征的倾斜立体影像可靠匹配策略和方法 本文研究的顺利开展将有望在较大程度上推动摄影测量尤其是倾斜摄影测量理论和应用的发展 3.1 创新性• 本文针对倾斜影像数据的研究现状及问题切入点，旨在以下 3个方面进行创新性研究：• 创新性之一 ，融合互补仿射不变区域特征的高可靠初始稀疏匹配方法研究，包括：• 1）仿射不变区域特征的量化测评及互补特征自动选择方法研究。

• 2）仿射不变区域特征的高可靠稀疏匹配方法研究• 创新性之二 ，融合点、线特征的多层次密集匹配传播策略和方法研究，包括：• 1）顾及亮度变形及视差不连续的相似性函数模型构建方法研究• 2）直线特征的投影不变匹配策略和方法研究• 3）融合点、线特征的多层次密集匹配策略和方法研究• 创新性之三 ，算法优化及评价体系构建，包括：• 1）基于多线程算法的高效并行处理方法研究• 2）基于三维重建的算法评价体系构建三、研究内容3.2 拟解决的问题• 本文创新性之一拟解决的问题包括：• 1）倾斜影像的高精度自动定向所需的同名像点数量不足、精度不高、分布不均匀的问题• 2）下一步研究的点、线特征的多层次密集传播匹配无可靠“锚点”的问题• 本文创新性之二拟解决的问题包括：• 1）针对视差不连续的复杂三维场景，现有的匹配算法所依据的匹配测度存在适应性不足缺陷• 2）利用倾斜影像序列进行精细三维重建时存在可靠同名像点数量不足的问题• 本文创新性之三拟解决的问题包括：• 1）算法计算复杂度高，无法满足实时化处理与应用需求• 2）对倾斜影像匹配算法的系统评价无可靠统一的尺度与准则三、研究内容四、研究方案4.1 融合互补仿射不变区域特征的高可靠初始稀疏匹配稀疏匹配的高可靠性包括正确匹配的数量 、 匹配准确率和匹配定位精度三个方面的指标 。

通过融合对倾斜立体影像变形适应性能较好的互补仿射不变区域特征来提高初始匹配的数量；在生成候选匹配的基础上 ， 通过建立仿射不变区域特征的约束优化匹配及其鲁棒外点估计模型来提高初始匹配的正确率；通过仿射不变区域特征的最小二乘匹配来提高初始匹配的精度 基于邻域特征集支持度的外点估计模型带约束条件的优化目标函数构建仿射不变特征的约束优化匹配及其外点估计模型互补特征的候选匹配生成（基于 SIFT描述符和 K-D 树的快速匹配）基于改进松弛标记算法的目标函数优化求解互补仿射不变区域特征的最小二乘精匹配图 2 融合互补不变特征高精度稀疏匹配流程四、研究方案融合互补仿射不变区域特征的高可靠初始稀疏匹配 详细内容如下：（ 1） 仿射不变区域特征的量化测评及互补特征选择① 仿射不变区域特征的量化测评 针对不同的应用场景 ， 研究者们从不同的角度定义了多种仿射不变区域特征 （ 如 Harris-Affine、 Hessian-Affine、 MSER、 EBR及 IBR等 ） ， 这些特征既可能位于感兴趣目标上也可能位于复杂背景结构上或目标与背景的边界处 因此 ， 论文首先对这些仿射不变区域特征的局部性 、 精确性 、 鲁棒性及不同特征间的互补特性进行定性及定量分析并建立其量化评价体系 ， 以指导实际的应用 。

② 具有互补特性的仿射不变区域特征自动选择方法 以上述建立的量化评价体系为理论依据 ， 针对不同的应用场景 ， 研究分析并建立基于图像统计特性的互补仿射不变区域特征的自动选择方法 ， 继而通过融合互补特征来提高初始匹配数量 2） 互补仿射不变区域特征的可靠稀疏匹配① 仿射不变区域特征的约束优化匹配 基于候选匹配区域特征描述符间的距离测度值并充分利用其对应邻域内像素点几何变换关系及 “ 一对一 ” 匹配约束关系构造适于数值求解的二值约束优化目标函数 ② 基于邻域特征集支持度的外点估计模型 ③ 仿射不变区域特征的高精度最小二乘匹配 结合仿射不变区域特征对应邻域的仿射几何关系同时考虑到区域特征的重心定位不准确的特点 ， 重点研究顾及透视投影变形的基于 8参数投影变换模型的最小二乘匹配迭代参数初始值的确定方法 ， 以保证最小二乘匹配能够正确收敛 四、研究方案=0.724 =0.754 =0.778 =0.836 =0.900=2.127 =2.127 =2.127 =2.127 =2.127=0.703 =0.740 =0.812 =0.869 =0.918=2.456 =1.942 =1.437 =1.009 =0.828四、研究方案四、研究方案四、研究方案四、研究方案【 第 3层次 】基于核线、拓扑几何及双向匹配一致性约束的点、线特征匹配传播【 第 1层次 】基于初始种子邻域扩展的点、线特征匹配传播【 第 2层次 】基于影像分割及种子线邻域扩展的点、线特征匹配传播融合点线特征的密集匹配传播结果初始稀疏种子匹配结果种子线的选择图 3 融合点、线特征的多层次匹配传播算法融合具有高层描述信息的直线特征 ， 利用基于互补仿射不变区域特征的高可靠初始稀疏匹配结果提供的核线几何关系及种子邻域的单应映射 （ 二维投影变换 ） 关系 ， 通过研究顾及亮度变形及视差不连续的相似性函数模型 、直线特征的投影不变匹配策略和方法 ， 最终研究建立融合点 、 线特征的顾及特征提取重复率的多层次可靠密集匹配传播策略和方法 。

4.2 融合点 、 线特征的密集匹配四、研究方案4.2 融合点 、 线特征的密集匹配（ 1） 顾及亮度变形及视差不连续的相似性函数模型构建研究构造一种基于 HSI颜色模型和格式塔准则的顾及亮度变形及视差不连续的相似性函数模型 具体思路和步骤如下：① 基于 HSI颜色模型的亮度不变特征提取 基于 HSI颜色模型与 RGB颜色模型之间直接而简便的转换关系 ， 分析 HSI颜色模型中色调 （ H） 、 饱和度 （ S） 、 强度（ I） 与 RGB颜色空间的关系及其量化特性 ， 提取并构造归一化的亮度不变特征② 格式塔准则的量化评价模型构造 为抑制视差断裂等不利因素对匹配结果的影响 ， 基于格式塔心理学原理对匹配邻域窗口进行高层次的知觉编组 源于视觉研究的格式塔心理学是一种注重整体组织的心理学理论体系 ， 认为知觉是按照一定的规律形成和组织起来的 ， 图形知觉不是图形各部分的简单叠加 ， 而是各部分按照一定的原则构成的有机整体 ， 如相似性原则 、 临近原则 、 目标 -背景原则等 结合待匹配特征邻域窗口间的几何和颜色信息构造基于上述原则的量化评价模型 2） 融合点 、 线特征的密集匹配传播融合点 、 线特征的密集匹配传播的基本思想是：尽可能地利用初始匹配提供的种子点及有效的几何约束并充分顾及特征提取的重复率等因素来提高匹配的数量和准确率 。

四、研究方案4.3 相关算法优化及三维重构评价•在对相关算法进行优化的基础上 ， 将互补仿射不变区域特征的初始匹配结果及融合Forstner特征点和直线特征的密集匹配结果作为最终的多元特征匹配结果 ， 基于摄影测量的基本原理完成其物空间定位并建立其三维重构和应用评价体系 详细内容如下：•① 相关算法优化 基于图形处理器通用计算平台 （ General Purpose Graphical ProcessingUnit， GPGPU） ， 分析现代 GPU并行架构和工作原理 ， 结合程序特点和硬件规格对各工作过。