图像融合系统和方法.docx

图像融合系统和方法专利名称：图像融合系统和方法技术领域：本发明涉及成像系统和方法，尤其涉及一种有选择地融合或组合来自两个或更多传感器的图像区，以形成一个单一处理图像的成像系统和方法背景技术： 图像融合一般是指将两个或更多的图像部分组合或合并成一个单一的处理图像一般在用两个以上的检测器产生一幅图像时使用图像融合，以便将每个传感器提供的信息组合成向用户显示的或提供给自动处理系统的图像在一种用已知的系统将来自于不同传感器的图像进行组合的方法中，仅仅将两个图像的像素逐一叠加在一起因此，例如，为了获得像素排列在一个n×m矩阵中的二维(2-D)处理图像，其中该处理图像中每个像素的位置是由位置(x，y)进行标识，则将第一个图像的像素(1，1)的值或数据与第二个图像的像素(1，1)的值或数据相加，将第一图像的像素(1，2)的值或数据与第二个图像的像素(1，2)的值或数据相加，依此类推，直到将两个图像中的像素(n，m)的值或数据相加另一种已知的系统对这种技术进行了改变，通过计算每个像素值的平均值，来取代将两个值相加因此，最终的图像包含平均像素值但是，这些系统具有许多缺陷首先，已知的图像融合技术通常会导致不希望的和不必要的失真。

例如，如果一个图像的一个部分对于使用者是清晰并可理解的，而第二幅图像的对应部分则是模糊的，那么相加或平均像素值可能会使清楚的图像失真而成为不太清楚的图像这种不希望的效果是通过相加或平均而把模糊像素的元素组合到清楚像素中的结果另一个例子是，将不需要的背景区加到一个明亮图像区上可能会降低明亮图像区的对比度和质量例如，如果两个图像区具有高的优势度或均是明亮的，那么将两个亮区加在一起可能导致最后的图像“过度曝光”或太亮这会带来一个饱和图像最后，将两个暗淡图像区进行平均可能会导致更暗淡的图像，并且会使原来就暗淡的图像区的亮度进一步降低其它已知系统一直在试图利用识别图像中的图案并且在图案的基础上形成一个融合图像的技术来克服这些缺陷利用具有不同带宽的滤波器将每个源或原始图像分解成多个低分辨率图像(例如，基于高斯转出(roll-off)法或拉普拉斯“金字塔(pyramid)”方法)金字塔方法是对不同的图像区使用不同分辨率——用低分辨率分析粗糙特征，以及用高分辨率分析精细特征但是，这些系统的缺点在于，在构造一个金字塔处理过程开始之前接收来自每个传感器的完整图像这种要求一般会导致来自最慢传感器的图像发生时间滞后。

对于放置在诸如飞行器或其它运输工具之类的快速运动的，或希望实时操作的平台来说，传感器中这种时间滞后是不可接受的其它已知系统使用一种改进了的拉普拉斯方法，将源图像分解成具有突出值或权数的图像如果图形带有用于理解图像的信息，则它是“突出的”最终图像是根据“加权”图形形成的但是，这些技术的缺点在于，它们一般都涉及对每个像素或整个图像区的分析和赋予突出权数然后，再处理整个图像接下来，选择突出图形结果，浪费了过多的时间来分析整个图像区和它们对应的突出值当把已知图像系统与飞机着陆、驾驶坦克之类的对时间敏感的行为结合使用时，这些缺点就更成问题在这些情况下，希望快速地产生清楚的图像但是，已知技术一般不能在这些限制的时间内产生清楚的图像，或只有在全部图像可用于处理之后才能产生清楚的图像因此，需要有一种方法和系统，能够有效和快速地从源图像中选择有用的、适当的、或有关的信息，以便以省时的方式形成具有更多信息的或有用的处理图像，该处理图像中包括来自于每个源图像的有关的、适当的、以及有用的信息此外，希望能够把选择的图像融合技术应用到各种不同的检测器或图像生成器中，以便在不同应用中具有使用的灵活性发明内容本发明提供了一种方法和系统，有选择地组合不同传感器(这里指传感器或源图像)产生的图像区，以便利用来自传感器图像的有关信息形成处理或融合图像。

该方法和系统的实现是通过将每个传感器图像划分成图像区，并且借助于诸如卷积的方式，为每个图像区产生对比值对应的映象然后，将一个传感器图像的对比值的映象与其它传感器的对比值对应的映象比较根据选择标准，在比较的对比值之间或对比值中选择一个对比值，例如，在比较的两个或更多的对比值中选择较大的一个然后，利用与选定的对比值相对应的图像区形成处理图像根据本发明，可以根据逐个像素、像素组、或任意形状的区，划分图像区也是根据本发明，每个传感器检测不同的波长也是根据本发明，可以处理来自不同类型、数量、和组合的传感器的图像可以使用的传感器包括红外线(IR)、射频传感器(例如，雷达之类的有源传感器，或辐射计之类的无源传感器)也是根据本发明，组合来自多个传感器的图像区，以形成处理图像进一步根据本发明，组合来自第一和第二传感器的图像的对比映象，以形成中间对比映象，然后将中间对比映象与第三图像的对比映象相比，以形成处理图像进一步根据本发明，将图像融合方法和系统与诸如飞行器、船只、汽车、或火车之类的移动交通工具的指挥结合使用进一步根据本发明，调节整个处理图像上的一个或更多图像部分的强度选择一个传感器作为参考传感器，并确定参考传感器图像的各区的平均强度。

通过将确定的参考图像的平均亮度值和处理图像的强度值相组合，调节处理图像中相同区或对应区或相邻区的强度也是根据本发明，在执行对比比较之前，将本方法和系统在传感器图像的滤波部分中使用图1是一个本发明系统实施例的示意图，包括位于诸如飞行器的运动交通工具内的一个处理器或计算机、两个传感器、以及一个显示器；图2是说明对传感器产生的图像进行处理以形成处理或融合图像的流程图；图3是说明将对比值进行比较的方法的流程图；图4是说明调节处理图像强度的方法的流程图；图5A-C是一组黑白照片，分别显示雷达传感器和红外线(IR)传感器的对应图像，以及包含根据选择处理过程或标准从雷达和IR图像中选择出来的区的处理图像；图6A-F示出了将一个图像划分成不同的图像区，包括基于逐个像素的、像素组的、或任意定义的区；图7A-B是说明为每个图像产生的对比映象的黑白照片；图8A-B是说明根据选择标准从图7A-B的对比映象中选择的对比值的黑白照片；图9是说明通过比较所有图像的对比值而处理多个图像以形成处理或融合图像的流程图；图10是说明通过执行对比值的多重比较来处理多个图像以形成处理或融合图像的流程图；图11A-B是说明亮度纠正之前和之后的处理或融合图像的黑白照片；图12A-B是显示空间滤波器的黑白照片；图13A-B分别示出了雷达和IR传感器的滤波曲线图；图14A-F是说明雷达和IR图像、滤波函数或效果、及应用到雷达与IR图像的滤波函数的黑白照片；以及图15A-E是说明带有或不带有滚动效果的加权函数的比较的黑白照片。

具体实施例方式在以下本发明实施例的说明中，以构成本发明一部分的附图作为参考，并且这些附图示出了能够实现本发明的特殊实施例应当知道，也可以使用其它实施例，因为结构的改变不脱离本发明的范围参考图1，这是飞行器中驾驶员座舱的视图，示出了本发明的系统S，该系统S具有传感器100，102，以及一个处理器110及一个显示器120传感器100，102将对应的图像数据或图像流104，106(即，传感器或源图像)提供到处理器110，例如，计算机、微控制器、或其它控制元件或系统传感器可以检测相同、重叠、或不同的波长此外，传感器也能检测相同的视野，或重叠的视野给处理器110编程，以便能够有选择地将来自每个图像的区组合成一个处理或融合图像115更具体地讲，处理器110比较图像104、106的区，并根据一种选择标准选择图像区，例如，根据对比值进行比较，该对比值代表了传感器图像明与暗之间的亮度的明显差别可以对处理器编程，以考虑不同的选择标准，这些选择标准包括、但不限于每种比较的较大或最大对比值因此，处理系统实质上能够从一个、多个或全部图像中提取所希望的区，或根据选择标准选择的区将选择的区拼接在一起，形成融合图像115(很像用多个拼图块形成的拼图，除了可以从多个源中选择每个拼图块之外)。

拼图块”或图像区可以来自一个单一的图像、一些图像、或所有图像然后，通过视觉显示器120将融合图像115提供给驾驶员或使用者也可以将融合图像提供到图像处理器或计算机，以进行进一步处理尽管图1示出了系统S在飞行器中的应用，但是，熟悉本领域的人员应当知道，该系统可以应用到许多其它交通工具中，并在将要说明的各种应用中使用在图2-4的流程图中示出了将图104、106的各个部分融合或有选择地组合成一个处理图像115的技术如图2中所示，在步骤200，每个传感器产生一个图像，并且把图像数据提供到处理器在步骤202，如果希望，则可以对图像区进行滤波，以便将被滤出的图像从处理中排除、从处理图像排除、或减少它们对处理图像的作用在步骤204，比较每个传感器图像的对应区的对比值在步骤206，使用一种选择标准以选择或识别特定的对比值在系统S的一个实施例中，选择标准可以是，选择或识别较大或最大的对比值；但是，根据如何应用系统，选择标准、规范或处理过程在系统S的另一个实施例中可以全都不同在步骤208，识别或选择与选择的或识别的对比值相对应的图像区在步骤210，组合选择的图像区，即通过有效地“拼接在一起”来形成融合或处理图像。

然后，在步骤212，如果需要，则调节或纠正处理或融合图像的亮度，以产生更清楚的图像图3进一步示出了步骤204或比较对比值的过程在步骤300，将每个传感器图像划分成多个图像区然后，在步骤302，产生每个传感器图像的对比映象每个对比映象包括每个定义的图像区的对比值在步骤304，将一个传感器图像的图像区的对比值与其它传感器图像的对应图像区的对比值比较在这里使用的对应图像区是指，至少重叠的传感器图像例如，如果一个传感器图像的视野包括飞机场跑道，如果另一个传感器图像也包括相同的飞机场跑道，那么这个传感器图像与后者的视野重叠如果两个传感器图像的视野彼此相同(或近似相同)，那么认为两个图像具有100％的重叠(以下都是如此)现在转到图4，进一步详细说明步骤212或调节融合图像的亮度在步骤400，选择一个传感器作为参考传感器，即要与之匹配亮度值的传感器然后，在步骤402，确定整个图像上参考传感器图像(例如，横截线)的图像区的平均亮度接下来，在步骤404，通过组合确定的平均亮度值和融合图像的亮度值而调节融合或处理图像的一个或更多区的亮度，以形成纠正了亮度的融合图像可以把亮度调节应用于同一区、或相邻区、或随后的区。

例如，可以把调节应用于确定了强度的相同的线、或相邻或随后的线406，或融合图像中相邻或随后的区或线408熟悉本领域的人员应当知道，图像融合方法和系统可以在许多不同的处理多个图像的环境和应用中使用例如，除了飞行器(例如，飞机、喷气机、直升机，等等)之外，该方法和系统也可以在诸如船只、汽车、或火车之类的其它运动交通工具中实现此外，可将图像融合方法和系统用于显示来自医学仪器(使用诸如超声波、红外线、激光成像或断层摄影传感器)和监视系统的图像的确，许多应用可以从为形成处理或融合图像而进行的图像区的选择融合中受益，上述处理或融合图像中包括有关信息或来自于每个传感图像的选择信息但是，为了说明的目的，本说明书主要针对有关飞行器的图像这种图像可以涉及飞行器的着陆、滑行、起飞、或巡航，并且与预防地形控制飞行(Controlled Flight Into Terrain(CFIT))的应用有关作为系统如何能够在飞行器应用中使用的一个专门示例，本说明书针对处理雷达传感器和IR传感器产生的图像但是，如下面要说明的，可以处理许多不同类型、数量、和组合的传感器和传感器图像因此，本说明书中说明的示例系统和方法可以用于许多不同应用领域。

图像和传感器现在转到图5A-C，传感器100、102产生对应的图像104、106，例如，。