图像处理装置、图像处理方法和图像拾取装置的制作方法.docx

图像处理装置、图像处理方法和图像拾取装置的制作方法专利名称：图像处理装置、图像处理方法和图像拾取装置的制作方法技术领域：本发明涉及执行图像的图像恢复(restoration)处理的图像处理方法背景技术：通过图像拾取装置获得的图像(拍摄的图像)包含由图像拾取光学系统的诸如球面像差、彗形像差、畸变或像散的各像差导致的图像的模糊成分，并因此它被劣化由这样的像差导致的图像的模糊成分意味着当不存在任何像差并且也不存在任何衍射影响时，尽管从物体的一个点发射的光束理想地应被重新收集于成像面上的一个点上，但是它实际上却被扩展，这由点扩展函数(point spread function, PSF)表示通过执行傅立叶变换获得的光学传递函数(OTF)是像差的频率分量(frequency component)信息,并且它由复数表示光学传递函数OTF的绝对值即振幅分量(amplitudecomponent)被称为MTF (调制传递函数),并且相位分量被称为PTF (相位传递函数)振幅分量MTF和相位分量PTF分别是由像差导致的图像劣化的振幅分量和相位分量的频率特性,并且相位分量由下式表示为相位角PTFAarT1 (Im (OTF) /Re (OTF))在式中，Re (OTF)和Im (OTF)分别指示光学传递函数OTF的实部和虚部。

由此，图像拾取光学系统的光学传递函数OTF使图像的振幅分量MTF和相位分量PTF劣化，因此劣化的图像处于物体的各点由于其具有彗形像差而被不对称地模糊的状态由于成像位置被各光波长的成像倍率的差偏移，并且它根据图像拾取装置的分光(spectroscopic)特性作为例如RGB的颜色分量被获得，因此产生倍率色差作为校正振幅分量MTF和相位分量PTF的劣化的方法，使用图像拾取光学系统的光学传递函数OTF的信息执行校正的方法是已知的该方法被称为图像恢复或图像复原，并且，以下，使用图像拾取光学系统的光学传递函数(OTF)的信息校正图像的劣化的处理被称为图像恢复处理如下面详细描述的那样，作为图像恢复的方法中的一种，用输入图像卷积(convoluting)具有光学传递函数(OTF)的逆特性的图像恢复过滤器(filter)的方法是已知的为了有效地执行图像恢复处理，需要精确地获得图像拾取光学系统的光学传递函数0TF作为获得光学传递函数OTF的方法，例如，它可通过基于图像拾取光学系统的设计值信息的计算被获得，如果该信息被提供的话作为替代方案，也可通过拍摄点光源的图像以对其强度分布执行傅立叶变换来获得它图像拾取光学系统的光学传递函数OTF —般根据图像高度(图像的位置)而变动。

因此，为了以高的精度执行图像的图像恢复处理，需要使用基于各图像高度的光学传递函数OTF的变动所产生的适当的图像恢复过滤器当图像恢复的特性根据图像的位置而改变时，优选图像恢复处理在实空间中切换图像恢复过滤器的同时被执行，而不是在频率空间中被集体地执行日本专利公开No. 2007-183842公开了提供用于调整恢复图像的恢复程度的调整参数以连续地改变恢复图像的恢复程度的配置但是，根据图像拾取条件，对于图像的至少一部分，存在光学传递函数的振幅分量MTF在图像拾取元件的尼奎斯特(Nyquist)频率的范围中变为零的情况以下，这被称为退化(degradation)，并且发生退化的频率被称为退化频率作为退化的原因，存在像差、衍射或手抖动等由于与退化频率有关的信息不被传递(不被拍摄)，因此，不能在退化频率执行图像恢复处理另外，当仅在退化频率以外的频率执行图像恢复处理时，在图像的边缘部分处产生振铃(ringing)结果，不能获得高质量的恢复图像在日本专利公开No. 2007-183842的配置中，恢复程度的调整是可能的但是，日本专利公开No. 2007-183842的配置使得用户能够仅改变恢复程度，并且，依赖于光学系统(光学传递函数)的频率特性的适当的参数不被自动地确定。

并且，由于它不根据退化频率调整恢复程度，因此，不能适当地恢复由存在退化的光学系统所导致的差异图像发明内容本发明提供能够执行适当的图像恢复处理的图像处理装置、图像处理方法、图像拾取装置和非暂态(non-transitory)计算机可读存储介质作为本发明的一个方面的图像处理装置执行图像的图像恢复处理，并且该图像处理装置包括光学传递函数获得部分，被配置为获得依赖于所述图像的图像拾取条件的光学传递函数；阈值频率获得部分，被配置为获得阈值频率，所述光学传递函数的绝对值在所述阈值频率处处于预定的阈值之下；产生部分，被配置为使用所述光学传递函数产生具有依赖于所述阈值频率的增益特性的图像恢复过滤器；以及处理部分，被配置为使用所述图像恢复过滤器执行所述图像的图像恢复处理作为本发明的另一方面的图像处理方法执行图像的图像恢复处理，并且该图像处理方法包括以下的步骤获得依赖于所述图像的图像拾取条件的光学传递函数；以及使用图像恢复过滤器来执行所述图像的图像恢复处理，所述图像恢复过滤器是使用所述光学传递函数而产生的，并具有依赖于阈值频率的增益特性，所述光学传递函数的绝对值在所述阈值频率处处于预定的阈值之下作为本发明的另一方面的图像拾取装置执行图像的图像恢复处理，并且该图像拾取装置包括图像拾取光学系统；图像拾取元件，被配置为执行经由所述图像拾取光学系统所获得的物体图像的光电转换，以产生所述图像；光学传递函数获得部分，被配置为获得依赖于所述图像的图像拾取条件的光学传递函数；阈值频率获得部分，被配置为获得阈值频率，所述光学传递函数的绝对值在所述阈值频率处处于预定的阈值之下；产生部分，被配置为使用所述光学传递函数产生具有依赖于所述阈值频率的增益特性的图像恢复过滤器；以及处理部分，被配置为使用所述图像恢复过滤器执行所述图像的图像恢复处理。

一种存储用于使得信息处理装置执行方法的程序的非暂态计算机可读存储介质被提供，并且所述方法包括获得阈值频率，光学传递函数的绝对值在所述阈值频率处处于预定的阈值之下；使用所述光学传递函数产生具有依赖于所述阈值频率的增益特性的图像恢复过滤器；以及使用所述图像恢复过滤器执行图像的图像恢复处理从参照附图对示例性实施例的以下描述，本发明的进一步的特征和方面将变得明显图I是实施例I中的图像处理方法的流程图图2是描述在每一个实施例中的图像处理方法中使用的图像恢复过滤器的示图图3是描述在每一个实施例中的图像处理方法中使用的图像恢复过滤器的示图图4A和图4B是描述每一个实施例中的图像处理方法的点图像的校正状态的示图图5A和图5B是描述每一个实施例中的光学传递函数的振幅分量和相位分量的示图图6A和图6B是描述实施例I中的阈值频率的示图图7是描述实施例I中的图像恢复过滤器的恢复程度的设定的示图图8是描述实施例I中的恢复增益的示图图9A和图9B是描述实施例I中执行图像恢复前后的光学传递函数的振幅分量MTF的示图图10是实施例I中的图像拾取装置的配置图图11是实施例2中的图像处理系统的配置图具体实施例方式以下将参照附图描述本发明的示例性实施例。

在每一个图中，相同的元件将由相同的附图标记表示，并且将省略其重复的描述首先，将描述在本实施例中描述的术语的定义和图像恢复处理(图像处理方法)在以下实施例中的每一个中适当地使用这里描述的图像处理方法[输入图像]输入图像是通过经由图像拾取光学系统在图像拾取元件上接收光而获得的数字图像(图像或拍摄的图像)，其由于包含透镜和各种类型的光学过滤器的图像拾取光学系统的像差根据光学传递函数OTF而被劣化也可通过使用具有曲率的反射镜(反射表面)以及透镜来配置图像拾取光学系统输入图像的颜色分量例如具有RGB颜色分量的信息作为颜色分量，除此之外，也可选择性使用诸如由LCH代表的明亮度(brightness)、色相和色度，由YCbCr代表的亮度(luminance),或色差信号的常用的颜色空间作为另一颜色空间，也可使用XYZ、Lab、Yuv和JCh并且,也可使用色温可以向输入图像或输出图像添加诸如透镜的焦距、孔径值(F数)或物体距离的图像拾取条件或者用于校正该图像的各种类型的校正信息当图像从图像拾取装置被传送到与图像拾取装置分开的图像处理装置以执行校正处理时，优选如上面描述的那样向图像添加图像拾取条件或与校正有关的信息。

作为传送图像拾取条件或与校正有关的信息的另一方法，也可直接或间接地相互连接图像拾取装置和图像处理装置以在它们之间传送它[图像恢复处理]随后，将描述图像恢复处理的概要当图像(拍摄的图像或劣化的图像)由g(x，y)表示、原始图像由f(x，y)表示、并且作为光学传递函数OTF的傅立叶对的点扩展函数PSF由h(x, y)表示时,满足下式(I)g (x, y) =h (x, y) *f (x, y)…(I)在式(I)中，符号*表示卷积(积和)，符号(X，y)表示图像上的坐标当对于式(I)执行傅立叶变换以将其变换为频率面上的显示格式时，获得表示为各频率的积的式(2)G(u, v) =H(u, v) *F(u，v)…(2)在式(2)中，符号H表示通过对于点扩展函数PSF (h)执行傅立叶变换所获得的 光学传递函数0TF，符号G和F分别表示通过对于劣化的图像g和原始图像f执行傅立叶变换所获得的函数符号(U，V)表示二维频率面上的坐标即频率为了从图像即劣化的图像g获得原始图像f，如下式(3)所示，可将两侧除以光学传递函数hG (U，V) /H(U，V) =F (U，v)... (3)然后，对于F(u，V)即G(u，v)/H(u，V)执行逆傅立叶变换以将其恢复于实面上，从而获得原始图像f(x，y)作为恢复的图像。

当符号R表示通过对于H—1执行逆傅立叶变换所获得的值时，如下式(4)所示，可通过对于实面上的图像的卷积处理来类似地获得原始图像f(x，y)g(x, y) *R(x, y) =f (x, y)…(4)在式(4)中，符号R(x，y)被称为图像恢复过滤器当图像是二维图像时，一般地，图像恢复过滤器R也是具有与图像的像素中的每一个对应的分支(tap)(单元)的二维过滤器一般地，当图像恢复过滤器R的分支的数量(单元的数量)大时，恢复精度提高因此，根据诸如所需的图像质量、图像处理能力或像差的特性，设定可实现的分支的数量由于图像恢复过滤器R至少需要反映像差的特性，因此，它与水平地以及垂直地具有约三个分支的常规的边缘增强过滤器(高通过滤器)不同由于基于光学传递函数OTF设定图像恢复过滤器R，因此，可以以高的精度校正振幅分量和相位分量的劣化由于实际的图像包含噪声分量，因此，当使用通过使用光学传递函数OTF的全逆(complete inverse)所产生的图像恢复过滤器R时,随着劣化的图像被恢复,噪声分量明显被放大这是由于，对于向图像的振幅分量添加噪声的振幅的状态，MTF被上持(he I d up )，以在整个频率的范围内将光学系统的MTF (振幅分量)恢复到I。

虽然作为由光学系统导致的振幅劣化的MTF被恢复到1，但是，同时，噪声的功率谱(power spectrum)也被上持，结果，噪声根据上持MTF的程度(恢复增益)而被放大因此，当包含噪声时,不能获得作为鉴赏图像(ornamental image)的适当的图像这由下式(5-1)和(5-2)表不G(u, v) =H(u, v) · F (u, v)+N(u, v)…(5-1)G (u, v) /H (u, v) =F (u, v) +N (u, v) /H (u, v)…(5-2)在式(5-1)和(5-2)中，符号N表不噪声分量关于包含噪声分量的图像，例如，作为由下式(6)表不的维纳(Wiener)过滤器,存在根据图像信号和噪声信号的强度比SNR来控制恢复程度的方法 I|h(u, v)|2M(u, V) = ---1~丨-- ■. (6) H(u, V) h(u, V) + SNRz-在。