数字图像处理图像恢复理论与实践.ppt

图像复原图像复原 内容提要内容提要: 6.1 图像退化原因与复原技术分类化的数学模型图像退化原因与复原技术分类化的数学模型 6.2 逆滤波复原逆滤波复原 6.3 约束复原约束复原 6.4 非线性复原方法非线性复原方法 6.5 盲图像复原盲图像复原 6.6 几何失真校正几何失真校正 6.7 实验：图像复原实验：图像复原 本章小结本章小结知识要点l重点了解图像处理的任务、基本的图像处理系统、微机图像处理系重点了解图像处理的任务、基本的图像处理系统、微机图像处理系统、数字图像的表示、统、数字图像的表示、MATLAB图像处理工具箱的初步使用图像处理工具箱的初步使用–图像退化的常见原因图像退化的常见原因–图像退化模型图像退化模型–图像退化与图像增强的关系图像退化与图像增强的关系–线性代数复原线性代数复原–非线性复原非线性复原–几何失真校正几何失真校正–盲图像复原盲图像复原–MATLAB图像处理工具箱去模糊函数图像处理工具箱去模糊函数教学建议教学建议•重点了解数字图像复原的基本任务、图像退化的重点了解数字图像复原的基本任务、图像退化的各种原因、图像复原的常用方法，能够用各种原因、图像复原的常用方法，能够用MATLABMATLAB图像处理工具箱解决简单的图像退化问题。

图像处理工具箱解决简单的图像退化问题•先修知识包括：先修知识包括：–线性代数（循环矩阵的表示；矩阵的广义逆等）线性代数（循环矩阵的表示；矩阵的广义逆等）–信号与线性系统信号与线性系统–数字信号处理（圆周卷积、离散卷积定理等）数字信号处理（圆周卷积、离散卷积定理等）–随机过程（平稳随机过程等）随机过程（平稳随机过程等）–优化理论优化理论•注意本章与注意本章与“图像增强图像增强”一章的联系与区别一章的联系与区别6.1 图像退化原因与复原技术分类图像退化原因与复原技术分类•图像在形成、传输和记录过程中，由于受到多方面的影响，图像在形成、传输和记录过程中，由于受到多方面的影响，造成图像质量的造成图像质量的退化（退化（degradation））•（（1）射线辐射、大气湍流等造成的照片畸变射线辐射、大气湍流等造成的照片畸变•（（2））A/D过程会损失部分细节，造成图像质量下降过程会损失部分细节，造成图像质量下降•（（3）镜头聚焦不准产生的散焦模糊镜头聚焦不准产生的散焦模糊•（（4）成像系统中始终存在的噪声干扰成像系统中始终存在的噪声干扰•（（5）相机与景物之间的相对运动产生的运动模糊相机与景物之间的相对运动产生的运动模糊。

•（（6）底片感光、图像显示时会造成记录显示失真底片感光、图像显示时会造成记录显示失真•（（7）成像系统的像差、非线性畸变、有限带宽成像系统的像差、非线性畸变、有限带宽•（（8）） 携带遥感仪器的飞机或卫星运动的不稳定，以及地携带遥感仪器的飞机或卫星运动的不稳定，以及地球自转等因素引起的照片几何失真球自转等因素引起的照片几何失真图像复原（图像复原（image restoration）的目的和任务）的目的和任务•目的目的–在研究图像退化原因的基础上，以退化图像为依据，根据一定的在研究图像退化原因的基础上，以退化图像为依据，根据一定的先验知识，建立一个退化模型，然后用相反的运算，以恢复原始先验知识，建立一个退化模型，然后用相反的运算，以恢复原始景物图像景物图像•图像复原要明确规定图像复原要明确规定质量准则质量准则–衡量接近原始景物图像的程度衡量接近原始景物图像的程度•图像复原图像复原模型模型–可以用连续数学或离散数学处理可以用连续数学或离散数学处理–图像复原根据退化的数学模型对退化图像进行处理，其实现可在图像复原根据退化的数学模型对退化图像进行处理，其实现可在空间域卷积或在频域相乘空间域卷积或在频域相乘。

图像复原在初级视觉处理中的地位图像复原在初级视觉处理中的地位•在航空航天、国防公安、生物医学、文物修复等领域具有在航空航天、国防公安、生物医学、文物修复等领域具有广泛的应用广泛的应用•传统的复原方法传统的复原方法–基于平稳图像、线性空间不变的退化系统、图像和噪声统计特性基于平稳图像、线性空间不变的退化系统、图像和噪声统计特性的先验知识已知等条件下讨论的的先验知识已知等条件下讨论的•现代的复原方法现代的复原方法–对非平稳图像（如卡尔曼滤波）、非线性方法（如神经网络）、对非平稳图像（如卡尔曼滤波）、非线性方法（如神经网络）、信号与噪声的先验知识未知（如盲图像复原）等前提下开展工作信号与噪声的先验知识未知（如盲图像复原）等前提下开展工作6.1.1 连续图像退化的数学模型连续图像退化的数学模型•连续图像退化的连续图像退化的一般模型一般模型如图如图6.16.1所示•输入图像输入图像f(x, y)经过一个经过一个退化系统退化系统或退化算子或退化算子H(x, y)后产后产生的退化图像生的退化图像g(x, y)可以表示为：可以表示为： – g(x, y)= H[f(x, y)] （（6.1）） •如果仅考虑如果仅考虑加性噪声加性噪声的影响，则退化图像可表示为：的影响，则退化图像可表示为：– g(x, y)= H [f(x, y)]+n(x, y) （（6.2））f(x, y)的最佳估计的最佳估计•退化的图像是由成像系统的退化加上额外退化的图像是由成像系统的退化加上额外的系统噪声而形成的。

的系统噪声而形成的•若已知若已知H(x, y)和和n(x, y)，图像复原是在退化，图像复原是在退化图像的基础上，作逆运算，得到图像的基础上，作逆运算，得到f(x, y)的一的一个个最佳估计最佳估计•“最佳估计最佳估计”而非而非“真实估计真实估计”–由于存在可能导致图像复原的病态性由于存在可能导致图像复原的病态性导致图像复原的病态性的原因导致图像复原的病态性的原因•（（1 1）最佳估计问题不一定有解最佳估计问题不一定有解–由于图像复原中可能遇到奇异问题；由于图像复原中可能遇到奇异问题；•（（2 2）逆问题可能存在多个解逆问题可能存在多个解点扩展函数点扩展函数PSF（（Point-spread Function））•在退化算子在退化算子H表示线性和空间不变系统的情况下，输表示线性和空间不变系统的情况下，输入图像入图像f(x, y)经退化后的输出为经退化后的输出为g(x, y)：：• h(x,y)称为退化系统的冲激响应函数称为退化系统的冲激响应函数•在图像形成的光学过程中，冲激为一光点在图像形成的光学过程中，冲激为一光点•又被称为退化系统的点扩展函数又被称为退化系统的点扩展函数PSF空间域分析与频率分析空间域分析与频率分析•退化系统的输出就是输入图像退化系统的输出就是输入图像f (x, y)与点扩展函数与点扩展函数h(x, y)的卷积，考虑到噪声的影响，即的卷积，考虑到噪声的影响，即 •在频域上可以写成在频域上可以写成 （6.6）• G(u, v)、、F(u, v)、、N(u, v)分别是分别是g(x, y)、、f(x, y)、、n(x, y)的傅立叶变换的傅立叶变换• H(u, v)是是h(x, y)的傅立叶变换，为系统的传递函数。

的傅立叶变换，为系统的传递函数6.7）6.1.2 离散图像退化的数学模型离散图像退化的数学模型•设设f (x, y)大小为大小为A×B，，h(x, y)被均匀采样为被均匀采样为C×D大大小•为避免交叠误差，采用添零延拓的方法，将它们为避免交叠误差，采用添零延拓的方法，将它们扩展成扩展成M=A+C-1和和N=B+D-1个元素的周期函数个元素的周期函数6.8a） （6.8b）•则输出的降质数字图像为则输出的降质数字图像为（（6.9）） 二维离散退化模型可以用矩阵形式二维离散退化模型可以用矩阵形式 g=Hf （（6.10））（6.11） （6.12） •给定了退化图像给定了退化图像g(x, y)、退化系统的点扩展函数、退化系统的点扩展函数h(x, y)和噪和噪声分布声分布n(x, y)，就可以得到原始图像，就可以得到原始图像f的估计 •实际计算的工作量十分庞大实际计算的工作量十分庞大6.13）） g=Hf +n （（6.14））通常有两种解决上述问题的途径：通常有两种解决上述问题的途径：•假设图像大小假设图像大小M=N，则，则H的大小为的大小为N4，要解出，要解出f (x, y)需要需要解解N2个联立方程组。

个联立方程组•（（1）通过对角化简化分块循环矩阵，再利用）通过对角化简化分块循环矩阵，再利用FFT快速算快速算法可以大大地降低计算量且能极大地节省存储空间法可以大大地降低计算量且能极大地节省存储空间•（（2）分析退化的具体原因，找出）分析退化的具体原因，找出H的具体简化形式的具体简化形式–匀速运动造成模糊的匀速运动造成模糊的PSF就可以用简单的形式表示，这样使复原就可以用简单的形式表示，这样使复原问题变得简单问题变得简单•各种代数复原方法各种代数复原方法–可能是通过无约束条件而得到原始图像可能是通过无约束条件而得到原始图像f的估计–也可能是约束复原也可能是约束复原f6.2 逆滤波复原•非约束复原非约束复原–根据对退化系统根据对退化系统H和噪声和噪声n的了解，已知退化图像的了解，已知退化图像g的情的情况下，在一定的最小误差准则下，得到原始图像况下，在一定的最小误差准则下，得到原始图像f的估的估计•逆滤波是最早使用的一种无约束复原方法逆滤波是最早使用的一种无约束复原方法•成功地应用于航天器传来的退化图像成功地应用于航天器传来的退化图像l 当对当对n的统计特性不确定时，希望对原始图像的统计特性不确定时，希望对原始图像f 的估计的估计n = g－Hf （（6.15）） 满足这样的条件，使满足这样的条件，使H在最小二乘意义上近似于在最小二乘意义上近似于g g。

使得噪声项的范数使得噪声项的范数l希望找到一个希望找到一个最小即目标函数即目标函数为最小 •在在M=N的情况下，的情况下，H为方阵且为方阵且H有逆阵有逆阵H-1，则，则（6.20） （6.21） l当系统当系统H逆作用于退化图像逆作用于退化图像g时，可以得到最小平方意义上时，可以得到最小平方意义上的非约束估计对式（的非约束估计对式（6.20）进行傅立叶变换，则）进行傅立叶变换，则逆滤波法的特点逆滤波法的特点•优点：优点：–形式简单形式简单–适用于极高信噪比条件下的图像复原问题，且降质系统的传递函适用于极高信噪比条件下的图像复原问题，且降质系统的传递函数数H不存在病态性质不存在病态性质•缺点：缺点：–具体求解的计算量很大，需要根据循环分块矩阵条件进行简化具体求解的计算量很大，需要根据循环分块矩阵条件进行简化–当当H等于等于0或接近于或接近于0时，还原的图像将变得无意义这时需要人时，还原的图像将变得无意义这时需要人为对传递函数进行修正，以降低由于传递函数病态而造成的恢复为对传递函数进行修正，以降低由于传递函数病态而造成的恢复不稳定性不稳定性 6.3 约束复原•约束复原除了对降质系统的约束复原除了对降质系统的PSF有所了解外，还有所了解外，还需要对原始图像和外加噪声的特性有先验知识。

需要对原始图像和外加噪声的特性有先验知识–根据不同领域的要求，有时需要对根据不同领域的要求，有时需要对f和和n作一些作一些特殊的规定，使处理得到的图像满足某些条件特殊的规定，使处理得到的图像满足某些条件6.3.1 约束复原的基本原理•约束最小二乘法复原问题约束最小二乘法复原问题•令令Q为为f的线性算子，要设法寻找一个最优估计的线性算子，要设法寻找一个最优估计，使形式为 的、服从约束条件的、服从约束条件 的函数最小化的函数最小化 u6.3.1 约束复原的基本原理约束复原的基本原理u6.3.2 维纳滤波方法维纳滤波方法u6.3.3 平滑度约束最小平方滤波平滑度约束最小平方滤波6.3.1 约束复原的基本原理•约束最小二乘法复原问题约束最小二乘法复原问题–令令Q为为f的线性算子，要设法寻找一个最优估计的线性算子，要设法寻找一个最优估计–使下面的目标函数为最小使下面的目标函数为最小 （（6.22））(6.23) 式中，式中，γ=α-1 式中，式中，α为拉格朗日乘子为拉格朗日乘子 , f 的最佳估值的最佳估值6.3.2 维纳滤波方法维纳滤波方法•最小二乘法滤波复原的核心是如何选择一个合适的变换矩最小二乘法滤波复原的核心是如何选择一个合适的变换矩阵阵Q。

•Q的形式不同，可得到不同类型的复原方法的形式不同，可得到不同类型的复原方法–选用图像选用图像 f 和噪声和噪声 n 的自相关矩阵的自相关矩阵Rf和和Rn表示表示Q就可得到维纳滤波就可得到维纳滤波复原方法复原方法•将将 f 和和 n 近似地看成是平稳随机过程假设近似地看成是平稳随机过程假设Rf和和Rn为为 f 和和n 的自相关矩阵的自相关矩阵1.4　数字图像处理的应用与发展趋势　数字图像处理的应用与发展趋势• Rf = E{f f T} （（6.24a））• Rn = E{nnT} （（6.24b））•定义定义QTQ=R-1f Rn，代入式，代入式(6.23)，得，得 （6.25） 假设假设M=N，，Sf和和Sn分别为图像和噪声的功率谱，则分别为图像和噪声的功率谱，则 （6.26） 分分3种情况对式种情况对式(6.26)作分析：作分析：•（（1）如果）如果γ=1，系统函数，系统函数Hw(u,v)是维纳滤波器的传递函是维纳滤波器的传递函数。

数•（（2）如果）如果γ=0，系统变成单纯的去卷积滤波器，系统的，系统变成单纯的去卷积滤波器，系统的传递函数即为传递函数即为–尽管尽管γ≠0但无噪声影响，但无噪声影响，Sn(u, v)=0，复原系统亦为理想的逆滤波，复原系统亦为理想的逆滤波器，可以看成是维纳滤波器的一种特殊情况器，可以看成是维纳滤波器的一种特殊情况 •（（3）若）若γ为可调整的其他参数，此时为参数化维纳滤波为可调整的其他参数，此时为参数化维纳滤波器 例例6.1说明采用维纳滤波复原的具体实现方法说明采用维纳滤波复原的具体实现方法•【【例例6.16.1】】原始图像如图原始图像如图6.26.2（（a a），使用函数），使用函数DECONVWNRDECONVWNR对图对图6.26.2（（b b））所示的无噪声模糊图像进行复原重建，观察所得结果，并将不同所示的无噪声模糊图像进行复原重建，观察所得结果，并将不同PSFPSF产生的复原效果进行比较产生的复原效果进行比较 （（a）原始图像）原始图像 （（b）无噪声模糊图像）无噪声模糊图像 图图6.2 原始图像及无噪声模糊图像原始图像及无噪声模糊图像 图图6.3 6.3 不同不同PSFPSF产生的复原效果比较产生的复原效果比较（（a）使用真）使用真实实的的PSF复原复原 （（b）使用）使用较较“长长”的的PSF复原复原 （（c）使用）使用较较“陡峭陡峭”的的PSF复原复原6.4 非线性复原方法 •经典复原滤波器的显著特点经典复原滤波器的显著特点–约束方程和准则函数中的表达式都可以改为矩阵乘法。

约束方程和准则函数中的表达式都可以改为矩阵乘法•非线性复原方法非线性复原方法–所采用的准则函数都不能进行对角化，因而线性代数的方法在这所采用的准则函数都不能进行对角化，因而线性代数的方法在这里是不适用的里是不适用的•设设S S是非线性函数，当考虑图像的非线性退化时，图像的是非线性函数，当考虑图像的非线性退化时，图像的退化模型可以表示成退化模型可以表示成 （6.32a）（6.32b）方法简介方法简介•6.4.1 最大后验复原最大后验复原•6.4.2 最大熵复原最大熵复原–1．正性约束条件．正性约束条件–2. 最大熵复原原理最大熵复原原理–3．．Friend和和Burg复原方法复原方法•（（1））Friend最大熵复原最大熵复原•（（2））Burg最大熵复原最大熵复原•6.4.3 投影复原投影复原•6.4.4 同态滤波复原（重点介绍）同态滤波复原（重点介绍）6.4.4 同态滤波复原同态滤波复原•自然景物的图像是由照明函数和反射函数两个分自然景物的图像是由照明函数和反射函数两个分量的乘积所组成量的乘积所组成–同态滤波法复原方法是基于图像的乘性结构理论而提同态滤波法复原方法是基于图像的乘性结构理论而提出来的。

出来的–当降质图像是由两个分量相乘得到时，可先对降质图当降质图像是由两个分量相乘得到时，可先对降质图像取对数，得到两个相加的分量，再进行滤波处理，像取对数，得到两个相加的分量，再进行滤波处理，最后通过指数变换得到复原图像最后通过指数变换得到复原图像 •退化图像退化图像g(x,y)可以分为两部分乘积，即可以分为两部分乘积，即• g(x,y) = i(x,y) r(x,y) （（6.42））•取对数得取对数得• log g(x,y) = log i(x,y)+log r(x,y) （（6.43））•设同态滤波器冲激响应为设同态滤波器冲激响应为l(x,y)，其复原结果其复原结果•同态滤波复原过程可用图同态滤波复原过程可用图6.7所示图图6.76.7　同态滤波器复原　同态滤波器复原•同态复原结果同态复原结果 = 10l(x,y)*[log i(x,y)+ log r(x,y)] (6.44) •同态滤波器的传递函数同态滤波器的传递函数 　（（6.45）） l同态滤波技术也可以用于图像增强。

同态滤波技术也可以用于图像增强l采用同态滤波可以实现同态增晰采用同态滤波可以实现同态增晰l能使图像的灰度动态范围压缩又能使感兴能使图像的灰度动态范围压缩又能使感兴趣的物体图像灰度级扩展趣的物体图像灰度级扩展6.5 盲图像复原盲图像复原•很多情况下难以确定退化的点扩展函数和噪声的统计特性很多情况下难以确定退化的点扩展函数和噪声的统计特性•盲图像复原法是在没有图像退化必要的先验知识的情况下，盲图像复原法是在没有图像退化必要的先验知识的情况下，对观察的图像以某种方式提取出退化信息，采用盲去卷积对观察的图像以某种方式提取出退化信息，采用盲去卷积算法对图像进行复原算法对图像进行复原•对具有加性噪声的模糊图像作盲图像复原的方法有两种：对具有加性噪声的模糊图像作盲图像复原的方法有两种：•6.5.1 直接测量法直接测量法•6.5.2 间接估计法间接估计法6.6 几何失真校正几何失真校正–图像在获取过程中，由于成像系统的非线性、图像在获取过程中，由于成像系统的非线性、飞行器的姿态变化等原因，成像后的图像与原飞行器的姿态变化等原因，成像后的图像与原景物图像相比，会产生比例失调，甚至扭曲景物图像相比，会产生比例失调，甚至扭曲。

•以上图像退化现象称之为以上图像退化现象称之为几何失真几何失真•有几何畸变的图像有几何畸变的图像–不但视觉效果不好不但视觉效果不好–而且在对图像进行定量分析时提取的形状、距而且在对图像进行定量分析时提取的形状、距离、面积等数据也不准确离、面积等数据也不准确6.6.1 典型的几何失真典型的几何失真•1 1．系统失真．系统失真•光学系统、电子扫描系统失真而引起的斜视畸变、枕形、光学系统、电子扫描系统失真而引起的斜视畸变、枕形、桶形畸变等，都可能使图像产生几何特性失真桶形畸变等，都可能使图像产生几何特性失真a)原原图像；像； (b) 梯形失真；梯形失真； (c) 枕形失真；枕形失真； (d) 桶形失真桶形失真图图6.11 典型的系统几何失真典型的系统几何失真•2．非系统失真．非系统失真•从飞行器上所获得的地面图像，由于飞行器的姿从飞行器上所获得的地面图像，由于飞行器的姿态、高度和速度变化引起的不稳定与不可预测的态、高度和速度变化引起的不稳定与不可预测的几何失真几何失真–这类畸变一般要根据航天器的跟踪资料和地面设置控这类畸变一般要根据航天器的跟踪资料和地面设置控制点办法来进行校正。

制点办法来进行校正•典型的非系统失真如图典型的非系统失真如图6.12所示几何畸变校正一般分两步来做•几何畸变校正要对失真图像进行精确的几何校正几何畸变校正要对失真图像进行精确的几何校正•通常是先确定一幅图像为基准，然后去校正另一通常是先确定一幅图像为基准，然后去校正另一幅图像的几何形状幅图像的几何形状–第一步：图像空间坐标的变换；第一步：图像空间坐标的变换；–第二步：重新确定在校正空间各像素点的取值第二步：重新确定在校正空间各像素点的取值6.6.2 6.6.2 空间几何坐标变换空间几何坐标变换•按照一幅标准图像按照一幅标准图像f(x,y)或一组基准点去校或一组基准点去校正另一幅几何失真图像正另一幅几何失真图像g(x‘,y’)–根据两幅图像的一些已知对应点对建立起函数根据两幅图像的一些已知对应点对建立起函数关系式，将失真图像的关系式，将失真图像的x‘-y’坐标系变换到标准坐标系变换到标准图像图像x-y坐标系，从而实现失真图像按标准图像坐标系，从而实现失真图像按标准图像的几何位置校正，使的几何位置校正，使 f(x, y)中的每一像点都可中的每一像点都可在在g (x', y')中找到对应像点。

中找到对应像点6.55） 几何校正方法可以分为两类：几何校正方法可以分为两类：•在在h1、、h2已知情况下的校正方法已知情况下的校正方法–一般通过人工设置标志，如卫星照片通一般通过人工设置标志，如卫星照片通过人工设置小型平面反射镜作为标志过人工设置小型平面反射镜作为标志•在在h1、、h2未知的情况下的校正方法未知的情况下的校正方法–通过控制点之间的空间对应关系建立线通过控制点之间的空间对应关系建立线性或高次方程组求解方程组（性或高次方程组求解方程组（6.55）中坐）中坐标之间的对应关系标之间的对应关系•以三角形线性法为例讨论变换问题以三角形线性法为例讨论变换问题6.6.3 校正空间像素点灰度值的确定校正空间像素点灰度值的确定•图像经几何位置校正后，在校正空间中各像素点图像经几何位置校正后，在校正空间中各像素点的灰度值等于被校正图像对应点的灰度值的灰度值等于被校正图像对应点的灰度值•一般校正后的图像某些像素点可能分布不均匀，一般校正后的图像某些像素点可能分布不均匀，不会恰好落在坐标点上，因此常采用内插法来求不会恰好落在坐标点上，因此常采用内插法来求得这些像素点的灰度值得这些像素点的灰度值。

•经常使用的方法有：经常使用的方法有：–最近邻点法最近邻点法–双线性插值法双线性插值法–三次卷积法：精度最高，但计算量也较大三次卷积法：精度最高，但计算量也较大•1 1．最近邻点法．最近邻点法–该法取与像素点相邻的该法取与像素点相邻的4 4个点中距离最近的邻个点中距离最近的邻点灰度值作为该点的灰度值点灰度值作为该点的灰度值图图6.13 最近邻点法最近邻点法•2．双线性插值法．双线性插值法•用用( )点周围点周围4个邻点的灰度值加权内插作为灰度校个邻点的灰度值加权内插作为灰度校正值正值f (x0, y0)，则，则式中，式中，l优点：优点：l内插法校正灰度连续，结果一般满足要求内插法校正灰度连续，结果一般满足要求 l缺点：缺点：l计算量较大且具有低通特性，图像轮廓模糊计算量较大且具有低通特性，图像轮廓模糊 图图6.14 6.14 内插法几何校正内插法几何校正部分资料从网络收集整理而来，供大家参考，感谢您的关注！。