自-基于电子稳像技术的CCD成像空间校正方法研究.doc

基于电子稳像技术的CＣＤ成像空间校正方法研究摘要:针对彩色线阵ccd应用时，出现的成像三色错位问题进行了研究,提出了基于电子稳像技术的cｃd成像空间校正方法与传统方法相比,该方法引入了电子稳像技术的思想,巧妙运用帧间运动的处理手段解决了帧内运动的问题首先对线阵ccd得到的图像进行彩色图像分离，再通过特征点提取，特征点匹配，错位参数估计，图像补偿，彩色图像合成等过程，最终获得校正后的彩色图像仿真实验表明,该方法能有效解决三色错位问题,改善图像质量关键词:彩色线阵ccd；　三色错位； 特征点提取； 特征点匹配; 参数估计ﻪ近年来，ccｄ器件及其应用技术的研究取得了惊人的进展,特别是在图像传感和非接触测量领域的发展更为迅速面阵ccd广泛用于各种摄像机和数码相机等领域线阵ccd主要用于产品尺寸的高速非接触检测，分级与加工,表面质量评定，机器视觉中的精确定位等结合课题“运动员跑步计时器项目”,对彩色线阵cｃd应用时,出现的成像三色错位的问题进行了研究分析了问题产生的原因，介绍了目前常规的校正方法，提出了基于电子稳像技术的ccｄ成像空间校正方法该方法引入电子稳像技术,有效地解决了ccd成像的三色错位问题,经matlab仿真实验后,获得了理想的校正结果。

而且该方法不仅在物体匀速运动时有效,在物体非匀速运动时同样有效线阵ccd成像技术应用于运动员跑步的示意如图1所示ﻭﻪ１ccd成像介绍ﻭ多年前科研人员就已经实现了cｃd彩色成像，该技术的实现目前一般采用如下2种方法第1种是彩色三cｃd，即采用分光棱镜和3个ccd组合棱镜将光线中的红、绿、蓝三个基色分开,使其分别投射在一个块ccd 上，这样,每块 ｃcd 就只对1种基色分量感光第２种是彩色单ccｄ最常用的做法就是在ｃcｄ表面覆盖rgb三色滤光片,以１∶２∶１的比例构成由于彩色单ｃｃd价格明显便宜,所以占据主流市场,本研究就是针对线阵彩色单ｃcd进行的ﻭﻪ图1线阵cｃd成像技术应用于运动员跑步的示意图线阵彩色单cｃd有3列间隔的光敏元件,分别用于感光置于同一位置ｐ的红、绿、蓝颜色分量，通过ａ／d转换后，再将3列cｃｄ感光的图像数据合成复原为位置ｐ物体的数字图像然而由于这3列ccd是在同一触发脉冲下工作的,这３列ｃcd并不是对同一位置进行感光,而是对前后有一定间隔的３个位置分别进行感光,如图2所示由于这种相机本身存在不可避免的系统问题,成像３色出现错位现象，从而影响图像的成像质量,如图３所示ﻭ图2成像三色错位的原理图3成像三色错位现象ﻭ课题“运动员跑步计时器项目”，需在跑道的终点线附近采用高速线阵彩色单ccd拍摄运动员冲刺时的画面。

设定采集速率为1 000 f/s，得到的图像如图4所示可以发现图像产生了3色错位现象，尤其是运动员的腿部，表现明显,因为腿部的运动频率最快ﻭﻪ图4线阵彩色单cｃd拍摄的运动员跑步图像2基于电子稳像技术的校正方法ﻪ由线阵彩色单cｃd摄像机的结构带来的这种彩色图像的三色错位,严重影响了图像原始数据的真实性和有效性,必须加以校正目前,国内外有以下2种主要方法，通过异步时钟控制曝光校正[1]，通过软件校正［2]比较以上方法可发现,软件校正不需要改变ccd的硬件,更具有实用性数据冗余与数据重新定位的方法是软件校正的主要方法，但是，此种方法仅对匀速运动物体有效，而无法应用于线阵ccd拍摄、检测非匀速物体本文针对非匀速物体的情形,提出了采用电子稳像思想来进行软件校正传统思维上，电子稳像技术是处理帧间运动,而ｃcd的这种成像问题严格意义上属于帧内运动,但是，本文首先把线阵cｃd拍摄的数十帧看做一幅图像，接着把一幅彩色图像分离成红色分量、绿色分量、蓝色分量3幅图像,通过上述两步骤后，即可将电子稳像技术应用于线阵cｃd成像2．１彩色图像的r／g/ｂ分离ﻪ通过maｔlａｂ平台,对一幅运动员的彩色图像进行r/g/ｂ分离后的效果如图5所示。

硬件环境为：ｃpu2.80　ｇhz，内存０.９8 gbﻪ图５红色/绿色／蓝色分量图像２．2特征点提取图像的特征点是指两帧图像中对比例、旋转、平移等变换保持一致性的特征,如线交叉点、物体边缘点、角点、闭区域的中心点等常用的特征点提取方法[34］有：边缘点提取方法,如log操作数、cannｙ操作数、基于小波变换的算法等；角点提取算法，如kitｃｈen法、susan法、hａrrｉｓ法等ﻪharriｓ角点检测算法［５］是由chris harｒis和ｍiｋe ｓtｅｐhｅns在1988年提出的定义下式来计算harris算法的角点响应函数：ｒ(x,y)=det(ｍ)－k（tr(m）)2（１) 式中:dｅt(ｍ)=ａb－c2,tr(m）＝a+b表示矩阵m的迹；k是harris系数ａ=（ｉx)2，b=（iy）２，c=(iｘ)(iｙ)ix表示图像i在x方向的导数，iy表示图像i在ｙ方向的导数hａrriｓ算法稳定性高，对噪声不敏感,基于它的优点,本文最终采用改进型ｈaｒｒis算法进行特征点的提取ﻭﻭﻪ２．３特征点匹配ﻪ所谓特征点的匹配就是在当前帧中找到与参考帧中每一特征点的惟一匹配点,在帧间建立特征点的对应关系。

特征点匹配的正确性，对于图像间运动估计的精度，有非常直接的影响按图像的匹配来源分，主要可以分为２种方式[６７］:一种是固定帧匹配；另一种是相邻帧匹配这2种方法各有优缺点,固定帧匹配方法不存在累计误差,它的缺点是一旦图像的运动超出了运动向量计算的临界值，运动向量变得不可靠以后,后续的处理将非常困难,相邻帧匹配方法的主要问题是存在累计误差ﻭﻪ根据本课题所研究的线阵ｃcd成像问题的特殊性，可以把红色分量、绿色分量、蓝色分量作为3幅图像，进行特征点匹配在具体匹配过程中选取红色分量图像为参考帧，依次对绿色分量图像、蓝色分量图像完成特征点匹配ﻭ匹配步骤如下:(1)　以特征点pk为中心，在参考图像中构造一个尺寸为mｎ的图像模块ｉ1ﻪ(２） 在当前图像中对应位置处,确定尺寸为(m＋2p)（n＋２p)的搜索区域i２其中p表示水平和垂直方向的最大偏移量３) 从搜索区域的中心点开始搜索，搜索路径采用菱形ds法,计算每点的ｓaｄ值4)　找出最小sad值,则对应的位置的中心点为匹配特征点２.4三色错位参数估计ﻭ将经过预处理后的候选全局特征点，代入六参数仿射运动模型，求最小二乘解仿射运动模型如下:x′ﻭy′=m0ｍ1ｍ３m4xﻭy＋m2ﻪm５（2)式中(x′,ｙ′)和(x,ｙ)分别表示当前图像和参考图像的特征点坐标,m=　ｍ0m３m1m4ﻭm２ｍ5定义为仿射参数矩阵。

求解的目标是使得各特征点的位置误差达到最小，因此，提出了基于求最小二乘解的迭代步骤,每次迭代过程中将误差较大的特征点予以剔除迭代停止后,输出的仿射参数矩阵m作为最终的全局运动参数,被保留的特征点作为最终的全局特征点集合参数估计的整个流程图如图6所示图６参数估计流程图２.5图像的补偿ﻭ获得运动参数矩阵后,就可以分别对绿色分量图像、蓝色分量图像进行图像补偿了其流程如图7所示ﻪ图7图像补偿流程图将绿色分量图像看做当前帧，以计算出的待补偿参数矩阵对当前帧fk的像素坐标(ｘk，yk)进行变换,公式如下:ｘk′ﻭyk′=m0(ｋ)m1(k)ﻭm３(k）ｍ4(ｋ)ｘｋyk+m2（ｋ)ﻭﻪｍ５(k）(３)从而得到新的坐标(xk′,yk′)，并将原坐标的像素值赋给对应的新坐标,则得到初步的补偿后图像在坐标变换时，不一定都在整像素点上,则需要进行插值处理，采用双线性插值法由于在坐标变换时，边界部分无法获得像素值的区域通常被填充为黑色区域，为了避免这种现象,需要对丢失的边界部分进行重建采用图像拼接技术［８］来实现边界部分重建是一种有效的方法ﻭﻪ完成绿色分量图像的图像补偿后,再以相同步骤完成蓝色分量图像的图像补偿，最终合成[９10]校正后的彩色图像。

3实验结果及分析ﻭ３.1特征点提取的实验结果及分析ﻪ本课题采用改进型ｈarris算法，通过matlab平台对运动员的图像进行特征点提取，经过多次比较后，仿真实验中的hａｒｒis系数ｋ取０.０5,仿真实验结果如图8所示可以看出，采用改进的harris算法提取的图像特征点清晰有效ﻪ图8图像的特征点提取结果3.2特征点匹配的实验结果及分析ﻪ选取运动员的红色分量图像为参考帧,绿色分量图像为当前帧,进行第一次匹配,匹配结果如图９所示ﻭﻪ图9绿色分量图像的特征点匹配结果其中绿色“+”代表有效匹配特征点,可以看出,运动员的多数特征点得到了有效匹配ﻭﻪ依然选取运动员的红色分量图像为参考帧，蓝色分量图像为当前帧,进行第２次匹配，匹配结果如图１0所示ﻭﻪ图10蓝色分量图像的特征点匹配结果其中绿色“＋”代表有效匹配特征点,依然可以看出，多数特征点得到了有效匹配ﻭﻪ3.3参数估计的实验结果及分析ﻭﻪ实验图片依然选用同上的一组运动员图像，求取仿射参数矩阵m=m03ﻭm1m4m２m5分别求出绿色分量图像和蓝色分量图像的结果为:m绿0.990 ５０.0３2 3ﻭﻪ-0．０21　１0．987 4ﻭ１５.587 0－３．６67 6m蓝=0.９87 80.035 ０ﻪ－0．０２2 ３０.986 815.567 8-３.669 ４3.４校正后的实验结果及分析ﻪ根据运动参数矩阵，分别对绿色分量图像，蓝色分量图像进行图像补偿,并合成彩色图像。

可以发现，校正后图像的３色错位问题得到一定解决,图像质量有一定提高校正结果如图1１所示ﻭ４结语ﻭ本课题研究了线阵彩色单ccd成像时出现的3色错位现象，揭示了3色错位的本质原因,并探索性的给出了基于电子稳像技术的软件校正方法在ｍａtｌab平台上,进行了仿真实验,初步得到了满意的校正效果将该方法应用于“运动员跑步计时器项目”,能获得更优的监控图像,从而提高计时精度图1１图像最终校正结果参考文献ﻭﻪ[1］张鹏,杨凯，张忠臣.彩色线阵ｃcd颜色几何失真及校正方法[j］.现代电子技术，２０09,32(２4）：131133.[2］陈文涛,刘永贵,曹晓莉．平列式线阵彩色ccd摄像机的色彩偏移与校正[j］.光电技术应用,2006(９):４78450.ﻪ［３]vａnne j,　ｈaｍａlaiｎen ｔ d， ｋｕusiｌｉｎna k. a pａralｌeｌ　mｅmory　syｓtｅm　fｏr variabｌe　ｂlocksiｚe ｍotioneｓtimation algorｉｔhms \［j＼].　ｃirｃuｉtｓ ａnｄ ｓｙstｅms fｏr　video technolｏgy， 200８,　18(4): 538543．［４］sun huｉ. fａst ｇray pｒｏjecｔiｏn algｏrithm　aｎd ｉts ａppｌication　ｔｏ eｌectrｏniｃ imａge stabilization \[j\］. optｉcs　and pｒeciｓioｎ eｎｇiｎｅerｉng, ２00７,　１５（3): ４12４１6.ﻭ［５]朱娟娟．电子稳像理论及其应用研究［d］.西安：西安电子科技大学,20０9.ﻪ[6]suｋ　ｊung　youp, ｌeｅ guｎｗoo. nｅw eｌｅctronic dｉgital imａge ｓtａbilｉｚatｉｏｎ ａlgorｉthm ｉn wａveｌet transform domaiｎ \[m\］.　ｌncｓ,　heidelberg: ｓprｉnｇｅr,　２００５：　9１１91６.ﻭﻪ[７］erturｋ　s. ｄigitａl iｍａge ｓtaｂiｌizaｔion ｗｉth　sub iｍage　ｐhaｓecｏrrelaｔｉoｎ baｓed ｇlobａl ｍoｔioｎ ｅstｉmaｔｉon \［j\]． ｉｅee trans. on　cｏns。