图像帧拼接方法和装置的制作方法.docx

图像帧拼接方法和装置的制作方法专利名称：图像帧拼接方法和装置的制作方法技术领域：本发明属于图像处理领域，涉及一种图像处理方法，具体涉及一种图像帧拼接方法和装置背景技术：电子扫描笔(简称扫描笔)是基于OCR技术的重要文字识别装置扫描笔的光学摄像头按照一定频率对被扫描资料进行连续拍照，获取被扫资料的图像帧序列，然后将图像帧序列拼接成一幅全景图像后进行OCR处理为了支持高扫描速度，提高用户使用感受，扫描笔就要以较高的图像采集频率进行图像采集并且进行实时拼接处理，比如每秒采集120图像帧或者甚至更高随着采样频率的提高，单位时间内采集的图像帧数越来越多，要对图像帧序列进行实时拼接处理，特别是在嵌入式条件下进行实时拼接处理，难度越来越大如何又快又准的进行图像帧拼接，成为扫描笔面临的一个难题发明内容本发明提出一种图像帧拼接方法和装置，针对扫描笔获取的图像帧序列进行拼接对于扫描笔图像帧序列的拼接，在保证图像拼接准确性的前提下，大大提高了图像拼接的快速性本发明公开了一种图像帧拼接方法，包括如下步骤步骤1，在待拼接的图像帧序列中建立采样帧组，计算首个采样帧组的采样间隔并预测该采样帧组中首对相邻采样帧之间的拼接信息；所述采样帧组由待拼接的图像帧序列中连续的具有相同采样间隔的图像帧构成；采样帧组内被采样的图像帧为采样帧，未被采样的图像帧为跳过帧；步骤2，以当前相邻一对采样帧的拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值；如果当前相邻一对采样帧的拼接信息实际值经校验无效，则以相邻采样帧的拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值，否则转到步骤3 ；步骤3，根据当前相邻一对采样帧的拼接信息实际值及预设的重叠率阈值区间检验当前采样帧组是否结束，如果当前采样帧组尚未结束，则根据当前采样帧组的采样间隔确定下一采样帧，将所述当前相邻一对采样帧的后一采样帧和所述下一采样帧作为下一对相邻采样帧，同时将当前相邻一对采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值；否则计算下一采样帧组的采样间隔并预测下一采样帧组的首对相邻采样帧之间的拼接信息；将下一对相邻采样帧和下一采样帧组的首对相邻采样帧作为当前相邻一对采样帧，返回步骤2，直至图像帧序列中的图像帧全部处理完毕；步骤4，根据计算完毕的各采样帧的拼接信息实际值拼接得到全景图像。

本发明公开了一种图像帧拼接装置，包括如下模块初始化模块，在待拼接的图像帧序列中建立采样帧组，计算首个采样帧组的采样间隔并预测该采样帧组中首对相邻采样帧之间的拼接信息；所述采样帧组由待拼接的图像帧序列中连续的具有相同采样间隔的图像帧构成；采样帧组内被采样的图像帧为采样帧，未被采样的图像帧为跳过帧；拼接模块，以当前相邻一对采样帧的拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值；如果当前相邻一对采样帧的拼接信息实际值经校验无效，则以相邻采样帧的拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值；否则转到采样及预测模块；采样及预测模块，根据当前相邻一对采样帧的拼接信息实际值及预设的重叠率阈值区间检验当前采样帧组是否结束，如果当前采样帧组尚未结束，则根据当前采样帧组的采样间隔确定下一采样帧，将所述当前相邻一对采样帧的后一采样帧和所述下一采样帧作为下一对相邻采样帧，同时将当前相邻一对采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值；否则计算下一采样帧组的采样间隔并预测下一采样帧组的首对相邻采样帧之间的拼接信息；将下一对相邻采样帧和下一采样帧组的首对相邻采样帧作为当前相邻一对采样帧，返回拼接模块，直至图像帧序列中的图像帧全部处理完毕；图像融合模块，根据计算完毕的各采样帧的拼接信息实际值拼接得到全景图像。

本发明公开的图像帧拼接方法和装置，对图像帧序列进行采样帧组划分，一方面，在同一采样帧组内按照固定采样间隔进行采样，并根据拼接信息预测值在既定窗口范围内搜索计算拼接信息实际值，这样既减少了参与计算的图像帧数目，又减少了参与计算的图像帧的计算量，大大提高了整个图像帧序列的拼接速度；另一方面，根据不同的扫描速度将图像帧序列划分为不同的采样帧组，并且采用与扫描速度相匹配的采样间隔，保证了采样策略的可行性，并提高了拼接信息预测值的准确性，相应地提高了图像帧序列拼接的准确性图1为本发明图像帧拼接方法的流程图；图2为本发明图像帧拼接方法中采样帧组的示意图；图3为本发明图像帧拼接方法实施例中各图像帧及相关数据的示意图；图4为本发明图像帧拼接方法的实施例中全景二值图像具体实施例方式下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例基于本发明中的实施例，本领域普通技术人员所获得的所有其他实施例，都属于本发明保护的范围在本发明实施例中，图像的宽度为80像素，高度为120像素，图像拼接在二值化后的图像帧上进行，如果原始帧图像是彩色图像或灰度图像，先对图像帧进行二值化处理。

在二值化后的图像中，用1表示前景像素，用0表示背景像素，采用拼接系数作为图像的拼接度量指标本发明实施例中的相关帧图像数据如图3所示，为了方便描述，将图像帧序号为N的帧图像称为第N帧图像本发明公开了一种图像帧拼接方法，如图1所示，具体包括如下步骤权利要求1.一种图像帧拼接方法，其特征在于，包括如下步骤步骤1，在待拼接的图像帧序列中建立采样帧组，计算首个采样帧组的采样间隔并预测该采样帧组中首对相邻采样帧之间的拼接信息；所述采样帧组由待拼接的图像帧序列中连续的具有相同采样间隔的图像帧构成；采样帧组内被采样的图像帧为采样帧，未被采样的图像帧为跳过帧；步骤2，以当前相邻一对采样帧的拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值；如果当前相邻一对采样帧的拼接信息实际值经校验无效，则以相邻采样帧的拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值，否则转到步骤3 ；步骤3，根据当前相邻一对采样帧的拼接信息实际值及预设的重叠率阈值区间检验当前采样帧组是否结束，如果当前采样帧组尚未结束，则根据当前采样帧组的采样间隔确定下一采样帧，将所述当前相邻一对采样帧的后一采样帧和所述下一采样帧作为下一对相邻采样帧，同时将当前相邻一对采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值；否则计算下一采样帧组的采样间隔并预测下一采样帧组的首对相邻采样帧之间的拼接信息；将下一对相邻采样帧和下一采样帧组的首对相邻采样帧作为当前相邻一对采样帧，返回步骤2，直至图像帧序列中的图像帧全部处理完毕；步骤4，根据计算完毕的各采样帧的拼接信息实际值拼接得到全景图像。

2.根据权利要求1所述的方法，其特征在于所述拼接信息包括水平位移、竖直位移及位移方向，其中，位移方向包括右下、右上、左下、左上3.根据权利要求2所述的方法，其特征在于所述步骤1中的首个采样帧组的采样间隔为4 = max[^mm,min^ax)]，其中，Smin为采样间隔的最小值，Sfflax为采样间隔的最大值，「&表示不超过s'的最大整数，s'根据0 im，Vx、ν为 I ^ IWxH图像帧序列中的第二帧图像相对于第一帧图像的拼接信息中的水平位移和竖直位移，Offlin为最小重叠率，W为图像帧的宽度，H为图像帧的高度4.根据权利要求3所述的方法，其特征在于所述步骤1中计算首对相邻采样帧间的拼接信息预测值时，水平位移预测值为S1XVx，竖直位移预测值为S1XVy，位移方向预测值为采样帧组中第二帧图像相对于首帧图像的位移方向5.根据权利要求1所述的方法，其特征在于所述步骤2中第一既定窗口的大小根据拼接信息预测值和拼接信息实际值之间的偏差进行调整6.根据权利要求1所述的方法，其特征在于所述第二既定窗口尺寸大于第一既定窗7.根据权利要求1所述的方法，其特征在于所述以拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值时，如果拼接信息对应的拼接度量指标优于在第一既定窗口中计算拼接信息实际值时得到的拼接度量指标，则将在第二既定窗口中计算的拼接信息实际值作为所述相邻采样帧的拼接信息实际值，否则将在第一既定窗口中计算的拼接信息实际值作为所述相邻采样帧的拼接信息实际值。

8.根据权利要求3所述的方法，其特征在于所述步骤3中根据当前相邻一对采样帧的拼接信息实际值及重叠率阈值区间检验当前采样帧组是否结束时，当根据拼接信息实际值计算得到的相邻采样帧间的图像重叠率位于重叠率阈值区间时，或者当相邻采样帧间的重叠率小于最小重叠率Omin且当前采样帧组的采样间隔为最小值时，或者当相邻采样帧间的重叠率大于最大重叠率Omax且当前采样帧组的采样间隔为最大值时，则当前采样帧组尚未结束，继续在当前采样帧组中进行采样，否则，当前采样帧组结束，建立下一采样帧组9.根据权利要求1或8所述的方法，其特征在于所述重叠率阈值区间的最小值为设定的最小重叠率Omin，最大值为设定的最大重叠率0_10.根据权利要求1或8所述的方法，其特征在于所述下一采样帧组从当前采样帧组的最后一采样帧开始，并将所述最后一采样帧作为下一采样帧组的首帧图像11.根据权利要求1、8或10所述的方法，其特征在于所述下一采样帧组的采样间隔12.—种图像帧拼接装置，其特征在于，包括初始化模块，在待拼接的图像帧序列中建立采样帧组，计算首个采样帧组的采样间隔并预测该采样帧组中首对相邻采样帧之间的拼接信息；所述采样帧组由待拼接的图像帧序列中连续的具有相同采样间隔的图像帧构成；采样帧组内被采样的图像帧为采样帧，未被采样的图像帧为跳过帧；拼接模块，以当前相邻一对采样帧的拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值；如果当前相邻一对采样帧的拼接信息实际值经校验无效，则以相邻采样帧的拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值；否则转到采样及预测模块；采样及预测模块，根据当前相邻一对采样帧的拼接信息实际值及预设的重叠率阈值区间检验当前采样帧组是否结束，如果当前采样帧组尚未结束，则根据当前采样帧组的采样间隔确定下一采样帧，将所述当前相邻一对采样帧的后一采样帧和所述下一采样帧作为下一对相邻采样帧，同时将当前相邻一对采样帧的拼接信息实际值作为下一对相邻采样帧的拼接信息预测值；否则计算下一采样帧组的采样间隔并预测下一采样帧组的首对相邻采样帧之间的拼接信息；将下一对相邻采样帧和下一采样帧组的首对相邻采样帧作为当前相邻一对采样帧，返回拼接模块，直至图像帧序列中的图像帧全部处理完毕；图像融合模块，根据计算完毕的各采样帧的拼接信息实际值拼接得到全景图像。

全文摘要本发明公开了一种图像帧拼接方法和装置，属于图像处理领域方法包括计算首个采样帧组的采样间隔并预测其中首对相邻采样帧之间的拼接信息；以拼接信息预测值为中心在第一既定窗口中计算拼接信息实际值，如果拼接信息实际值经校验无效，则以拼接信息预测值为中心在第二既定窗口中计算拼接信息实际值；对当前采样帧组进行检验，并对下一采样帧进行预测，根据采样帧组是否结束分别对计算得到拼接信息预测值，如此循环，直至图像帧序列中的各采样帧拼接完毕，得到全景图像本发明对图像帧序列进行采样帧组划分，减少了参与计算的图像帧数目和参与计算的图像帧的计算量，大大提高了整个图像帧序列的拼接速度和图像帧序列拼接的准确性。