基于压缩感知多视角目标跟踪和3d目标重建系统及方法.docx

基于压缩感知多视角目标跟踪和3d目标重建系统及方法专利名称：基于压缩感知多视角目标跟踪和3d目标重建系统及方法技术领域：本发明属于图像处理领域，尤其涉及一种基于压缩感知多视角目标跟踪和3D目标重建系统及方法背景技术：随着摄像机技术的进步，广泛应用于监控系统、医学、智能房间等的摄像机网络不断发展利用多个摄像机获取的信息可以对目标进行定位，从而追踪遮蔽目标或者重建3D目标在这个背景下，设计对观测区域背景变化有鲁棒性的、通信开销低的、且相机数量可变的分布式算法显得尤为重要传统方法中，由摄像机捕获大量结构完整但冗余度很高的数据，之后，若是可以进行本地处理的智能摄像机，会在将数据传送至通信信道前对获取的图像进行预处理，如利用传统的压缩方法等，这样就可以提取出有用的信息，只传送少数观测值就可以达到通信需求，但数据量仍然很大，占用带宽也较多，且对摄像机的性能要求很高，耗电量加大，并且这些算法的复杂度都会随着摄像机数量的增长而线性增长如果再对观测区域背景的变化进行检测更新，则会占用更多资源，加重编码器负担，进一步加大耗电量，而实际中背景变化的情况很多见摄像机处只传送目标的剪影信息是对传统算法的改进，它是在摄像机端对获取的数据进行背景减除算法的处理，获得只包含前景目标的剪影信息并传送。

这样可以有效减少数据传输带宽，但是没有进一步利用剪影信息的稀疏性，由于加入了背景减除算法使得数据处理性能要求更高，耗电量更大，算法的复杂度还是会随着摄像机数量的增长而线性增长，对背景的变化若有鲁棒性仍然需要消耗过多资源传统的多视角视频分析系统传输数据带宽大、编码端(摄像机)较复杂且耗电量大、算法复杂度没有自适应性、信号抗噪性弱、实际应用中可扩展性不强发明内容本发明旨在克服现有技术的不足，避免传统的多视角视频分析系统传输数据带宽大、摄像机端较复杂且耗电量大、算法复杂度没有自适应性、抗噪性弱、实际应用中可扩展性不强的缺点，实现不仅降低编码端复杂度，降低传输数据带宽，同时提高算法自适应性和信号抗噪性，对背景变化具有鲁棒性，为达到上述目的，本发明采取的技术方案是，基于压缩感知多视角目标跟踪和3D目标重建系统及方法，包括下列步骤使摄像机都分布在可以观测到大部分观测区域的位置，观测区域可以是2D或者3D的空间，通过对观测区域采样后，先进行压缩采样，再通过两次移动平均进行背景更新，采用能够抗噪的算法得到背景减除图像的压缩采样值；将得到的背景减除图像的压缩采样值，通过阈值测试检测感兴趣的目标；对感兴趣的目标则执行分析算法，即·恢复每个摄像机送来的目标剪影压缩采样数据，得到目标的剪影图，在2D的情况时将观测区域划分成N个紧凑不重叠子区域，第η个子区域有位置坐标(xn，yn)，观测区域与每个摄像机的成像平面一一对应，将每个摄像机恢复出的数据转换成目标在该成像平面的位置，其与观测区域平面的前景目标位置一一对应，联合η个摄像机的数据找到其在观测区域中的准确位置；在3D的情况时将观测区域划分成N个立体的紧凑不重叠子区域，第η个子区域有位置坐标(xn，yn, zn)，观测区域与每个摄像机的成像平面一一对应，将每个摄像机恢复出的数据转换成目标在该成像平面的位置，其与观测区域平面的前景目标上的点一一对应，联合η个摄像机的数据找到其在观测区域中的准确形态。

送入背景更新模块中先进行压缩采样，再通过两次移动平均进行背景更新具体是，采用SRM算法压缩采样得到yt(j)，yt(j)分两路，一路通过yt (j)与yb(j)相减得到背景剪除图像的压缩采样值yd(j)输出，yd(j)是背景图像的压缩采样值，SRM是结构化随机矩阵；一路与缓存器I中的移动平均值yma(j)以学习率Y完成第一次移动平均，b代表背景，如下式 yma(j+l) = Y yt(j) + (i-y )yma(j)得到新的的移动平均值yma(j+l)并存入缓存器I以供下次使用，第二次移动平均是由yt(j)和对yma(j)先做压缩感知恢复后再进行压缩采样得到的值JUj')的差，和缓存器2中背景图像的压缩采样值yb(j)以学习率α完成，如下式yh (j +1) = a{yt (j) - ye (./)) + (I - a)yb (j)得到新的背景的压缩采样值存入缓存器2供下次使用，这样就完成了对背景突变时的背景鲁棒更新，背景突变的情况就有某物体进入背景后静止或者光照变化，j代表当前中贞，j+Ι代表下一中贞先通过阈值测试检测感兴趣的目标即运动目标具体为，由于bg||少^ W(A，’w - #(/&, cabg其中c是设定常数，若成立，表示有目标出现，其中表示正态分布，μ t是期望，CTi2是方差，σ bg是标准差，I I I I下角标2是2范数。

借助于下列组成部分实现包括若干摄像机，背景更新模块，中心数据处理点，摄像机、背景更新模块、中心数据处理点依次相连，η个数字摄像头通过复用32条数据线连接至背景更新模块，背景更新模块外接一个Flash或者SRAM来存取数据；背景更新模块通过PCI总线连接至上位机，背景更新模块由DSP构成，DSP包括如下子模块SRM算法压缩模块用于采用SRM算法压缩采样得到yt(j)分两路，一路通过yt(j)与yb(j)相减得到背景剪除图像的压缩采样值yd(j)输出，yd(j)是背景图像的压缩采样值，SRM是结构化随机矩阵,一路输出到第一次移动平均模块；第一次移动平均模块用于将yt(j)与缓存器I中的移动平均值yma(j)以学习率Y完成第一次移动平均，如下式yma(j+i) = Y yt(j) + (i-y )yma(j)得到新的的移动平均值yt (j+1)并存入缓存器I以供下次使用；第二次移动平均模块用于将yt (j)和对yma(j)先做压缩感知恢复后再进行压缩采样得到的值兔(J')的差，和缓存器2中背景图像的压缩采样值yb(j)以学习率α完成，如下式V,{j +1) = a{y,O)- ve(j)) + (I-a)yb(j)得到新的背景的压缩采样值存入缓存器2供下次使用。

本发明的有益效果在于本发明是将压缩感知编码端和压缩感知解码端融入多视角目标跟踪和3D目标重建系统，相比于传统的多视角视频分析系统，本系统可以实现减少编码端复杂度，以较少的数据量采样目标剪影并传输，提高算法对于摄像机个数的自适应 性以及数据在信道传输的抗噪性，使算法对于观测区域的背景变化具有鲁棒性图I是本发明的基于压缩感知的多视角目标跟踪和3D目标重建系统的总体工作原理结构示意图图2是本发明的基于压缩感知的多视角目标跟踪和3D目标重建系统的组件I工作原理结构示意图图3是本发明的基于压缩感知的多视角目标跟踪和3D目标重建系统的组件2工作原理结构示意图 图4是本发明DSP程序流程图图5是本发明硬件结构整体框图具体实施例方式一种基于压缩感知的多视角目标跟踪和3D目标重建系统，包含η个摄像机，所有摄像机都分布在可以观测到大部分观测区域的位置，观测区域可以是2D或者3D的空间，2D、3D(二维、三维)，所有的摄像机都通过一个背景更新模块和一个中心数据处理点连接，η为大于等于I的自然数所述的每个摄像机对观测区域采样后，送入背景更新模块中先进行压缩采样，再通过两次移动平均进行背景更新，采用能够抗噪的算法得到背景减除图像的压缩采样值，中心数据处理点与一个显示器相连。

所述的每个摄像机得到的背景减除图像的压缩采样值都送至中心数据处理点，通过阈值测试检测感兴趣的目标所述的中心数据处理点在对摄像机送来的数据做阈值测试时，如果发现感兴趣的目标则执行分析算法，恢复每个摄像机送来的目标剪影压缩采样数据，得到目标的剪影图，在2D的情况时将观测区域划分成N个紧凑不重叠子区域，第η个子区域有位置坐标(χη，yn)，观测区域与每个摄像机的成像平面一一对应，将每个摄像机恢复出的数据转换成目标在该成像平面的位置，其与观测区域平面的前景目标位置一一对应，联合η个摄像机的数据找到其在观测区域中的准确位置所述的中心数据处理点在对摄像机送来的数据做阈值测试时，如果发现感兴趣的目标则执行分析算法，恢复每个摄像机送来的目标剪影压缩采样数据，得到目标的剪影图，在3D的情况时将观测区域划分成N个立体的紧凑不重叠子区域，第η个子区域有位置坐标(xn，yn, zn)，观测区域与每个摄像机的成像平面一一对应，将每个摄像机恢复出的数据转换成目标在该成像平面的位置，其与观测区域平面的前景目标上的点一一对应，联合η个摄像机的数据找到其在观测区域中的准确形态下面结合附图对本发明作更详细的说明如图I所示，基于压缩感知的多视角目标跟踪和3D目标重建系统，包括η个摄像机，所有摄像机都分布在可以观测到大部分观测区域的位置，观测区域可以是2D或者3D的空间，所有的摄像机都通过一个背景更新模块和一个中心数据处理点连接，η为大于等于I的自然数。

如图2所示，每个摄像机对观测区域第j次采样后得到xt (j)，送入背景更新模块中先用SRM算法压缩采样得到yt (j)，yt (j)分两路，一路通过yt (j)与yb (j)相减得到背景剪除图像的压缩采样值yd(j)输出，yd(j)是背景图像的压缩采样值，一路与缓存器I中的移动平均值yma(j)以学习率Y完成第一次移动平均，如下式yma (j+D = Y yt(j) + (i-y )yma(j)得到新的的移动平均值yma(j+l)并存入缓存器I以供下次使用，第二次移动平均是由yt(j)和对yma(j)先做压缩感知恢复后再进行压缩采样得到的值久C/)的差，和缓存器2中背景图像的压缩采样值yb(j)以学习率α完成，如下式V6 (7 +1) = a(yt (j) - ye (j)) + (I — a)yh{j)得到新的背景的压缩采样值存入缓存器2供下次使用，这样就完成了对背景突变时的背景鲁棒更新，背景突变的情况就有某物体进入背景后静止或者光照变化等，其中采用能够抗噪的算法得到背景减除图像的压缩采样值，中心数据处理点与一个显示器相连，显示最终跟踪的位置结果或者3D的立体图像如图3所示，所述每个摄像机得到的背景减除图像的压缩采样值yd(j)都送至中心数据处理点，先通过阈值测试检测感兴趣的目标(运动目标)，由于 Λ/(凡，σ,2)以及log||>'w -凡匕 ，其中ybi是背景图像的多组测量值，yb是其均值，前景目标较小时，会有A2本Hbg)，做简单的阈值测试就可判断有无感兴趣的目标存在，bg是background的缩写,凡P 是背景期望和背景方差，若q2、差别较大比较下式其中c是设定常数,若成立,表示有目标出现，I I I I下角标2是2范数，Ilxll2 =(Ix1I^Ix2I2+... + Iχη|2)1/2, log 是对数。

如图3所示，所述的中心数据处理点在对摄像机送来的数据做阈值测试时，如果发现感兴趣的目标则执行分析算法，由于目标剪影图像是稀疏的，可以恢复每个摄像机送来的目标剪影压缩采样数据，得到目标的剪影图，在2D的情况时将观测区域划分成N个紧凑不重叠子区域，第η个子区域由位置坐标(xn，yn)表示(摄像机端已知)，观测区域与每个摄像机的成像平面通过线性变换矩阵H一一对应，将每个摄像机恢复出的数据转换成目标在该成像平面的位置Λ ,对应于观测区域平面的前景目标位置x(NX I的向量，若在子区域η出现则X (η) = I,其他X (η) = O,通常是稀疏的)，如下式yc=x+ec其中&是误差，再联合n个摄像机的数据找到其在观测区域中的准确位置如图3所示，所述的中心数据处理点在对摄像机送来的数据做阈值测试时，如果发现感兴趣的目标则执行分析算法，由于目标剪影图像是稀疏的，利用GPSR_BB算法恢复每个摄像机送来的目标剪影压缩采样数据，得到目标的剪影图，在3D的情况时将观测区域划分成N1XN2XN3个立体的紧凑不重叠子区域(比二维跟踪的情况更密集)，第η个子区域(体素)由位置坐标(xn，yn，zn)表示(摄像机端已知)，观测区域与每个摄像机的成像平面通过线性变换矩阵H。