枝条遮挡下单个苹果目标识别与重建方法的研究.doc

枝条遮挡下单个苹果目标识别与重建方法的研究 孙飒爽 吴倩 谭建昌 龙燕 宋怀波 西北农林科技大学机械与电子工程学院 四川大学电子信息学院 摘 要： 【目的】研究枝条遮挡情况下单个苹果目标的识别, 为复杂生长环境下苹果目标的准确识别与定位及实现自动采摘提供支持方法】针对果实目标受枝条遮挡影响被分割成几个部分, 从而严重影响果实目标准确识别的现状, 以枝条遮挡下的苹果目标为研究对象, 选用基于 Lab 颜色空间的 K-means 聚类算法对苹果目标进行分割, 再通过数学形态学方法对目标苹果轮廓进行提取, 然后根据最小外接矩形法去除目标苹果的伪轮廓, 最后利用轮廓的曲率特征对目标苹果进行重建, 并对分割与重建结果进行了方法验证结果】利用基于 Lab 颜色空间下的 K-means 聚类算法和最小外接矩形法可有效提取出苹果目标的真实轮廓, 能够与苹果目标边缘线达到高度重合, 同时可获得较准确的重建结果对 10 幅枝条遮挡果实目标的识别、定位与重建的验证结果表明, 该方法对目标苹果进行分割与重建的平均分割误差为 13.83%, 平均重叠系数为 88.08%, 假阳性率和假阴性率分别为 1.22%和 11.92%, 目标苹果重建准确率均在 84.00%以上, 平均重建时间为 24.40s。

结论】应用本研究中的方法可对枝条遮挡下的苹果目标进行准确识别、定位与重建, 有效缩短重建时间关键词： 苹果; 自动采摘; 枝条遮挡; 识别与定位; K-means 聚类算法; 轮廓曲率; 作者简介：孙飒爽 (1994-) , 女 (满族) , 黑龙江哈尔滨人, 在读硕士, 主要从事农业智能化检测研究E-mail:18291875610@作者简介：宋怀波 (1980-) , 男, 山东济宁人, 副教授, 博士, 硕士生导师, 主要从事数字图像处理研究E-mail:songyangfeifei@收稿日期：2016-10-14基金：国家高技术研究发展计划 (863 计划) 项目 (2013AA10230402) Recognition and reconstruction of single apple occluded by branchesSUN Sashuang WU Qian TAN Jianchang LONG Yan SONG Huaibo College of Mechanical and Electronic Engineering, Northwest A School of Electronics and Information Engineering, Sichuan University; Abstract： 【Objective】The identification of a single apple target occluded by branches was studied to provide support for the identification, localization and automatic picking of apples in complex growing environments.【Method】The fruit targets occluded by branches are often divided into several parts, which affects the accurate identification of fruit targets seriously.In this study, the K-means clustering algorithm based on Lab color space was used to segment apple targets, then the contours were extracted by mathematical morphology method.After the false contours of target apple were removed according to the minimum external rectangle method, the targets were reconstructed by the curvature features of the contours, and the results were verified.【Result】The above method could effectively extract the real contours of apple targets and achieve high coincidence with the edge lines of targets based on K-means clustering algorithm in Lab color space and minimum external rectangle method.More accurate reconstruction results were also obtained.A total of 10 experimental target fruit images occluded by branches were tested foridentifying, locating and reconstructing.The average division error was 13.83%, the average overlapping coefficient was 88.08%, and the false positive and false negative rates were 1.22%and 11.92%, respectively.The reconstruction accuracy rate of target apples was above 84.00%, and the average construction time was 24.40 s.【Conclusion】The methods developed in this study could be used for accurate identification, location and reconstruction of apples occluded by branches, which could shorten the time of reconstruction effectively.Keyword： apple; automatic picking; branch occlusion; identification and location; K-means clustering algorithm; contour curvature; Received： 2016-10-14中国是世界上最大的苹果生产国, 2010 年苹果总产量已远超欧洲、美洲、非洲和大洋洲之和[1]。

随着我国农业结构的不断调整以及生产布局的逐步优化, 苹果的生长环境得以改善, 生产效益有了较大提高, 但与国际先进水平相比, 仍存在明显差距, 尤其在机械化与设施农业发展方面进展缓慢, 成为阻碍我国苹果产业持续健康发展的主要原因之一[2]在苹果生产作业中, 果实的采摘占整个作业量的 40%~50%, 是整个作业中最耗时耗力的部分, 并且采摘作业质量的好坏直接影响到苹果的储藏、加工和销售, 从而最终影响其市场价格和经济效益, 因此实现果实的自动采摘势在必行, 而其关键在于如何利用机器视觉技术实现果实的准确识别与精确定位在果实目标识别和分割研究方面, 国内外众多学者均取得了一定的研究成果如司永胜等[3]针对颜色和背景相近的绿色苹果, 提出了一种基于 K-均值聚类的苹果图像分割算法, 识别率达 81%;胡婵莉[4]以重叠苹果目标为测试对象, 综合利用色差法与 Otsu 分割方法提取苹果目标轮廓, 并分别利用 Hough 变换法、极值法、迭代腐蚀法、分水岭与最小二乘拟合相结合方法进行试验, 对比发现通过分水岭与最小二乘拟合结合算法获得的拟合效果更优, 能够更好地实现重叠苹果目标的定位, 实时性较高;荀一等[5]通过建立 BP 神经网络, 并将图像中的苹果目标按形状和位置分为 5 类, 利用不同的圆拟合方法对苹果目标及其果柄进行精确定位;Shebiah[6]将果实的颜色与纹理特征进行了有效融合, 通过基于小波变换统计特性的最小距离分类来完成对不同果实的识别, 并证明了该方法对多种果实识别的有效性;李昕等[7]在类圆随机 Hough 变换算法的基础上, 添加了边缘预检测、快速定位圆心等模块, 以提高算法对遮挡环境下油茶果实的识别率;陶云[8]采用基于对比度受限自适应直方图均衡化的果树树枝迭代阈值分割法完成树枝障碍的识别, 通过提取树枝骨架及其端点和分支点进行立体匹配, 根据三角测量原理进行苹果树枝障碍的定位;宋怀波等[9]针对果树枝叶遮挡、果实间相互遮挡的现象, 提出了一种基于凸壳理论的遮挡苹果目标识别与定位方法, 定位精度显著提高。

现如今, 对于遮挡下的果实目标识别与定位, 国内还未见较为完善的研究成果, 为达到高识别度与精准定位的目标, 往往需要选取大量具有代表性的候选点, 但由于系统处理数据量大、工作效率低, 因此不能满足实时定位的需求在自然场景下, 苹果的生长姿态受土地、季节、天气等自然条件的影响而存在较大的差异[10], 果实被枝条遮挡现象较为普遍受枝条遮挡的影响, 果实在识别过程中往往被分割成几个部分, 常规算法会将其误认为多个独立的果实, 严重影响果实的准确识别、采摘点的精确定位和采摘行为的执行鉴于上述原因, 本研究拟提出一种枝条遮挡下的苹果目标识别与重建方法, 通过苹果目标的分割、目标轮廓的提取、伪轮廓与孔洞的去除等过程实现苹果的识别与重建, 以期获得枝条遮挡下果实目标的准确分割与重建, 为果实自动采摘技术的发展提供借鉴1 研究对象的选取及处理试验选用 SONY W730 型号相机进行果实目标的拍摄, 相机像素为 4 608×3 546, JPG 图像存储格式试验以被枝条遮挡下的红色苹果为研究对象, 由于雨、雾、霾等天气都会对图像质量产生较大的影响, 所以试验中用到的所有图像均为晴天拍摄在实际采摘过程中, 顺光和逆光也会对苹果图像的颜色造成一定影响, 为了保证试验结果的可靠性, 拍摄图像既有顺光角度, 也有逆光角度, 用以验证不同光照条件下苹果的定位效果。

试验图像均于 2015 年 9 月 20 日至 25 日在杨凌高新农业示范区园艺学院试验场采集拍摄的枝条遮挡下的苹果目标如图1 所示由图 1 可以发现, 受枝条遮挡的影响, 果实目标被分割为 2 个完全独立的部分, 采用常规图像分割方法进行处理后, 完整的苹果目标会被误分为 2个独立的果实目标, 导致目标被错误识别本试验中识别果实目标的过程在2.30GHz 处理器、3.89Gb 内存的 PC 机上开发完成, 试验程序在 MAT-LAB R2010a 环境下编写及运行图 1 枝条遮挡下的苹果目标 Fig.1 Target apple occluded by branches 下载原图2 颜色空间转换及分割处理方法2.1 颜色空间转换常见的 RGB 空间中所有颜色都能够看作红、绿、蓝三基色的组合, 每种颜色都可用其 R、G、B 三分量进行表示, 但由于三分量之间存在很强的相关性, 因此不适用于直接基于三个分量独立运算的图像分割[11]而 Lab 颜色空间是目前最均匀的颜色空间, 且与设备无关, 更适用于接近自然光照的场合[12], 所以本试验选取 Lab 颜色空间开展研究, 满足了后续对苹果目标进行分割。