水果防碰损采摘的视觉认知及其执行机构研究进展.docx

水果防碰损采摘的视觉认知及其执行机构研究进展 罗陆锋 谭远良 卢清华 邹湘军摘 要：研发水果采摘机器人对提高收获效率、保证果实品质和减轻劳动强度具有重要意义，但由于果园环境的非结构性，使得采摘机器人极易因目标定位不准、采摘顺序不当、夹剪位姿不合理等导致果实碰伤或刮落，造成该损伤的主要原因是防碰损采摘的视觉认知与执行机构耦合问题尚未得到解决为梳理水果采摘机器人防碰损作业的最新研究进展，从防碰损采摘中果实多维信息（采摘点、果梗位姿、防碰空间包围体等）的视觉感知、采摘机器人的视觉认知与智能防碰损采摘行为规划、防损采摘机构设计及其行为控制等三方面进行了全面综述和分析，并对今后需重点解决的核心关键问题进行总结和展望，为进一步研究和攻克非结构环境下水果智能防碰损采摘问题提供参考和依据关键词：工业机器人技术；采摘机器人；末端执行器；视觉认知；智能规划：TP391.41 文献标志码：A：1008-1542（2018）03-0204-10保证水果低损、采收及时是果农面临的实际问题，鲜食水果的收获仅靠人工采摘，不仅采摘人员的劳动强度大，采摘成本也较高为了提高采摘效率，保证水果品质和减轻采摘人员的劳动强度，用机器人代替人工采摘是未来水果采收的发展趋势，也是未来智能农业机械的发展方向[1]。

机器人在采摘水果之前，需先由视觉系统对作业目标和环境进行感知与定位，再以感知定位信息为基础进行防碰损作业的认知计算与行为规划，最后通过视觉伺服控制采摘机构执行夹剪作业[2]水果经常簇生、果梗杆茎小且果实娇嫩，而且水果生长位置的随机性，使得果实之间经常出现相互重叠、贴靠和遮挡等复杂情况，如图1所示这些非结构因素使得机器人执行机构在夹剪过程中极易因视觉定位不准、采摘顺序规划不当、进给和夹剪位姿不合理导致果实碰伤或刮落[3]造成这些损伤的主要原因在于采摘中果实信息视觉认知不准确、夹剪机构设计或其行为决策不合理为解决该难题，提高采摘作业的精准度和柔性度，需要采摘机器人视觉系统与执行机构之间具备良好的自主防碰损耦合能力，该能力主要体现在果实多维信息的视觉感知（采摘点、果梗位姿、防碰空间包围体等）、随机多目标防碰损采摘顺序的视觉认知与规划、执行机构与果串之间适形防碰损夹剪位姿的自主耦合等行为上，最终用机构、视觉、传感器等硬件和软件实现其运动和智能行为决策国内外针对采摘机器人的研究已有40多年的历史[2]荷兰、美国、日本、丹麦、法国等国研究了甜椒[4]（图2 a））、柑橘[5]、黄瓜[6]（图2 b））、西红柿[7]（图2 c））、草莓[8]等采摘机器人。

中国农业大学、南京农业大学、华南农业大学、江苏大学、浙江大学、上海交通大学、西北农林科技大学、东北农业大学等单位研究了草莓[9]（图2 d））、苹果[10-11]（图2 e））、黄瓜[12]、茄子[13]、荔枝[14]（图2 f））、猕猴桃[15]等果蔬的采摘机器人但到目前为止，商品化实用的采摘机器人依然鲜有报道，究其原因是多方面的[16]，其中对果实造成损伤严重是主要原因之一为实现无损采摘，国内外学者围绕水果视觉感知[17-19]、路径规划[6]、采摘机构[20-21]、果实损伤及力学特性[22-24]等开展了大量研究为梳理水果采摘机器人防碰损作业的最新研究进展，本文将从果实多维信息视觉感知、采摘机器人的视觉认知与智能规划、防损采摘机构及行为控制等3个方面进行阐述1 水果防碰损采摘的视觉认知及机构设计研究状况与分析1.1 果实多维信息视觉感知的研究进展为了能准确获取水果的视觉信息，学者们以水果色彩空间为基础研究出了多种图像分割与识别方法[25-30]CHAMELAT等[25]提出利用Zemike距和颜色信息对复杂环境下的葡萄进行识别；REIS等[26]基于照片彩色信息在自然环境下对葡萄进行识别与定位；田锐等[27]计算葡萄图像在RGB颜色空间中样本值，根据样本值对目标进行图像分割；熊俊涛等[28]通过提取颜色模型YCrCb中Cr分量对成熟荔枝进行识别；罗陆锋等[29-30]针对对果园葡萄的识别，提出了基于改进人工蜂群优化模糊聚类的图像分割方法和基于多颜色空间和集成学习的图像识别方法。

尽管在水果图像分割方面，国内外学者已提出了许多有效方法，但仅仅通过这些方法还难以实现对重叠、贴靠和遮挡等非结构情况下串型水果的逐个精准识别与定位在对重叠、贴靠和遮挡果实的识别方面，国内外对苹果[10，31-34]、番茄[35]、柑橘[36]的报道较多，大多通过分析果实几何形状来设计相应的识别算法例如：利用凸壳算法[32]、圆检测[10]、轮廓还原[36]等方法對苹果目标进行识别；以深度图为基础结合边缘曲率分析[35]实现对重叠、黏连番茄的识别与定位这些方法在特定条件下对单一水果的重叠、贴靠等复杂情况具有实用性，但对于串型水果来说，因果串轮廓的不规则性，上述方法通用性依然非常有限在水果采摘点的识别与定位研究上，国内外学者针对苹果[10]、番茄[35]等水果提出了以形心作为采摘点的定位方法BULANON等[37]分别采用单目相机移动方法和双目相机的立体视觉方法对苹果的果实采摘点的空间位置计算进行了研究；XIANG等[35]采用双目立体视觉对成熟番茄进行定位研究，以番茄的形心为采摘点；李斌等[38]利用单目视觉研究了菠萝果实形心点的求取方法然而，这些以形心作为采摘点的方法对于以夹剪果梗为采摘方式的串型水果来说，实用性不强。

在以夹剪果梗为采摘方式的水果采摘中，熊俊涛等[39]利用Hough圆拟合方法先对柑橘图像进行分割，再运用约束斜率为-0.45～0.45的Hough直线检测对柑橘果梗上的采摘点进行搜索；杨庆华等[40]通过提取葡萄图像轮廓的外接矩形对目标进行识别与定位；张铁中等[18]利用草莓图像重心和果尖点来对采摘点进行识别与定位；郭艾侠等[19]设计了一种融合Harris与SIFT算法的荔枝果梗采摘点计算方法；罗陆锋等[41]根据葡萄的生长特点，提出了一种基于点线最小距离约束的采摘点定位方法，如图3所示在果梗位姿的视觉检测研究上，INKYU等[42]对果园环境下的甜辣椒果梗检测进行了研究，先利用RGB-D传感器采集图像数据，获取点云数据后使用几何特征（如表面法线和曲率估计）对甜椒三维几何形状进行识别，结合HSV颜色特征和PFH（point feature histograms）对监督学习方法进行训练，最终实现对果梗检测，过程如图4所示在水果防碰空间包围体的求解与定位研究上，罗陆锋等[43]提出一种基于双目立体视觉的葡萄包围体求解与定位方法，如图5所示先通过寻找与重心距离最小的直线来定位果梗上的采摘点；再运用圆检测法获取外接矩形区域内果粒的圆心和半径，求解采摘点和果粒圆心的空间坐标；最后以采摘点的空间坐标为原点构建葡萄空间坐标系，求解葡萄最大截面，再将该截面绕中心轴旋转360得到葡萄空间包围体。

但目前该方法只能处理单串葡萄，对重叠、贴靠和遮挡葡萄串的防碰包围体定位还需进一步深入研究解决1.2 采摘机器人的视觉认知与智能规划的研究进展为避免损伤果串，采摘机器人在作业规划中需要先根据环境信息自主规划防碰损的采摘顺序后再到达采摘点执行夹剪作业；在夹持和剪断果梗时，又需要机器人能自主确立防碰损的执行机构进给方位和夹剪角度BAC等[44]根据视觉定位信息约束末端执行器旋转切刀（图6）的初始方位角来进行防损采摘，从而实现对甜椒的低损收获，但甜椒与串型水果的形态特征差异较大，且采摘方式亦不尽相同，因而该方法对于串型水果来说可移植性不强；HENTEN等[6]从逆运动学角度研究了黄瓜采摘机械臂的免碰撞路径规划问题，逆运动学是一个非线性规划问题，通过遗传算法解决，但是由于过程需要大量的计算时间，所以该黄瓜采摘机器人的基本模型采用有冗余度的P6R操作器梁喜凤等[45]基于伪距离避障法，以番茄收获机械手可操作度最大化为目标函数，采用伪距离避障法和迭代法相结合的方法能够使番茄收获机械手在保证良好工作性能的前提下实现避障运动规划，机械手由初始位置沿预定路径运动至目标位置，并能成功避开障碍物；尹建军等[46]以关节型机械臂避开垂直茎秆或撑杆采摘番茄为研究对象，提出了一种基于构形空间的关节型机械臂避障路径规划方法，以能量最优函数优选避障规划的关节终点角，利用A*算法可以得到平面R-R机械臂的避障路径，获得一系列表示空间连杆位置的相交竖直面，并在竖直面内进行其余关节角的规划。

在采摘顺序规划方面，王冰心等[47]基于仿生学思想设计了一种基于视觉选择性注意机制的果实簇识别与采摘顺序规划方法，如图7所示该研究一方面有利于提高果实簇识别算法对复杂农业环境的适应能力，提高算法对不同种类果实识别的通用性；另一方面通过提前规划视域内多个果实簇的采摘顺序，减少采摘过程中的重复动作，提高作业效率但目前该方法尚未考虑采摘过程中的防碰损规划问题；罗陆锋等[48]开展对多目标防碰损采摘顺序规划算法进行仿真试验研究，将实物视觉与虚拟现实相结合设计了采摘机器人硬件在环虚拟试验系统，为防碰损采摘的视觉定位及行为控制算法提供了仿真试验平台1.3 防损采摘机构及行为控制的研究进展采摘机器人采摘机构及行为模型对实现无损采摘至关重要BLANES等[49]通过设计具有形状自适应的夹指机构来降低茄子采摘中的机械损伤，如图9、图10所示，该末端执行器由3个机械手指和1个真空吸盘组成，其中3个机械手指均装有惯性传感器，当末端执行器接触不同形状的茄子时，其内部颗粒状物质的干扰从柔软到坚硬，其中1根手指可以适应并复制茄子的形状，同时其他的手指也可以使用冗余的自由度适应茄子的形状；刘继展等[21]针对机器人摘取及移送过程中导致的果穗振动与果粒脱落问题，提出了一种面向穗轴激励输入的果穗振动仿真模型，该研究以葡萄為研究对象，在果穗“梗-果”结构特性基础上，提出了“挠性杆-铰链-刚性杆-质量球”复合果穗模型，并由试验确定了模型中各级梗间铰链弹性系数与阻尼系数、果粒尺寸与质量的正态分布规律，获得了主穗轴的抗弯特性，进而利用激光3D扫描重构得到梗系统，根据试验结果分别进行刚性、挠性杆件定义和果粒与梗间铰链的添加，构建得到果穗振动仿真模型；金波等[20]为了实现果蔬的无损采摘，采用欠驱动原理设计出具有形状自适应能力的末端执行器夹指，如图11、图12所示，该手爪用1个驱动电动机控制3个手指、9个指节，可以实现对果实的包络抓取，并且通过PID闭环力控制方式，实现了对远指关节和所有关节中最大接触力的有效控制，实现期望的抓取与最大接触力控制功能，并具有控制简单可靠、抓取稳定、不损伤果实等特点；姬伟等[22]为减少夹持器抓取苹果时的碰撞、挤压损伤，通过压缩试验后计算得到了苹果果皮、果肉和果核3个不同部分的力学参数，建立了单个苹果的3层实体力学模型，为苹果收获机器人夹持器结构设计和控制方法提供参考数据和可控措施；陈燕等[50]为减少采摘中荔枝的机械损伤，通过建立采摘器剪切运动和剪切力模型对末端执行器的结构进行了参数优化；李娜等[51]针对温室内地垄式栽培草莓自动低损采摘的需求，利用气动肌腱驱动创新设计了多指式刚柔混联欠驱动草莓采摘机械手，如图13所示，该机械手设置欠驱动关节，具有结构简单、低能耗的特点，同时在手指单元中加入柔顺构件，利用其柔性变形可减小采摘中对果实的损坏；饶洪辉等[52]为实现油茶果低损采摘，设计一种气吸式油茶果采摘机构，该机构先通过真空泵产生的负压吸住待摘油茶果，再用电机驱动真空吸盘旋转来对油茶果进行旋脱；王学林等[53]为减少末端执行器对果蔬抓持损伤，设计了基于灰色预测的增量式比例积分夹持力控制算法，实现夹持机构和果蔬之间动态抓持过程的自适应调整；李建伟等[54]根据目前苹果采摘末端执行器存在的问题，设计了依靠驱动刀片在动力驱使下绕指外围圆周方向自由旋转1周，切除苹果柄任意位置的末端执行器，如图14所示，设计方式既可避免刀片伤到苹果，又可以切断苹果。