基于树莓派深度学习的采摘机器人.docx

    基于树莓派深度学习的采摘机器人    覃书波 胡美婧 陈昌熙摘  要：为解决采摘机器人在抓取中的目标识别、位置定位及系统控制方面准确率低，自主能力差等问题提出一种基于深度学习的采摘机器人，该机器人系统以树莓派为主控核心，结合舵机和多种传感器组等模块，通过建立机器人运动学模型，实现从关节到末端执行机构的映射，采用视觉技术建立目标识别与定位模型，通过视觉反馈来控制机器人试验结果表明，该机器人具有较高的识别能力与定位准确率，并具有较高的控制效率Key：采摘机器人；深度学习；运动学模型；LeNet卷积神经网络；PID算法：TP242    ：A  ：2096-4706（2023）01-0154-05Picking Robot Based on Deep Learning of Raspberry PieQIN Shubo1， HU Meijing2， CHEN Changxi3（1.School of Electrical and Information Engineering， Anhui University of Science and Technology， Huainan  232001， China;2.School of Earth and Environment， Anhui University of Science and Technology， Huainan  232001， China;3.School of Computer and Engineering， Anhui University of Science and Technology， Huainan  232001， China）Abstract： In order to solve the problems of low accuracy and poor autonomy of picking robot in aspects of target recognition， position positioning and system control in grasping， a type of picking robot based on deep learning is proposed. The robot system takes raspberry pie as control core， combined with the steering gear and a variety of sensor modules， through the establishment of the robot kinematics model， achieves the mapping from the joint to the end of the actuator. The vision technology is adopted to establish the target identification and positioning model， and it controls the robot through the visual feedback. The experimental results show that the robot has higher recognition ability and positioning accuracy， and has higher control efficiency.Keywords： picking robot; deep learning; kinematic model; LeNet convolutional neural network; PID algorithm0  引  言作为农业生产大国，我国每年的果蔬产量巨大。

果蔬的采摘必然成为一项重大任务，传统采摘方式仍然处于人工采摘阶段，不仅需要投入大量的人力物力还会存在人为因素造成的采摘不及时，误摘等现象，从而导致采摘成本的增加，效率的下降[1]近年来，自动化技术和人工智能技术迅猛发展，农业采摘也顺势由传统的人工采摘转变为机械采摘，人工智能的进步，使得越来越多的机器人、机械臂应用到农业采摘中，极大地提高了农业生产效率[2，3]但利用机器人进行采摘的过程中，对目标对象的识别不准确，定位有误差，以及控制不稳定都会使采摘更困难，造成采摘效率的下降[4]因此如何进一步提高采摘的效率成为众多学者研究的一个热点，目前，圖像处理技术的发展为农业采摘机器人的设计提供了一大思路[5]，将图像视觉技术嵌入到机器人采摘系统中，利用视觉反馈信息间接控制机器人的运动，使得机器人能够根据目标对象颜色、位置等信息作出正确的指令，以此驱动机器人末端执行器的准确运动本文针对目前机器人在采摘过程中，存在的采摘准确率低、自主能力差等问题，提出了一种基于深度学习的采摘机器人，该机器人系统以树莓派为主控核心，结合舵机和多种传感器组等模块，利用LeNet卷积神经网络对果实目标进行准确识别，采用避障算法进行准确定位，并利用PID算法来实现机器人的稳定准确控制。

最后通过别定位测试实验可以看出，提出的采摘机器人能够达到较高的识别定位精度，且能够实现高效的控制说明将其应用于农业果实的采摘可以提高采摘效率和质量，对于促进农业智能化发展具有重要意义[6]1  采摘机器人整体架构设计该采摘机器人的整体架构设计由控制板、传感器、舵机及其机械结构组成，其系统包含四部分，即上位机（计算机）、下位机（控制板）、驱动元件（舵机）以及传感器整个系统结构如图1所示其中上位机具有强大的运算功能，主要完成目标对象图像信息处理，机器人的运动控制策略，以及与控制器之间的通信监测下位机控制器主要是接收来自上位机的指令以及传感器的信息，从而驱动机器人完成各项运动驱动部分主要由舵机构成，其功能是接收控制器的控制指令后带动机器人末端执行机构的运行传感器主要获取外部环境信息并传送给控制器，另外驱动元件会将机器人的运动状态反馈给控制器部分，从而实现机器人的准确运动控制电源部分给控制板、舵机以及传感器供电2  采摘机器人系统硬件设计该采摘机器人系统硬件主要部分包括控制器，舵机以及传感器，其中传感器又分为超声波传感器和深度相机如图2所示，给出了由SolidWorks画出的机械臂结构2.1  控制板控制器为整个硬件系统的核心部分，机器人末端机构的运行离不开控制器的控制，该控制器的控制板采用了树莓派及扩展板，其中下层扩展板为智能温控风扇及RGB灯扩展板，由于机器人需要安装很多舵机，发送很多指令，且在功能实现上有很多子线程，树莓派CPU将完成很复杂的工作，因此需要设计它的散热系统。

上层扩展板为舵机和传感器的扩展板，连接机械臂的总线舵机，由于只对树莓派的物理引脚做了一个映射，所以通过树莓派来直接控制它们另外，树莓派与散热系统之间通过IIC协议通信，与舵机通过ttyAMA0串口通信2.2  舵机舵机为机器人系统的驱动机构，它接收来自控制器的指令然后驱动机械臂末端执行机构的运行，该舵机使用的是Dynamixel，通信协议是通过主程序和舵机之间互相发送数据包来进行的，其数据包分为指令数据包和状态数据包，主程序向舵机发送指令数据包，舵机做出相应的动作并返回状态数据包，其舵机协议是我们编码的依据[7]2.3  传感器2.3.1  超声波传感器该采摘机器人使用HC-SR04超声波传感器用来测距，它的Trig端发出超声波，接触到反射物后反射，被Echo端接收，通过记录超声波的发射时间和接收时间得到一个时间差，然后使用空气中的声速计算距离如表1所示，给出了HC-SR04超声波传感器部分参数2.3.2  深度相机深度相机作为采摘机器人的视觉系统具有重要功能，它能够获得目标对象的图像信息，然后将图像特征信息传输给计算机进行图像信息处理，从而实现目标物的识别与定位本系统使用intel RealSense D415深度相机，该相机兼容树莓派Linux系统。

捕捉最远距离可达到10 m，且在户外阳光下也可以使用，支持输出1 280×720分辨率的深度画面3  机械臂运动学建模机械臂运动学研究基于D-H参数法进行建模，如表2所示，为该机械臂D-H参数机械臂的正运动学公式由相邻连杆之间的变换矩阵推导得到位姿矩阵，并由解析法得出逆运动学公式：其中：a=-（l3+l4）sinθ3b=（l3+l4）cosθ3+l2c=-pxcosθ1-pysinθ1为机械臂夹持器末端的固定结构绕z轴的转动向量[8]由上面参数在MATLAB仿真平台上可获得机械臂仿真模型以及Simulink仿真图如图3和图4所示4  采摘机器人总体软件及各算法设计4.1  总体软件架构设计机械臂的总体软件结构包括上位机中机械臂运动模型的搭建，视觉信息处理模块，即卷积神经网络的设计，避障算法的运行，下位机中运动控制算法的运行以及实现通信协议其软件总体结构如图5所示图5  系统软件总体架构系统在运行时，传感器会获得外部信息并通过通信协议传输给上位机，在上位机中实现目标图像信息进行处理，并将指令发送至控制器，控制器将来自上位机的指令信息与来自传感器的反馈信息进行相应处理后，发送控制指令给驱动装置，进而驱动机械臂的运行，完成各项指定功能。

另外驱动机构也会将机械臂的运行状态反馈给控制器，实现了机械臂系统的闭环控制[9]对机器人的完整控制需要如下部分代码来实现：舵机、传感器与树莓派的通信代码（即驱动程序，有串口、USB和IIC等），数据处理代码（用深度学习代码处理摄像头采集的数据），机器人的运动代码（需要转化为控制器中能够运行的语言），功能实现代码（能够对结果做出反馈动作）4.2  采摘机器人各算法设计4.2.1  LeNet模型机械臂与深度相机组成了该机器人系统中最为关键的手眼系统，目标对象信息由深度相机负责采集，传送给上位机进行信息处理在该系统中设计了LeNet卷积神经网络，其功能是對目标对象进行识别定位，以确定抓取目标的位置，然后经过机械臂的逆运动学运算可获得机械臂各关节角信息，并结合传感器反馈信息实现了对目标物的精准抓取LeNet-5卷积网络模型如图6所示它包括C1卷积层，S2池化层，C3卷积层，S4池化层，C5卷积层，F6全连接层和Output输出层[10]通过卷积操作，增强了原信号特征，并降低了噪声，而池化层操作利用了图像局部相关性的原理，对图像进行了子抽样，减少了数据处理量的同时也保留了一定的有用信息如表3所示，给出了LeNet网络结构具体参数。

4.2.2  避障算法为了实现采摘机器人的精准动作，其需要拥有较强的自主识别定位能力因此，当机器人在遇到障碍物时，要能够及时作出响应，重新规划路线以此越过障碍物采摘机器人上的超声波测距传感器组能够持续对环境进行实时探测，当遇到障碍物时会返回障碍物的距离信息[11]，同时，深度相机会将获得的图像信息反馈到上位机中，在上位机中利用传感器获取的信息进障碍物的三维重建，并规划新的路径，使得机器人能够及时避开障碍物到达作业区域其中超声波传感器测距流程如图7所示4.2.3  PID算法采摘机器人在移动过程中，关节部分的角速度不断变化，为了保证机器人不发生侧翻，需要机器人具有较高的稳定性采用PID控制策略实现采摘机器人的稳定控制[12]，当系统检测到机器人关节力矩有较大变化时，会反馈给控制器，控制器通过PID控制对关节力矩误差进行调节，进而调整电机的转速来控制机器人关节通过对关节力矩误差的调节，逐渐降低控制误差，以此实现机器人的精准稳定控制其反馈控制流程如图8所示5  实验测试为了验证基于树莓派深度学习的采摘。