基于双线性卷积神经网络的杂草细粒度识别.docx

    基于双线性卷积神经网络的杂草细粒度识别    王玉　杜勇　洪鹏摘 要： 针对复杂田间环境下杂草形态相似对深度学习模型识别效果的影响，本文以玉米及其主要伴生杂草作为研究对象，提出一种基于双线性卷积神经网络的细粒度杂草识别方法，用于提升作物与杂草识别的准确率首先，研究对比了常见通用图像分类模型在杂草识别上的表现，选用识别效果较好的VGGNet-19和ResNet-50作为双线性网络的主干结构，以获取更有效的杂草特征，并采用迁移学习的方式训练网络实验结果表明，该方法在数据集上的识别准确率高达98.5%，高于单一网络模型的识别效果且能够准确地区分具有高相似度的田间杂草，为智能田间除草作业提供高精度的信息支持关键词： 深度学习; 杂草识别; 双线性卷积神经网络; 细粒度图像识别： 2095-2163（2021）07-0036-07：TP391.41 文献标志码： AFine-grained visual recognition for weed  based on bilinear convolutional neural networkWANG Yu1， 2， DU Yong3， 4， HONG Peng5（1 School of Tourism and Cuisine， Harbin University of Commerce， Harbin 150028， China;2 School of Tourism and Hotel Management， Dongbei University of Finance & Economics， Dalian Liaoning  116023， China;3 School of Electrical and Information Engineering， Northeast Agricultural University， Harbin 150030， China;4 College of Intelligence and Computing， Tianjin University， Tianjin 300072， China;5 School of Electronics and Information Engineering， Lanzhou Jiaotong University， Lanzhou 730070， China）【Abstract】To address the impact of weed morphological similarity on the recognition effect of deep learning models in complex field environments， this paper proposes a fine-grained weed recognition method based on bilinear convolutional neural networks for improving the accuracy of crop and weed recognition， taking corn and its major associated weeds as the research object. Firstly， the study compares the performance of commonly used general image classification models on weed recognition， selects VGGNet-19 and ResNet-50， which have better recognition effect， as the backbone structure of the bilinear network to obtain more effective weed features， and uses migration learning to train the network. The experimental results show that the recognition accuracy of the method on the dataset is as high as 98.5%， which is higher than the recognition effect of a single network model. And the method can accurately distinguish field weeds with high similarity， which can provide high-precision information support for intelligent field weeding operations.【Key words】deep learning; weed recognition; bilinear convolutional neural network; fine-grain image recognition0 引 言一直以來，在农业生产中杂草的威胁不可小觑。

田间杂草会在作物生产阶段与其竞争空间、光照、水分和营养物质，如不及时控制，将对早期生长阶段的植物造成严重损害，并导致作物产量减少与质量下降化学除草是现阶段农田杂草防治中最主要的方式相较于人力除草、机械除草、生物除草等除草方式，化学除草具有快速、高效、经济的优点，是广大农户使用最为普遍的除草方式[1]但传统的化学除草往往采用大面积喷洒除草剂的方式进行作业，由于投放时不能对杂草精准施药，大量除草剂喷向非靶标作物与无杂草区域会带来明显的除草剂浪费与潜在的生态环境污染，因此，在保证除草效果的同时，减少除草剂施用量成为了化学除草的关键任务[2]智能田间除草机器人能够根据田间杂草分布信息自动调节喷洒速度与区域[3]，可以切实减少除草剂的使用量，并有效地避免化学残留问题，提升农产品质量安全，是化学除草装备技术发展的必然趋势其中，杂草识别是进行智能田间除草作业的首要前提，只有及时、准确地获取到田间杂草分布信息，才能针对性喷洒除草药剂，进而避免盲目使用除草剂所导致的化学残留与生态环境污染传统的杂草分类方法主要是通过专家或农民依靠经验并结合已知的杂草图鉴进行判别，但受限于田间杂草种类繁多、数量巨大、表观多样等特性，人工识别往往耗时、费力且效率低下，并且对靶变量喷洒需要快速、大面积作业，所以传统方法无法应用于对靶变量喷洒之中[4]。

为此，借助于计算机视觉技术的自动化杂草识别方法被广泛地使用[5]在以往的杂草识别研究中，杂草的鉴别主要基于手工设计的特征，如颜色、形状、纹理等，人们将这些特征与支持向量机、神经网络等机器学习分类器结合的方法在杂草识别上取得了很好的效果Bakhshipour等人[6]通过提取杂草的小波纹理特征进行杂草检测，并使用主成分分析技术从52个提取的纹理特征中选择14个放入神经网絡中识别，结果表明，即使存在大量的遮挡和叶子重叠，小波纹理特征也能够有效区分出农作物中的杂草龙满生等人[7]研究了使用长宽比、圆度、第一不变矩3个形状特征识别玉米苗期杂草的可行性，实验结果表明，基于BP网络与形状特征结合的杂草识别算法对玉米幼苗与杂草有很好的识别效果此外，多数研究人员致力于通过引入新的特征组合来提高某些类型杂草的识别准确性何东健等人[8]针对单一特征识别杂草的准确率与稳定性的不足，提出了一种DS理论与支持向量机结合的多特征融合杂草识别方法，通过杂草叶片形状、纹理及分形维数3类特征的融合，识别率显著提升邓向武等人[9]以水稻苗期6类主要杂草为研究对象，使用了杂草颜色、形状和纹理共101维特征作为深度置信网络的输入对杂草进行识别，试验结果表明基于多特征融合的深度置信网络模型的识别精度高达91.13%，且耗时可满足实时检测的速度要求。

虽然基于人工特征和机器学习的杂草识别方法有较高的识别准确率，但相应结果多是在少量测试集图像上取得，缺乏在实际环境中的验证，且人工特征对杂草种类的表达能力有限，识别模型往往无法处理真实环境下所出现的遮挡、残损、背景变化的影响，使得该类算法难以实际应用于田间除草作业之中近年来，深度学习在农业领域受到了广泛的关注，在杂草识别、植物病害识别、水果计数、害虫识别等方面均有良好的表现，尤其是农作物杂草分类方面取得了很大的成功[10]Dyrmann等人[11]通过卷积神经网络对处于早期生长阶段的22种杂草和农作物植株进行了识别，最终在10 413张图像的测试集上实现了86.2%的分类精度Ferreira等人[12]使用CaffeNet对数据集中4 500张的大豆及其主要伴生杂草图片进行了识别，结果表明使用了卷积神经网络的杂草识别准确率可达98%以上，与支持向量机和随机森林等方法相比识别精度显著提高王璨等人[13]以卷积神经网络从图像的高斯金字塔中提取到的多尺度分层特征作为识别依据实现了精确、稳定和高效的玉米与杂草识别对经典卷积网络进行改进也被证明能够有效提升深度学习模型在杂草识别上的性能姜红花等人[14]利用哈希码便于存储和快速检索的特点，对卷积神经网络提取到高维的特征数据进行了压缩，试验结果表明，田间杂草识别准确率可达98.6%，同时，该方法还具有很好的通用性，在其他杂草数据集上的准确率也已经达到了95.8%。

孙俊等人[15]结合空洞卷积与全局池化对AlexNet模型进行了改进，在大幅减少模型参数的同时保证了较高的杂草识别准确率此外，作为深度学习中一种有效的训练技巧[16]，迁移学习被广泛用于植物识别问题之中Mostafa等人[17]使用GoogLeNet、AlexNet和VGGNet三个流行的卷积神经网络模型来识别图片中的植物种类，并通过迁移学习的方式训练模型，在LifeCLEF 2015植物分类任务的验证集上准确度达到80%，优于当年比赛第一名的识别效果Abdalla等人[18]利用卷积神经网络分割油菜田间杂草与作物，并提出了基于VGG16模型的3种迁移学习方式，证明了迁移学习对杂草分割效果有明显的提升上述研究工作都在杂草识别上取得了较高的识别精度，证明了深度学习可以显著地改善杂草识别的性能，但相关工作均停留在将各个经典卷积网络及其变种直接应用于杂草分类，并未考虑杂草图像分类是一种细粒度分类，未能关注用于区分不同种类杂草的细节特征自然场景下杂草具有相似的外观和特征，加之采集中存在姿态、视角、光照、遮挡、背景干扰等影响，会出现不同杂草物种类别间表型具有高度相似性、同一杂草物种下的表型差异度较大的现象，对杂草的精准分类带来了很大的难度[19]。

为此，本文提出了基于双线性卷积神经网络的玉米田间杂草细粒度识别方法，以期待更好地区别高相似度的田间杂草，提升杂草识别准确率与稳定性，并采用了迁移学习、数据增强、数据均衡等训练技巧来加速模型训练，提升模型泛化性能，最后，通过卷积神经网络可视化的方法来进一步证明双线性网络能够更好地学习到用于区分不同种类杂草的细节特征1 材料与方法1.1 杂草数据集生成本文选取玉米及其主要伴生杂草作为研究对象进行识别图像采集工作于2021年5～7月于东北农业大学东门实验田进行，采集方式为手持移动拍摄，原始图片大小为3264×1860，图片格式JPG在玉米处于幼苗期间共进行了4次采集，采集到数据包括幼苗期玉米植株及反枝苋、马唐、马齿苋、藜、苘麻、刺儿菜和茵陈蒿7种该地区的常见伴生杂草，每次采集均在不同时间段，其中3次为晴天采集，1次为阴天采集，涵盖了除草作业时可能的环境条件并且原始图像是在不同光照条件下，从多角度采集，能够反映真实状况下杂草生长位置与形态最后，人为地将采集到的原始图片进行裁剪分割并。