自然环境下绿色柑橘视觉检测技术研究

绿色柑橘具有与背景相似的颜色特征,自然环境下绿色柑橘的视觉检测比较困难。提出基于深度学习技术,利用Faster RCNN方法进行树上绿色柑橘的视觉检测研究。首先配置深度学习的试验环境,同时设计了绿色柑橘图像采集试验,建立了柑橘图像样本集,通过试验对批处理大小、学习速率和动量等超参数进行调优,确定合适的学习速率为0.01、批处理为128、动量系数为0.9,使用确定的超参数对模型进行了训练,最终训练模型在测试集上的平均精度(MAP)为85.49%。通过设计自然环境下不同光照条件、图像中不同尺寸柑橘、不同个数柑橘的Faster RCNN方法与Otsu分割法的柑橘检测对比试验,并定义F值作为对比评价指标,分析2种方法的检测结果,试验结果表明:Faster RCNN方法与Otsu方法在不同光照条件下检测绿色柑橘的F值分别为77.45%和59.53%;不同个数柑橘果实检测结果的F值分别为82.58%和60.34%,不同尺寸柑橘检测结果的F值分别为73.53%和49.44%,表明所提方法对自然环境下绿色柑橘有较好的检测效果,为果园自动化生产和机器人采摘的视觉检测提供了技术支持。     

基于改进Mask R-CNN模型的植物叶片分割方法

通过图像处理对植物叶片进行分割是研究植物表型性状的基础,但叶片间相互遮挡、叶片边缘特征不明显以及幼叶目标过小会对叶片分割效果造成很大的障碍。针对上述问题,该研究提出了一种基于改进Mask R-CNN模型的植物叶片分割方法,通过引入级联检测模块对模型检测分支进行改进,以提高遮挡叶片检测质量;利用注意力机制和一个2层3×3卷积模块对模型分割分支进行优化,以提高边缘特征表达能力;在模型测试过程中采用多尺度叶片分割策略,利用多个尺度上的最优目标以分割幼叶。测试结果表明,在CVPPP叶片分割挑战数据集中的对称最佳Dice得分Symmetric Best Dice（SBD）为90.3%,相比于利用域随机化数据增强策略并采用Mask R-CNN模型进行叶片实例分割的方法提高了2.3个百分点,叶片分割效果有显著提升。该研究提出的方法可以有效解决植物叶片分割效果不佳的问题,为植物表型研究提供技术支撑。     

基于Faster R-CNN的新疆棉花幼苗与杂草识别方法

针对新疆棉田杂草的伴生特点带来的特征过拟合、精确率低等问题,以新疆棉花幼苗与杂草为研究对象,分析杂草识别率低的影响因素,建立了基于Faster R-CNN的网络识别模型.采集不同角度、不同自然环境和不同密集程度混合生长的棉花幼苗与杂草图像5370张.为确保样本质量以及多样性,利用颜色迁移和数据增强来提高图像的颜色特征与...     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

基于空间注意力和可变形卷积的无人机田间障碍物检测

为了解决植保无人机作业时,传统田间障碍物识别方法依赖人工提取特征,计算耗时较长,难以实现在非结构化田间环境下实时作业识别的问题,提出一种优化的Mask R-CNN模型的非结构化农田障碍物实例分割方法。以ResNet-50残差网络为基础,将空间注意力(Spatial attention, SA)引入残差结构,聚焦跟踪目标的显著性表观特征并主动抑制噪声等无用特征的影响;引入可变形卷积(Deformable convolution, DCN),通过加入偏移量,增大感受野,提高模型的鲁棒性。构建包含农田典型障碍物的数据集,通过对比试验研究在ResNet残差网络结构中的不同阶段中加入空间注意力和可变形卷积时的模型性能差异。结果表明,与Mask R-CNN原型网络相比,在ResNet的阶段2、阶段3、阶段5加入空间注意力和可变形卷积后,改进Mask R-CNN的边界框(Bbox)和掩膜(Mask)的平均精度均值(mAP)分别从64.5%、56.9%提高到71.3%、62.3%。本文提出的改进Mask R-CNN可以很好地实现农田障碍物检测,可为植保无人机在非结构化农田环境下安全高效工作提供技术支撑。     

基于改进Faster R-CNN的马铃薯芽眼识别方法

为提高对马铃薯芽眼的识别效果,提出一种基于改进Faster R-CNN的马铃薯芽眼识别方法。对Faster R-CNN中的非极大值抑制(Non maximum suppression, NMS)算法进行优化,对与M交并比(Intersection over union, IOU) 大于等于Nt的相邻检测框,利用高斯降权函数对其置信度进行衰减,通过判别参数对衰减后的置信度作进一步判断;在训练过程中加入采用优化NMS算法的在线难例挖掘 (Online hard example mining, OHEM) 技术,对马铃薯芽眼进行识别试验。试验结果表明：改进的模型识别精度为96.32%,召回率为90.85%,F1为93.51%,平均单幅图像的识别时间为0.183s。与原始的Faster R-CNN模型相比,改进的模型在不增加运行时间的前提下,精度、召回率、F1分别提升了4.65、6.76、5.79个百分点。改进Faster R-CNN模型能够实现马铃薯芽眼的有效识别,满足实时处理的要求,可为种薯自动切块中的芽眼识别提供参考。     

基于深度学习的水稻表型特征提取和穗质量预测研究

水稻产量与水稻穗数和穗质量密切相关,精确预测水稻产量可以加快育种速度。以盆栽水稻为研究对象,首先利用可见光图像结合图像处理技术进行特征提取,获取整株水稻的51个表型特征。结合深度学习,运用Faster R-CNN卷积神经网络训练模型对水稻穗数进行检测,同时使用SegNet网络框架训练得到的模型对水稻稻穗进行分割,得到水稻穗部的二值图像,结合图像处理技术提取穗部的33个表型特征数据。提取了颜色、形态、纹理共85个表型参数,对所有85个数据进行归一化处理,将归一化的85个表型数据与稻穗鲜质量、干质量进行逐步线性回归,挑选相关性高的特征数据。分别使用穗数和33个特征穗部、51个特征整株、所有85个特征中相关性高的特征数据构建盆栽水稻稻穗鲜质量、干质量的预测模型,最后根据模型的决定系数R²、平均相对误差(MAPE)和相对误差绝对值的标准差(SAPE)挑选最优预测模型。预测结果表明穗部特征预测效果最好,其中效果最好的模型鲜质量、干质量预测值与真实值的决定系数R²分别达到0.787±0.051和0.840±0.054。     

基于改进Faster R-CNN的水稻稻穗检测方法

为了快速而准确地统计视频监测区域内的水稻穗数,提出了一种基于改进Faster R-CNN的稻穗检测方法.针对稻穗目标较小的问题,在Inception ResNet-v2的基础上引入空洞卷积进行优化;对于不同生长期稻穗差别大的问题,设计了针对标注框尺度的K-means聚类,为候选区域生成网络提供先验知识,从而提高了检测精...     

近似联合训练的Faster R-CNN对立木图像的检测与识别

为提高复杂背景下立木图像的识别准确率,提出近似联合训练的Faster R-CNN对立木图像进行目标提取并分类。首先迁移ImageNet上的模型VGG16、ResNet101和MobileNetV2提取图像特征并微调网络,然后构建新的数据集包括7科10种立木图像共2 304张,通过该数据集训练和测试3种网络模型下的Faster R-CNN。结果表明,通过近似联合训练的Faster R-CNN得到的均值平均精度分别是93.64%、92.38%、92.58%,对于不同种属的立木,VGG16网络效果最佳。由于光照会对图像识别造成影响,将光照平衡前后的结果作对比,得到光照平衡后的立木图像识别结果优于平衡前。并利用训练的模型对斜向生长的立木图片进行检测,结果显示生长方向不影响图像识别准确率。证明该方法在具有复杂背景的立木图像上具有良好的效果,对更多立木的识别有一定的参考价值。     

基于特征点邻域Hough变换的水稻秧苗行检测

水稻秧苗行检测对于精准农业和自动导航至关重要,为此提出一种基于特征点邻域Hough变换的水稻秧苗行检测方法,该方法可以有效解决杂草密度分布、光照强度和秧苗行曲率变化等因素对秧苗行检测的影响。该方法主要包括3个步骤：水稻秧苗行图像数据库的建立、水稻秧苗特征点提取和秧苗行中心线识别。首先,在杂草萌发期建立水稻秧苗在不同光照条件（晴、阴天）、不同杂草密度分布和不同秧苗生长状况的水稻秧苗行图像数据库;然后,采用基于Faster RCNN网络的秧苗检测模型获得水稻秧苗的特征点,即预测结果的中心点;最后,采用提出的基于特征点邻域的Hough变换算法识别秧苗行中心线。实验表明,本文方法对测试集秧苗行平均识别准确率达到92%,对不同杂草密度分布的秧苗行平均识别精度小于0.5°,对孤立的杂草噪声和光照变化不敏感,对曲率较大的秧苗行也能准确识别,具有较好的鲁棒性和识别精度。