基于改进YOLO v4和ICNet的番茄串检测模型

针对深层神经网络模型部署到番茄串采摘机器人,存在运行速度慢,对目标识别率低,定位不准确等问题,本文提出并验证了一种高效的番茄串检测模型。模型由目标检测与语义分割两部分组成。目标检测负责提取番茄串所在的矩形区域,利用语义分割算法在感兴趣区域内获取番茄茎位置。在番茄检测模块,设计了一种基于深度卷积结构的主干网络,在实现模型参数稀疏性的同时提高目标的识别精度,采用K-means++聚类算法获得先验框,并改进了DIoU距离计算公式,进而获得更为紧凑的轻量级检测模型(DC-YOLO v4)。在番茄茎语义分割模块（ICNet）中以MobileNetv2为主干网络,减少参数计算量,提高模型运算速度。将采摘模型部署在番茄串采摘机器人上进行验证。采用自制番茄数据集进行测试,结果表明,DC-YOLO v4对番茄及番茄串的平均检测精度为99.31%,比YOLO v4提高2.04个百分点。语义分割模块的mIoU为81.63%,mPA为91.87%,比传统ICNet的mIoU提高2.19个百分点,mPA提高1.47个百分点。对番茄串的准确采摘率为84.8%,完成一次采摘作业耗时约6s。     

基于RGB-D相机的果树三维重构与果实识别定位

为实现对果园果实机器人采摘提供科学可靠的技术指导,提出了一种基于RGB-D相机的苹果果树三维重构以及进行果实立体识别与定位的方法。使用RGB-D相机快速获取自然光照条件下果树的彩色图像和深度图像,通过融合果树图像彩色信息和深度信息实现了果树的三维重构;对果树的三维点云进行 R-G 的色差阈值分割和滤波去噪处理,获得果实区域的点云信息;基于随机采样一致性的点云分割方法对果实点云进行三维球体形状提取,得到每个果实质心的三维空间位置信息和果实半径。实验结果表明,提出的果树三维重构和果实立体识别与定位方法具有较强的实时性和鲁棒性,在0.8~2.0 m测量范围内,顺光和逆光环境中果实正确识别率分别达95.5%和88.5%;在果实拍摄面的点云区域被遮挡面积超过50%的情况下正确识别率达87.4%;果实平均深度定位偏差为8.1 mm;果实平均半径偏差为4.5 mm。     

基于改进YOLO v5的夜间温室番茄果实快速识别

为实现日光温室夜间环境下采摘机器人正常工作以及番茄快速识别,提出一种基于改进YOLO v5的夜间番茄果实的识别方法。采集夜间环境下番茄图像2 000幅作为训练样本,通过建立一种基于交并比的CIOU目标位置损失函数,对原损失函数进行改进,根据计算函数anchor生成自适应锚定框,确定最佳锚定框尺寸,构建改进型YOLO v5网络模型。试验结果表明,改进YOLO v5网络模型对夜间环境下番茄绿色果实识别精度、红色果实识别精度、综合平均识别精度分别为96.2%、97.6%和96.8%,对比CNN卷积网络模型及YOLO v5模型,提高了被遮挡特征物与暗光下特征物的识别精度,改善了模型鲁棒性。将改进YOLO v5网络模型通过编译将训练结果写入安卓系统制作快速检测应用软件,验证了模型对夜间环境下番茄果实识别的可靠性与准确性,可为番茄实时检测系统的相关研究提供参考。     

基于实例分割的番茄串视觉定位与采摘姿态估算方法

准确识别定位采摘点,根据果梗方向,确定合适的采摘姿态,是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂,果实颜色、形状各异,果梗姿态多样,叶子藤枝干扰等因素,降低了采摘点识别准确率和采摘成功率。针对这个问题,考虑番茄串生长特性,提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制,保证番茄串和果梗感兴趣区域(Region of interest, ROI)、掩膜质量和可靠性,实现果梗粗分割;通过果梗掩膜信息和ROI位置关系匹配可采摘果梗,基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割;再通过果梗深度信息填补法与深度信息融合,精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态,并根据果梗姿态确定适合采摘的末端执行器姿态,引导机械臂完成采摘。研究和大量现场试验结果表明,提出的方法在复杂采摘环境中具有较高的定位精度和稳定性,对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1 280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素...     

基于YOLOv3算法与3D视觉的农业采摘机器人目标识别与定位研究

为解决目前农业采摘机器人目标难以识别与定位的问题,在原有农业采摘机器人的基础上,提出一种改进YOLOv3算法和3D视觉技术相结合的方法,实现目标的准确识别和精准定位,并利用标定完成目标坐标系和机器人坐标系的转换。通过试验分析改进YOLOv3算法的性能,并与之前的YOLOv3算法、Fast RCNN算法和Faster RCNN算法进行综合比较,研究表明所采用的改进YOLOv3算法和3D视觉具有较高的识别准确度和定位精度,识别准确率分别提高55%、9%、1.4%,最大定位误差分别降低0.69、0.44、0.28 mm,可以较好地完成后续采摘工作,对于农业机器人的发展具有重要的参考价值。     

基于YOLO v5-TL的褐菇采摘视觉识别-测量-定位技术

为实现褐菇高效、精准、快速的自动化采摘,针对工厂化褐菇的种植特点,提出一种基于YOLO v5迁移学习(YOLO v5-TL)结合褐菇三维边缘信息直径动态估测法的褐菇原位识别-测量-定位一体化方法。首先,基于YOLO v5-TL算法实现复杂菌丝背景下的褐菇快速识别;再针对锚框区域褐菇图像进行图像增强、去噪、自适应二值化、形态学处理、轮廓拟合进行褐菇边缘定位,并提取边缘点和褐菇中心点的像素坐标;最后基于褐菇三维边缘信息的直径动态估测法实现褐菇尺寸的精确测量和中心点定位。试验结果表明单帧图像平均处理时间为50ms,光照强度低、中、高情况下采摘对象识别平均成功率为91.67%,其中高光强时识别率达100%,菇盖的尺寸测量平均精度为97.28%。研究表明,本文提出的YOLO v5-TL结合褐菇三维边缘信息直径动态估测法可实现工厂化种植环境下褐菇识别、测量、定位一体化,满足机器人褐菇自动化采摘需求。     

基于改进YOLO v5的复杂环境下花椒簇识别与定位方法

花椒树产果量大,枝干纵横交错,树叶茂密,给花椒的自动化采摘带来了困难。因此,本文设计一种基于改进YOLO v5的复杂环境下花椒簇的快速识别与定位方法。通过在主干提取网络CSPDarknet的CSPLayer层和Neck的上采样之后增加高效通道注意力ECA(Efficient channel attention)来简化CSPLayer层的计算量,提升了特征提取能力。同时在下采样层增加协同注意力机制CA(Coordinate attention),减少下采样过程中信息的损失,强化特征空间信息,配合热力图(Grad-CAM)和点云深度图,来完成花椒簇的空间定位。测试结果表明,与原YOLO v5相比较,改进的网络将残差计算减少至1次,保证了模型轻量化,提升了效率。同帧数区间下,改进后的网络精度为96.27%,对比3个同类特征提取网络YOLO v5、YOLO v5-tiny、Faster R-CNN,改进后网络精确度P分别提升5.37、3.35、15.37个百分点,连株花椒簇的分离识别能力也有较大提升。实验结果表明,自然环境下系统平均识别率为81.60%、漏检率为18.39%,能够满足花椒簇识别...     

采摘机器人果实识别与定位研究——基于双目视觉和机器学习

分析了双目视觉系统的工作原理及视觉标定方法,利用YOLO V2卷积神经网络算法实现对目标果实的识别,并对目标果实的空间定位进行了深入研究,设计了一套基于双目视觉和机器学习的采摘机器人果实识别与定位系统。在多次实际定位实验中,橘子的深度定位误差最大值为1.06mm,证实了系统具有一定的准确性和稳定性。     

基于改进型YOLO的复杂环境下番茄果实快速识别方法

为实现温室环境下农业采摘机器人对番茄果实的快速、精确识别,提出了一种改进型多尺度YOLO算法(IMS-YOLO)。对YOLO网络模型进行筛选和改进,设计了一种含有残差模块的darknet-20主干网络,同时融合多尺度检测模块,构建了一种复杂环境下番茄果实快速识别网络模型。该网络模型层数较少,能够提取更多特征信息,且采用多尺度检测结构,同时返回番茄果实的类别和预测框,以此提升番茄果实检测速度和精度。采用自制的番茄数据集对IMS-YOLO模型进行测试,并分别对改进前后网络的检测性能以及主干网络层数对特征提取能力的影响进行了对比试验。试验结果表明,IMS-YOLO模型对番茄图像的检测精度为97.13%,准确率为96.36%,召回率为96.03%,交并比为83.32%,检测时间为7.719 ms;对比YOLO v2和YOLO v3等网络模型,IMS-YOLO模型可以同时满足番茄果实检测的精度和速度要求。最后,通过番茄温室大棚采摘试验验证了本文模型的可行性和准确性。     

基于改进YOLO v4的群体棉种双面破损检测方法

针对研究人员难以利用计算机视觉对棉种这类尺寸较小的物体进行双面检测,导致检测效果不佳的问题,设计了一款新型棉种检测分选装置,利用亚克力板在强光和白色背景下透明的特点,将棉种通过上料装置滑入透明亚克力板的凹槽中,随着转盘的转动,同一批棉种的正反两面图像分别由2个不同位置的CCD相机采集得到.利用改进YOLO v4的目标检...     

基于改进MobileFaceNet的羊脸识别方法

针对羊只个体差异较小,相似度高难以辨别,远距离识别准确率不高等问题,本文基于MobileFaceNet网络提出了一种融合空间信息的高效通道注意力机制的羊脸识别模型,对羊只进行非接触式识别。该研究基于YOLO v4目标检测方法生成羊脸检测器,以构建羊脸识别数据库;在MobileFaceNet的深度卷积层和残差层中引入融合空间信息的高效通道注意力(ECCSA),以增加主干特征的提取范围,提高识别率,并采用余弦退火进行动态学习率调优,最终构建ECCSA-MFC模型,实现羊只个体识别。试验结果表明,在羊脸检测上,基于YOLO v4的羊脸检测模型准确率可达97.91%,可以作为脸部检测器;在羊脸识别上,ECCSA-MFC模型在开集验证中识别率可达88.06%,在闭集验证中识别率可达96.73%。该研究提出的ECCSA-MFC模型在拥有较高识别率的同时更加轻量化,模型所占内存仅为4.8 MB,可为羊场智慧化养殖提供解决方案。     

基于改进YOLO v3网络的夜间环境柑橘识别方法

为研究夜间环境下采摘机器人的视觉检测技术,实现采摘机器人的夜间作业,提出了一种多尺度卷积神经网络Des-YOLO v3算法,可实现夜间复杂环境下成熟柑橘的识别与检测。借鉴残差网络和密集连接网络,设计了Des-YOLO v3网络结构,实现了网络多层特征的复用和融合,加强了小目标和重叠遮挡果实识别的鲁棒性,显著提高了果实检测精度。柑橘识别试验结果表明, Des-YOLO v3网络的精确率达97.67%、召回率为97.46%、F1值为0.976,分别比YOLO v3网络高6.26个百分点、6.36个百分点和0.063。同时,经过训练的模型在测试集下的平均精度(mAP)为90.75%、检测速度达53f/s,高于YOLO v3_DarkNet53网络的平均精度88.48%,mAP比YOLO v3_DarkNet53网络提高了2.27个百分点,检测速度比YOLO v3_DarkNet53网络提高了11f/s。研究结果表明,本文提出的Des-YOLO v3网络对野外夜间复杂环境下成熟柑橘的识别具有更强的鲁棒性和更高的检测精度,为柑橘采摘机器人的视觉识别提供了技术支持。     

基于改进YOLO v4的自然环境苹果轻量级检测方法

针对苹果采摘机器人识别算法包含复杂的网络结构和庞大的参数体量,严重限制检测模型的响应速度问题,本文基于嵌入式平台,以YOLO v4作为基础框架提出一种轻量化苹果实时检测方法(YOLO v4-CA)。该方法使用MobileNet v3作为特征提取网络,并在特征融合网络中引入深度可分离卷积,降低网络计算复杂度;同时,为弥补模型简化带来的精度损失,在网络关键位置引入坐标注意力机制,强化目标关注以提高密集目标检测以及抗背景干扰能力。在此基础上,针对苹果数据集样本量小的问题,提出一种跨域迁移与域内迁移相结合的学习策略,提高模型泛化能力。试验结果表明,改进后模型的平均检测精度为92.23%,在嵌入式平台上的检测速度为15.11f/s,约为改进前模型的3倍。相较于SSD300与Faster R-CNN,平均检测精度分别提高0.91、2.02个百分点,在嵌入式平台上的检测速度分别约为SSD300和Faster R-CNN的1.75倍和12倍;相较于两种轻量级目标检测算法DY3TNet与YOLO v5s,平均检测精度分别提高7.33、7.73个百分点。因此,改进后的模型能够高效实时地对复杂果园环境中的苹果进行检测,适宜在嵌入式系统上部署,可以为苹果采摘机器人的识别系统提供解决思路。     

基于机器视觉的番茄采摘器红外图谱识别研究

为了实现番茄分类自动化采摘,基于机器视觉和红外图谱技术设计了识别系统。基于可见光分析,分离番茄图像,对RGB和HSI通道强度进行分析,发现色调H可以有效区分除半熟和成熟阶段的番茄成熟度;引入红外图谱分析,采集810nm番茄图谱,发现灰度在半熟和成熟阶段区别明显。因此,建立半熟和成熟阶段区分模型,并以G、R、H、NIR强度以及4个因素标准方差为系统输入,基于色调H处理番茄图像,采用聚类算法计算番茄中心和半径。对成熟度判定与番茄半径精度进行测试,结果表明:成熟度分类准确率在94.8%以上,半径相对误差小于6%。     

基于改进YOLO v7的轻量化樱桃番茄成熟度检测方法

为在自然环境下自动准确地检测樱桃番茄果实的成熟度,实现樱桃番茄果实自动化采摘,根据成熟期樱桃番茄果实表型特征的变化以及国家标准GH/T 1193—2021制定了5级樱桃番茄果实成熟度级别(绿熟期、转色期、初熟期、中熟期和完熟期),并针对樱桃番茄相邻成熟度特征差异不明显以及果实之间相互遮挡问题,提出一种改进的轻量化YOLO v7模型的樱桃番茄果实成熟度检测方法。该方法将MobileNetV3引入YOLO v7模型中作为骨干特征提取网络,以减少网络的参数量,同时在特征融合网络中加入全局注意力机制(Global attention mechanism, GAM)模块以提高网络的特征表达能力。试验结果表明,改进的YOLO v7模型在测试集下的精确率、召回率和平均精度均值分别为98.6%、98.1%和98.2%,单幅图像平均检测时间为82 ms,模型内存占用量为66.5 MB。对比Faster R-CNN、YOLO v3、YOLO v5s和YOLO v7模型,平均精度均值分别提升18.7、0.2、0.3、0.1个百分点,模型内存占用量也最少。研究表明改进的YOLO v7模型能够为樱桃番茄果实的自...