基于凸壳的重叠苹果目标分割与重建算法

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

基于改进BlendMask模型的苹果识别与定位方法

针对实际自然环境中果实被遮挡、环境光线变化等干扰因素以及传统视觉方法难以准确分割出农作物轮廓等问题,该研究以苹果为试验对象,提出一种基于改进BlendMask模型的实例分割与定位方法。该研究通过引入高分辨率网络HRNet（High-Resolution Net）,缓解了特征图在深层网络中分辨率下降的问题,同时,在融合掩码层中引入卷积注意力机制CBAM（convolutional block attention module）,提高了实例掩码的质量,进而提升实例分割质量。该研究设计了一个高效抽取实例表面点云的算法,将实例掩码与深度图匹配以获取苹果目标实例的三维表面点云,并通过均匀下采样与统计滤波算法去除点云中的切向与离群噪声,再运用球体方程线性化形式的最小二乘法估计苹果在三维空间中的中心坐标,实现了苹果的中心定位。试验结果表明改进BlendMask的平均分割精度为96.65%,检测速度34.51帧/s,相较于原始BlendMask模型,准确率、召回率与平均精度分别提升5.48、1.25与6.59个百分点;相较于分割模型SparseInst、FastInst与PatchDCT,该模型的平均精度小幅落后,检测速度分别提升6.11、3.84与20.08帧/s,该研究为苹果采摘机器人的视觉系统提供技术参考。     

基于K-means聚类的柑橘红蜘蛛图像目标识别

为快速检测红蜘蛛虫害,该研究采用基于Lab颜色模型中a(红/绿)、b(黄/蓝)层信息的K-means聚类法识别彩色图像中的红蜘蛛。试验选取8幅具有不同清晰度的柑橘红蜘蛛图像,采用基于Sobel边缘检测算子的评价函数计算图像清晰度评价值以评价图像清晰度,对比采用灰度法和包含2、3、4或5个聚类中心的K-means聚类法的目标识别效果和识别效率。结果表明,灰度法对8幅图像中红蜘蛛目标识别率平均值为29%,误判率平均值为201%,无法应用于复杂背景图像中的红蜘蛛目标识别。包含5个聚类中心的K-means聚类法对清晰度较高的图像识别率为100%,误判率为0,对清晰度较低的图像识别率为88%,误判率为0;当图像尺寸较小时,包含4个聚类中心的K-means聚类法识别效率与灰度法相当;当图像尺寸较大时,重复计算聚类中心导致识别耗时较长;基于Lab颜色空间的识别算法无法有效识别其他颜色的红蜘蛛,继续研究的方向为引入红蜘蛛形态信息以提高识别准确率和优化聚类中心的选取以降低识别耗时。     

采用改进YOLOv4算法的大豆单株豆荚数检测方法

大豆单株豆荚数检测是考种的重要环节,传统方法通过人工目测的方式获取豆荚类型和数量,该方法费时费力且误差较大。该研究利用大豆单株表型测量仪采集到的表型数据,通过融合K-means聚类算法与改进的注意力机制模块,对YOLOv4目标检测算法进行了改进,使用迁移学习预训练,获取最优模型对测试集进行预测。试验结果表明,该研究模型的平均准确率为80.55%,数据扩充后准确率达到了84.37%,比育种专家目测准确率提高了0.37个百分点,若不考虑5粒荚,该研究模型的平均准确率为95.92%,比YOLOv4模型提高了10.57个百分点,具有更强的检测性能。在简单背景的摆盘豆荚检测中,该研究模型预测的平均准确率达到了99.1%,比YOLOv4模型提高了1.81个百分点,研究结果表明该模型在不同场景下的大豆豆荚检测中具有较强的泛化能力,可为大豆人工智能育种提供参考。     

基于平滑轮廓对称轴法的苹果目标采摘点定位方法

果实采摘点的精确定位是采摘机器人必须解决的关键问题。鉴于苹果目标具有良好对称性的特点,利用转动惯量所具有的平移、旋转不变性及其在对称轴方向取得极值的特性,提出了一种基于轮廓对称轴法的苹果目标采摘点定位方法。为了解决分割后苹果目标边缘不够平滑而导致定位精度偏低的问题,提出了一种苹果目标轮廓平滑方法。为了验证算法的有效性,对随机选取的20幅无遮挡的单果苹果图像分别利用轮廓平滑和未进行轮廓平滑的算法进行试验,试验结果表明,未进行轮廓平滑算法的平均定位误差为20.678°,而轮廓平滑后算法平均定位误差为4.542°,比未进行轮廓平滑算法平均定位误差降低了78.035%,未进行轮廓平滑算法的平均运行时间为10.2ms,而轮廓平滑后算法的平均运行时间为7.5ms,比未进行轮廓平滑算法平均运行时间降低了25.839%,表明平滑轮廓算法可以提高定位精度和运算效率。利用平滑轮廓对称轴算法可以较好地找到苹果目标的对称轴并实现采摘点定位,表明将该方法应用于苹果目标的对称轴提取及采摘点定位是可行的。     

基于改进YOLOv7的疏果期苹果目标检测方法

疏果期苹果目标检测是实现疏果机械化、自动化需要解决的关键问题。为实现疏果期苹果目标准确检测,该研究以YOLOv7为基础网络,融合窗口多头自注意力机制（Swin Transformer Block）,设计了一种适用于近景色小目标检测的深度学习网络。首先在YOLOv7模型的小目标检测层中添加Swin Transformer Block,保留更多小尺度目标特征信息,将预测框与真实框方向之间的差异考虑到模型训练中,提高模型检测精度,将YOLOv7中的损失函数CIoU替换为SIoU。最后利用Grad-CAM方法产生目标检测热力图,进行有效特征可视化,理解模型关注区域。经测试,该文模型的检测均值平均精度为95.2%,检测准确率为92.7%,召回率为91.0%,模型所占内存为81 MB,与原始模型相比,均值平均精度、准确率、召回率分别提高了2.3、0.9、1.3个百分点。该文模型对疏果期苹果具有更好的检测效果和鲁棒性,可为苹果幼果生长监测、机械疏果等研究提供技术支持。     

基于R-FCN深度卷积神经网络的机器人疏果前苹果目标的识别

疏果前期苹果背景复杂、光照条件变化、重叠及被遮挡,特别是果实与背景叶片颜色极为相近等因素,给其目标识别带来很大困难。为识别疏果前期的苹果目标,提出基于区域的全卷积网络(region-based fully convolutional network,R-FCN)的苹果目标识别方法。该方法在研究基于ResNet-50和ResNet-101的R-FCN结构及识别结果的基础上,改进设计了基于ResNet-44的R-FCN,以提高识别精度并简化网络。该网络主要由ResNet-44全卷积网络、区域生成网络(RegionProposal Network, RPN)及感兴趣区域(Region of Interest, RoI)子网构成。ResNet-44全卷积网络为基础网络,用以提取图像的特征,RPN根据提取的特征生成Ro I,然后Ro I子网根据ResNet-44提取的特征及RPN输出的Ro I进行苹果目标的识别与定位。对采集的图像扩容后,随机选取23 591幅图像作为训练集,4 739幅图像作为验证集,对网络进行训练及参数优化。该文提出的改进模型在332幅图像组成的测试集上的试验结果表明,该方法可有效地识别出重叠、被枝叶遮挡、模糊及表面有阴影的苹果目标,识别的召回率为85.7%,识别的准确率为95.1%,误识率为4.9%,平均速度为0.187 s/幅。通过与其他3种方法进行对比试验,该文方法比FasterR-CNN、基于ResNet-50和ResNet-101的R-FCN的F1值分别提高16.4、0.7和0.7个百分点,识别速度比基于ResNet-50和ResNet-101的R-FCN分别提高了0.010和0.041 s。该方法可实现传统方法难以实现的疏果前苹果目标的识别,也可广泛应用于其他与背景颜色相近的小目标识别中。     

基于改进RetinaNet的果园复杂环境下苹果检测

为了快速准确地检测重叠、遮挡等果园复杂环境下的苹果果实目标,该研究提出一种基于改进RetinaNet的苹果检测网络。首先,该网络在传统RetinaNet的骨干网络ResNet50中嵌入Res2Net模块,提高网络对苹果基础特征的提取能力;其次,采用加权双向特征金字塔网络（Bi-directional Feature Pyramid Network,BiFPN）对不同尺度的特征进行加权融合,提升对小目标和遮挡目标的召回率;最后,采用基于焦损失（Focal Loss）和高效交并比损失（Efficient Intersection over Union Loss,EIoU Loss）的联合损失函数对网络进行优化,提高网络的检测准确率。试验结果表明,改进的网络在测试集上对叶片遮挡、枝干/电线遮挡、果实遮挡和无遮挡的苹果检测精度分别为94.02%、86.74%、89.42%和94.84%,平均精度均值（meanAveragePrecision,mAP）达到91.26%,较传统RetinaNet提升了5.02个百分点,检测一张苹果图像耗时42.72 ms。与Faster-RCNN和YOLOv4等主...     

基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法

采摘点的识别与定位是智能采摘的关键技术,也是实现高效、适时、无损采摘的重要保证。针对复杂背景下番茄串采摘点识别定位问题,提出基于RGB-D信息融合和目标检测的番茄串采摘点识别定位方法。通过YOLOv4目标检测算法和番茄串与对应果梗的连通关系,快速识别番茄串和可采摘果梗的感兴趣区域（Region of Interest,ROI）;融合RGB-D图像中的深度信息和颜色特征识别采摘点,通过深度分割算法、形态学操作、K-means聚类算法和细化算法提取果梗图像,得到采摘点的图像坐标;匹配果梗深度图和彩色图信息,得到采摘点在相机坐标系下的精确坐标;引导机器人完成采摘任务。研究和大量现场试验结果表明,该方法可在复杂近色背景下,实现番茄串采摘点识别定位,单帧图像平均识别时间为54 ms,采摘点识别成功率为93.83%,采摘点深度误差±3 mm,满足自动采摘实时性要求。     

基于RGB-D相机的脐橙实时识别定位与分级方法

为实现脐橙采摘机器人对脐橙果实进行实时识别、定位和分级采摘的需求,该研究提出了一种基于RGB-D相机数据的脐橙果实实时识别、定位及分级的OrangePointSeg算法。首先利用微软最新消费级深度相机（Azure Kinect DK）采集脐橙果实的RGB-D数据,建立脐橙果实实例分割数据集及增强数据集。然后通过改进YOLACT算法对脐橙果实进行实时分割并生成实例掩膜,与配准后的深度图裁剪得到果实深度点云,再利用最小二乘法进行脐橙果实外形拟合,得到其相机坐标系下质心坐标及半径。试验结果表明,在果实识别阶段,改进YOLACT算法在该数据集上的检测速度为44.63帧/s,平均精度为31.15%。在果实定位阶段,1 400～2 000点云数量时的拟合时间为1.99 ms,定位误差为0.49 cm,拟合出的半径均方根误差为0.43 cm,体积均方根误差为52.6 mL,在大于800点云数量和拍摄距离1 m以内时,定位误差均在0.46 cm以内。最后通过引入并行化计算,OrangePointSeg的总体处理速度为29.4帧/s,能够较好地实现精度与速度的平衡,利于实际应用和工程部署。该研究成果可推广至其他类似形态学特征的果实识别中,为果园的智能化管理提供行之有效的技术支撑。     

基于分水岭和凸包理论的自然场景下未成熟苹果直径测量方法

针对自然场景下生长期内树上未成熟果实的自动探测与大小计算问题,提出了一种基于改进分水岭和凸包理论的自然场景下未成熟苹果识别与直径计算方法。该方法首先对灰度图像进行形态学重构后进行边缘检测,再利用合并局部极小值点分水岭分割方法从粘连区域中提取目标果实,并结合基于凸包理论的真轮廓提取和圆拟合方法,实现目标果实圆拟合直径的自动测量。计算结果与人工测量结果进行对比试验,结果表明:在不考虑扁平型目标果的情况下,该方法的直径计算均方根误差最小值为1.91 mm,均值为2.27 mm,误差范围在品质评定等级差(5 mm)以内,具有较好的推广应用价值。研究结果为生长期内果实的大小监测提供参考。     

Segmentation and reconstruction of overlappedapple images based on convex hull

重叠苹果目标的分割与定位是影响苹果采摘机器人采摘效率的关键因素之一。为了实现重叠苹果目标的分割与重建,在利用K-means聚类分割算法的基础上,该文提出一种基于凸壳的重叠苹果目标分割方法。通过计算目标凸包与目标相减后的凹区域,将重叠苹果轮廓上的凹点检测转换为凹区域上的凸点检测问题,降低了凹点检测的复杂度。利用相关分割准则实现了凹点匹配并进行目标分割,对分割得到的非完整目标利用Spline插值技术进行目标重建。为了验证算法的有效性,分别利用仿真目标与自然场景下的重叠苹果目标进行了测试,利用该方法得到的苹果目标平均定位误差为14.15%,平均目标重合度为85.08%,表明基于凸壳技术的重叠苹果目标分割方法具有较好的分割性能,将该方法应用于重叠目标分割与重建是有效可行的。     

基于CSS-Cascade Mask R-CNN的有遮挡多片烟叶部位识别

烟叶的部位信息是进行烟叶分级的重要参考信息,准确识别烟叶部位对实现烟叶智能分级具有重要意义。在实际的烟叶智能分级应用中,为了提高分级效率,需要对多片烟叶等级进行同步识别。受现行上料方式的限制,同步识别的多片烟叶间往往存在局部遮挡的问题,给烟叶的目标检测和部位识别带来挑战。该研究提出一种基于改进Cascade Mask R-CNN,融合通道、非局部和空间注意力机制（channel-nonlocal-space attation）,并引入柔性极大值抑制检测框交并操作（soft non-max-suppression）与斯库拉交并比损失函数（SIoU）的目标检测与识别模型（CSS-Cascade Mask R-CNN）。该模型对Cascade Mask R-CNN进行了三方面的改进：一是在其骨干网络Resent101上同时引入通道、非局部、空间3种注意力机制,使网络更加关注未被遮挡且部位特征明显区域的显著度;二是将Cascade Mask R-CNN中的损失函数SmoothL1Loss替换为SIoU损失函数,将预测框与真实框之间的方向差异引入到模型训练中提高模型检测精度;三是在筛选候选框时将常规的非极大抑制（non-max-suppression）替换为柔性非极大抑制,以避免删除候选框造成信息丢失。试验结果表明,利用提出的模型对有遮挡多片烟叶进行检测和部位识别,检测框平均准确率均值（bbox_mAP50）达到了80.2%,与改进前的Cascade Mask R-CNN模型相比提高了7.5个百分点。提出的模型与多个主流的目标检测模型（YOLO VX、YOLO V3、YOLO V5、Mask R-CNN、Cascade R-CNN）相比,也分别高出7.1、10.2、5.8、9.2、8.4个百分点,尤其是对较难区分的下部烟叶优势明显,因此研究结果可以为有遮挡多片烟叶部位的检测识别提供参考。     

基于模糊集理论的苹果表面阴影去除方法

为了提高阴影影响下的苹果目标提取精度,该文提出了一种基于模糊集理论的苹果表面阴影去除方法。该方法将含阴影图像作为一个模糊矩阵,利用所设计的隶属函数进行图像去模糊化处理,达到图像增强的目的,进而削弱苹果表面阴影对目标分割的影响。为了验证算法的有效性,采用基于灰度阈值和基于颜色聚类2种算法对去除阴影前后的目标图像进行分割,并选用分割误差、假阳性率、假阴性率和重叠系数4项指标进行了分析比较,试验结果表明,去除阴影之后,2种分割算法所提取的苹果目标区域较去除阴影之前有了较大的提高,2种分割算法的平均分割误差分别为3.08%和3.46%,比去除阴影之前降低了20.53%和25.92%,假阳性率、假阴性率分别降低了29.79%、29.98%和21.25%、29.83%,重叠系数分别提高30.96%和24.55%。与灰度变换法去除阴影后分割的效果比较表明,该方法的平均分割误差降低了29.23%,假阳性率、假阴性率分别降低了30.97%和20.40%,重叠系数提高了26.60%;与直方图均衡化法的比较表明,分割误差降低了25.59%,假阳性率、假阴性率分别降低了22.74%和27.56%,而重叠系数提高了27.43%。这一系列数据表明,基于模糊集理论的阴影去除方法具有较好的阴影去除效果。经过去除阴影后,可以获得更高的目标分割性能,目标提取精度显著提高,表明将模糊集方法应用于苹果目标的阴影去除可以有效地提高苹果目标区域的提取精度。     

基于Adaboost算法的田间猕猴桃识别方法

实现猕猴桃自动化采摘的关键是自然环境下果实的准确识别。为提高田间猕猴桃果实的识别效果,基于Adaboost算法,利用RGB、HSI、La*b*3个颜色空间中的1个或多个通道构建6个不同的弱分类器,用采集的猕猴桃果实和背景共300个样本点进行训练生成1个强分类器。然后选择655个测试样本点进行验证,强分类器分类精度为94.20%,高于任意弱分类器。对80幅图像中215个猕猴桃进行试验,结果表明：Adaboost算法可有效抑制天空、地表等复杂背景的影响,适合于自然场景下的猕猴桃图像识别,识别率高达96.7%。该技术大大提高了猕猴桃采摘机器人的作业效率。     

基于光照无关图理论的苹果表面阴影去除方法

阴影影响下苹果目标的快速准确识别是苹果采摘机器人视觉系统必须解决的关键技术之一。为了实现阴影影响下苹果目标的准确识别,该研究采用光照无关图理论实现了苹果表面阴影的去除。以自然场景下获取的受不同程度阴影影响的苹果目标图像为研究对象,首先利用光照无关图原理获取阴影苹果图像的光照无关图,达到突出苹果目标阴影区域的目的;其次提取原图像的红色分量信息并与关照无关图进行相加处理;最后将相加后的图像进行自适应阈值分割处理,达到去除阴影的目的。为了验证该算法的有效性与准确性,利用20幅受阴影影响的苹果目标图像进行了试验,并与Otsu算法、1.5*R-G色差算法进行了对比,试验结果表明：Otsu算法仅能识别出未受阴影影响的苹果区域;1.5*R-G 色差算法受光照影响较大,对于苹果图像的相对强光照区域和部分阴影区域不能有效识别;基于光照无关图的苹果表面阴影去除方法对阴影影响下的苹果目标图像分割效果较好,可以克服光照过强的问题,并准确识别出阴影影响下的苹果目标。文中算法的平均假阳性率为17.49%,比Otsu算法降低了52.84%,比1.5*R-G算法降低了26.18%;文中算法的平均重叠系数为86.59%,比Otsu算法提高了47.2%,比1.5*R-G算法提高了11.03%;表明利用光照无关图可以有效地去除苹果表面的阴影,将其应用于阴影影响下的苹果目标的识别是可行的。     

基于相移算法的苹果果梗/花萼检测方法

由于苹果表面缺陷与果梗/花萼具有相似的灰度特征,通过传统机器视觉方法难以对两者进行有效区分。为避免苹果果梗/花萼对其表面缺陷识别造成干扰,该研究提出了一种基于相移算法的苹果果梗/花萼检测方法。通过搭建条纹投影系统,投影仪投射三步相移条纹至苹果样本,摄像机同步采集经苹果表面调制的条纹图像;通过分析发现果梗/花萼区域的条纹图像凹凸性与正常区域存在明显差异,利用三步相移算法恢复条纹图像的截断相位,结合相位偏移、阈值分割和二维凸包算法便可检测出苹果果梗/花萼。试验结果表明：该方法能够有效地区分果梗/花萼和表面缺陷,识别出不同位置和角度的果梗/花萼,整体准确率可达到99.12%;同时能够满足在线检测需求,平均处理时间约为0.479 s。该研究可为苹果外观品质检测提供技术支持。     

基于凸包算法的鸡蛋尺寸形状在线视觉高通量检测方法

鸡蛋的尺寸形状是鸡蛋包装和销售以及种蛋挑选中需要考察的重要指标。目前鸡蛋的商品化处理需要高通量在线检测,然而检测速度和效率在高通量检测中要求较高。为了能够实现鸡蛋尺寸形状的高通量在线检测分级,该文在30000枚/h的传送装置上动态采集群体鸡蛋图像,采取有效的图像处理方法消除高速传输对鸡蛋图像的影响,结合应用凸包算法,快速准确提取出群体鸡蛋图像上的特征参数(长短轴表征尺寸大小、蛋形指数表征形状扁圆程度),最后按照尺寸大小与扁圆程度进行分级,其正确率分别为90.5%和89.3%,表明该方法对鸡蛋尺寸形状的高通量在线检测分级可行。     

基于彩色和深度信息结合K-means聚类算法快速拼接植株图像

图像拼接可以建立宽视角的高分辨率图像,对实现农业智能化有重要作用。基于Kinect传感器的图像拼接方法利用彩色和深度双源信息,能够有效避免图像缺失、亮暗差异、重影等拼接错误,但是存在拼接时间较长和目标植株不明显等情况。针对这一问题,该文提出一种基于Kinect传感器彩色和深度信息的目标植株图像快速拼接方法。首先用K-means聚类算法和植株深度信息提取彩色图像中有效植株区域,再采用SURF(speeded up robust features)算法进行特征点提取,利用相似性度量进行特征点匹配并根据植株深度数据去除误匹配,由RANSAC(randomsampleconsensus)算法寻找投影变换矩阵,最后采用基于缝合线算法的多分辨率图像融合方法进行拼接。室内外试验结果表明:该文图像拼接方法更能突显出目标植株且极大缩短了拼接时间,该方法图像拼接时间只需3.52 s(室内)和7.11 s(室外),较基于深度和彩色双信息特征源的Kinect植物图像拼接方法时间缩短了8.62 s(室内)和38.56 s(室外),且平均匹配准确率达96.8%。该文拼接后图像信息熵、清晰度、互信息、空间频率平均分别为6.34、50.36、11.70、11.28,图像质量较传统方法均有提高。该研究可为监测农业植株生长状态、精确喷洒药物提供参考。