基于改进凸壳理论的遮挡油茶果定位检测算法

针对传统凸壳理论进行遮挡果实定位检测时由于过多剔除有效轮廓,造成目标果实定位误差较大,甚至无法识别目标果实的问题,提出了一种基于改进凸壳理论的遮挡油茶果定位检测算法。首先利用基于颜色特征的阈值分割法对油茶果遮挡图像进行目标分割,并通过预处理操作剔除图像中的背景噪声,获得目标果实的二值图像;然后采用凹点搜寻算法检测重叠目标的凹点,并根据凹点对重叠目标进行分离,获得相互独立的目标图像;再构建各独立目标的凸包,并提取凸壳,利用轮廓提取算法确定各独立目标凸壳上的有效轮廓;最后根据提取的有效轮廓求解目标果实形心坐标和半径,完成遮挡果实的定位检测。试验结果表明,改进算法平均耗时为0.491 s,比传统凸壳方法增加了24.07%,但其仅占油茶果采摘机器人单个果实采摘周期的2.46%,对于图像中的遮挡油茶果目标,改进方法的识别率达到93.21%,相比传统凸壳方法提升了7.47个百分点,改进算法的平均定位检测误差和平均重合度分别为5.53%和93.43%,比传统凸壳算法平均定位误差降低了6.22个百分点,平均重合度提高了6.79个百分点,表明文中所提出的方法能够较好地识别和定位自然环境中的遮挡油茶果。     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统.在图像空间利用Hough变换检测出果实目标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划.实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效等因素的影响,目标定位误差小于8 mm,显著地提高了抓取的精度和可靠性.     

基于立体视觉的水果采摘机器人系统设计

基于立体视觉建立了水果采摘机器人系统。在图像空间利用Hough变换检测出果实标,并利用随机采样目标上均匀分布多个点的三维坐标信息重建果实球模型,进而获得目标质心的空间位置坐标;通过最小二乘法研究了采摘机器人手眼标定;分析了采摘机器人的轨迹规划。实验结果表明,设计的自动采摘系统可以有效地消除遮挡以及立体视觉匹配失效 等因素的影响,目标定位误差小于8mm,显著地提高了抓取的精度和可靠性。     

番茄采摘机器人系统设计与试验

为了提高鲜食番茄采收的自动化水平,减轻人工采摘劳动强度,设计了一种番茄智能采摘机器人。该采摘机器人包括视觉定位单元、采摘手爪、控制系统及承载平台,并基于各部件工作原理制定了采摘机器人的工作流程。基于HIS色彩模型进行图像分割,提高了果实识别的准确度;通过气囊夹持方式确保果实采摘过程中对果实的柔性夹持。试验结果表明:视觉定位、采摘手爪等模块运转良好,采摘单果番茄耗时约24s,成功率可达8 3.9%以上。     

黄瓜采摘机器人远近景组合闭环定位方法

针对黄瓜采摘机器人远景定位精度不高,以致切伤果实和茎蔓的问题,设计了一种基于机器视觉具有空间位置反馈功能的末端执行器。对温室环境下黄瓜果实采摘区域图像信息获取方法加以研究,综合HIS色彩空间H、S分量进行阈值分割,结合RGB色彩空间G通道边缘分布特征以及黄瓜形状特征,提取黄瓜采摘区域。基于摄像机线性透视模型,研究了采摘切割点空间定位方法,最终向采摘机械臂控制器反馈位置微调信息。采用远近景组合闭环定位方法,对采摘目标进行闭环定位,有效地解决了采摘机器人一次远景定位误差较大的问题。试验结果表明,排除温室复杂光照情况,机器人末端执行器定位精度达到2mm,满足采摘作业要求。     

基于VUE的智能采摘机器人前端开发框架研究

以智能采摘自动识别定位方式为研究对象,对葡萄自动采摘前端的图像采集和分析处理过程进行分析,利用VUE自底向上逐层构建的方式,设计一种能够对目标进行自动识别定位的智能采摘机器人识别定位算法。采用高清相机对采摘目标图像进行采集,将原始图像进行二值化处理,获取图像灰度等级,并采用葡萄图像分割的方式获取葡萄采摘点,最后通过最小角度拟合的方式确定葡萄果梗采摘点。试验结果表明:智能采摘机器人前端识别定位方法平均运行成功率高于90%,平均运行时间0.65s,能够快速准确地进行采摘对象识别定位,可为智能采摘机器人技术的推广提供理论基础。     

基于Hough变换的成熟草莓识别技术

基于图像区域特征来识别被遮掩、重叠或紧靠的草莓果实非常困难，提出一种基于Hough变换的成熟草莓识别方法。先对Lab彩色模型下α通道图像进行分割，利用提取的草莓轮廓信息，根据草莓轮廓的数学模型进行Hough变换，实现成熟草莓的识别。为减少运算量，在Hough变换之前，先进行区域标记，获取有效图像信息区域。草莓轮廓信息提取和Hough变换在各个有效区域中进行，由于参数空间大大压缩，运算量也得到减少。试验表明：当成熟草莓轮廓信息丢失小于1／2时，无论单个分离的成熟草莓，还是被遮掩、重叠或紧靠的成熟草莓，皆有很好的识别效果，识别平均相对偏差为4．8％，能满足草莓采摘机器人对目标识别精度的要求。     

高架栽培草莓采摘机器人系统设计

为了提高草莓采收自动化水平,针对高架栽培草莓设计了自动采摘机器人系统,其采用无线遥控和语音提示相结合的人机交互方式,可以对机器人本体两侧果实同时进行采摘。该系统采用机器视觉和声纳测距相结合的方式实现了自主导航,通过双目视觉相机对果实进行识别和空间定位,由关节型机械臂操纵末端执行器进行定位。系统末端执行器采用果实吸附、果柄夹持和电热切割的方式对果实进行柔性操作。针对系统控制方案,制定了采摘机器人系统作业流程,并对机械臂末端运动路径节点和时间节拍进行规划,防止与周围环境发生运动干涉,保证机器人作业效率。试验结果表明,草莓采摘机器人系统末端定位平均误差小于2.2mm,单次采摘作业平均耗时10.99s。     

基于深度信息的草莓三维重建技术

以盆栽和高架两种栽培模式生长环境下的草莓植株为研究对象,提出了一种基于深度信息分割聚类的草莓冠层结构形态三维重建算法。首先,以深度信息的不连续性特征作为草莓植株逐层分割的重要依据,以深度二维图像作为全局参考指标,提出深度信息步进方法,自动提取冠层点云;其次,改进密度聚类算法,有效滤除随机、跳边和背景噪声;最后,改进基于Harris算子的多源图像融合算法,实现彩色图像与强度图像的配准及点云颜色的映射,三维重建出具有颜色信息的草莓冠层结构形态。为验证该算法的有效性,将三维重建后冠层的平均单叶长度及A-B线距离作为评价指标,试验结果表明,模型的平均单叶长度计算正确率为93%左右,A-B线距离计算正确率为97%左右,研究结果可为草莓采摘机器人果实识别过程中枝叶空间结构关系的构建提供技术支持。     

基于深度学习的多品种鲜食葡萄采摘点定位

鲜食葡萄品种多样，具有不同的形状和颜色。针对葡萄采摘机器人采摘不同品种鲜食葡萄时采摘点定位精度降低的问题，提出一种基于深度学习的多品种鲜食葡萄采摘方法。首先利用PSPNet(MobileNetv2)语义分割模型分割葡萄图像，在葡萄上方设置一个兴趣区域，在兴趣区域内使用自适应阈值果梗方向Canny边缘检测提取果梗边缘信息，然后采用霍夫变换检测果梗边缘上的直线段并进行直线拟合。最后将拟合的直线与兴趣区域的水平对称轴的交点作为采摘点。对晴天顺光、晴天逆光、晴天遮阴3种光照条件下的克瑞森、阳光玫瑰、红提和黑金手指4个品种的360幅葡萄图像进行采摘点定位试验。结果显示，采摘点定位准确率为91.94%，定位时间为187.47 ms，在模拟试验中采摘成功率为85.5%。     

基于改进YOLO v4和ICNet的番茄串检测模型

针对深层神经网络模型部署到番茄串采摘机器人,存在运行速度慢,对目标识别率低,定位不准确等问题,本文提出并验证了一种高效的番茄串检测模型。模型由目标检测与语义分割两部分组成。目标检测负责提取番茄串所在的矩形区域,利用语义分割算法在感兴趣区域内获取番茄茎位置。在番茄检测模块,设计了一种基于深度卷积结构的主干网络,在实现模型参数稀疏性的同时提高目标的识别精度,采用K-means++聚类算法获得先验框,并改进了DIoU距离计算公式,进而获得更为紧凑的轻量级检测模型(DC-YOLO v4)。在番茄茎语义分割模块（ICNet）中以MobileNetv2为主干网络,减少参数计算量,提高模型运算速度。将采摘模型部署在番茄串采摘机器人上进行验证。采用自制番茄数据集进行测试,结果表明,DC-YOLO v4对番茄及番茄串的平均检测精度为99.31%,比YOLO v4提高2.04个百分点。语义分割模块的mIoU为81.63%,mPA为91.87%,比传统ICNet的mIoU提高2.19个百分点,mPA提高1.47个百分点。对番茄串的准确采摘率为84.8%,完成一次采摘作业耗时约6s。     

精密草莓采摘机器人优化设计——基于光程调节结构

在机器人草莓采摘过程中,由于草莓果实比较脆弱,加上其体积较小,因此存在较高的破碎率和漏采率,这都与草莓采摘机器人的定位精度有关。为了提高草莓采摘过程的定位精度,在采集机器人定位系统的引入了一种新的光定位结果,并提出了一种用于真空怀特池光程调节的机构,利用该机构的反馈源信号,实现了对采摘机构的优化设计。为了验证设计的精密草莓采摘机器人的可靠性,设计了机器人的草莓采摘试验,并对其破碎率和漏采率进行了测试。通过测试发现:该装置可以有效地降低草莓采摘的破碎率和漏拾率,且采摘耗时低、效率高,可以满足草莓采摘实际生产的需要。     

番茄非接触式单果质量估测方法

针对目前非离株番茄果实的非接触式单果质量快速估测困难等问题,提出了一种基于局部点云和卷积神经网络的番茄单果质量估测方法。以浙粉702番茄为试验对象,首先通过深度相机采集50个番茄单果的336块原始点云,并增强至1 344块点云用于构建数据集。通过多种点云分割方法比较,选取三维连续卷积神经网络用于番茄单果分割。于分割后的数据提取点云沿x轴轴向尺寸dx、沿y轴轴向尺寸dy、沿z轴轴向尺寸dz和沿z轴投影最小外接圆直径d共4个空间特征信息,并将其馈送到3层回归网络中,用于训练、确定优化器和学习率达到最优状况下的单果质量估测模型。最后,选取268块增强点云对构建的数学模型进行测试,并进行模型准确性和稳定性评估分析。结果表明,与番茄单果实际质量相比,平均偏差3.7～4.8 g,平均相对误差约3.04%,优于传统图像处理方法。该研究可为其他农畜产品的非接触式单果质量估测提供技术参考。      

温室草莓采摘机器人设计与试验

为实现温室草莓采摘机械化和自动化,设计并制作一种应用于日光温室的草莓采摘机器人。该机器人能实现自主路径规划,行走过程中识别成熟草莓并完成采摘。设计以ROS分布式计算系为主控制网络,以激光雷达进行移动机器人的地图构建与定位,双目深度相机实现对成熟草莓的识别和定位,搭载柔性仿生夹爪6自由度机械臂实现目标草莓抓取和放置。设计机器人软件平台,使用改进A*算法实现自主路径规划和导航避障;利用R-FCN目标检测网络和双目视觉技术实现成熟草莓检测及定位。结果表明：该草莓采摘机器人可实现目标检测及定位,检测到的草莓坐标与机器人手爪坐标的误差在4 mm以下,成熟草莓识别率为95%,满足采摘要求。     

基于多源图像融合的自然环境下番茄果实识别

蔬果采摘机器人面对的自然场景复杂多变,为准确识别和分割目标果实,实现高成功率采收,提出基于多源图像融合的识别方法。首先,针对在不同自然场景下单图像通道信息不充分问题,提出融合RGB图像、深度图像和红外图像的多源信息融合方法,实现了机器人能够适应自然环境中不同光线条件的番茄果实。其次,针对传统机器学习训练样本标注低效问题,提出聚类方法对样本进行辅助快速标注,完成模型训练;最终,建立扩展Mask R-CNN深度学习算法模型,进行采摘机器人在线果实识别。实验结果表明,扩展Mask R-CNN算法模型在测试集中的检测准确率为98.3%、交并比为0.916,可以满足番茄果实识别要求;在不同光线条件下,与Otsu阈值分割算法相比,扩展Mask R-CNN算法模型能够区分粘连果实,分割结果清晰完整,具有更强的抗干扰能力。     

荔枝采摘机械手视觉定位系统设计

建立了基于双目立体视觉的荔枝采摘机械手视觉定位系统.通过对成熟荔枝颜色特征的分析,选取YCbCr颜色模型进行处理,利用Otsu算法结合模糊C均值聚类法(FCM)对荔枝果实和果梗进行了分割,实验结果表明:有效识别果实和果梗的正确率为94.2％.通过计算果实质心与果梗的距离最大值确定荔枝采摘点,利用基于色调空间的彩色图像匹配法和极限约束法进行果梗采摘点的立体匹配,实现了采摘点的空间定位.通过定位误差分析,采用直线插值法进行定位误差补偿,定位实验结果表明:定位的深度误差小于10 mm,能满足荔枝机械手视觉精确定位的要求.     

果蔬采摘机器手系统设计与控制技术研究现状和发展趋势

鲜食果蔬收获是难以实现机械化作业的生产环节，高效低损采摘也是农业机器人研发领域中的难题，导致目前市场化的自动化果蔬采摘装备生产应用几乎空白。针对鲜食果蔬采摘需求，为改善人工采摘费时费力、效率低下、自动化程度低的问题，近30年来，国内外学者设计了一系列自动化采摘设备，推动了农业机器人技术的发展。在研发鲜食果蔬采摘设备时，首先要确定采收对象和采收场景，针对作物的生长位置、形状和重量、场景的复杂程度、所需自动化程度，通过复杂度预估、力学特性分析、姿态建模等方式，明确农业机器人的设计需求。其次，作为整个采摘动作的核心执行者，采摘机器人的末端执行器设计尤为重要。本文对采摘机器人末端执行器的结构进行了分类，总结了末端执行器的设计流程与方法，阐述了常见的末端执行器驱动方式、切割方案，并对果实收集机构进行了概括。再次，本文概述了采摘机器人的总体控制方案、识别定位方法、避障方法及自适应控制方案、品质分类方法以及人机交互、多机协作方案。为了总体评价采摘机器人的性能，本文还提出了平均采摘效率、长期采摘效率、采收质量、损伤率和漏采率指标。最后，本文对自动化采摘机械的总体发展趋势进行了展望，指明了采摘机器手系统将向着采摘目标场景通用化、结构形式多样化、全自动化、智能化、集群化方向发展的趋势。     

增强局部上下文监督信息的麦苗计数方法

在实际生产中,麦苗株数对出苗率估算、产量预测以及籽粒品质预估等起着关键作用,及时准确地估算出麦苗株数对于小麦生产至关重要。由于田间生长环境复杂,麦苗成像易受光照、遮挡和重叠等因素的影响,导致现有目标对象计数方法直接用于麦苗计数时性能不高。为减弱上述因素对麦苗计数的影响,进一步提高计数准确率,本文对现有的目标对象计数网络P2PNet (Point to point network)进行改进,提出增强局部上下文监督信息的麦苗计数模型P2P_Seg。首先,对麦苗图像进行预处理,使用点标注方法自建麦苗数据集;其次,引入麦苗局部分割分支改进网络结构,以提取麦苗局部上下文监督信息;然后,设计逐元素点乘机制融合麦苗全局信息和局部上下文监督信息;最后,引入逐像素加权焦点损失(Per-pixel weighted focal loss)构建总损失函数,对模型进行优化。在自建数据集上的实验表明,P2P_Seg的平均绝对误差(Mean absolute error,MAE)和均方根误差(Root mean square error,RMSE)分别为586和768,比P2PNet分别降低0.74和1.78;与其他先进计数模型相比,P2P_Seg具有更好的计数效果。在实际大田环境下进行了应用测试分析、误计数和漏计数情况分析,结果表明P2P_Seg更适合复杂田间环境,为麦苗株数自动统计提供了新方法。