苹果采摘机器人果实识别与定位方法

提出了利用归一化的红绿色差(R-G)/(R+G)分割苹果的方法.对不同光照情况下拍摄的苹果图像进行了识别,并对识别后的图像进行预处理后,获得苹果的轮廓图像.对轮廓图像采用随机圆环法进行果实圆心、半径提取.通过建立基于面积特征与极线几何相结合的匹配策略实现双目视觉下的果实定位,对于搜索区域内面积相似的果实,通过计算垂直投影的互相关函数最大值的方法,得到排序基准线,然后根据顺序一致性原则进行匹配.实验结果表明:识别算法可以较好地消除阴影、裸露土壤等影响,识别率达到92%.采用随机圆环法,可以准确地提取果实的圆心、半径.在60～150 cm的距离范围内,测量误差小于2 cm.     

苹果采摘机器人三维视觉传感器设计

以红富士苹果为研究对象,设计了用于苹果采摘机器人的三维视觉传感器.根据苹果树的反射光谱特性,选择敏感波长的激光作为主动光源,在步进电动机的驱动下进行扫描,利用果树对激光的反射差异实现果实识别,利用三角测量原理实现果实定位.该传感器以ARM7芯片LPC2114为处理器,PSD为信号接收传感器,在电路和机械方面进行了优化设计,有效消除了外界各种干扰.实验结果表明,系统信号输出稳定,在150～750 mm距离范围内,最大偏差13 mm.     

基于LBM的苹果采摘机器人视觉图像自动修复算法

为恢复被果树枝叶遮挡后丢失的信息,首先通过计算遮挡因子,确定果树枝叶对苹果的遮挡区域;然后,利用格子波尔兹曼方法求解各向异性扩散方程,估计丢失的信息,提出了基于格子波尔兹曼方法的图像修复算法。实验证明,该算法能够有效实现苹果图像中枝叶遮挡部分的修复。与基于曲率驱动扩散的图像修复算法相比,该算法具有较高的峰值信噪比。由于算法的高度并行性,可以将其用于构建并行图像处理系统,并且适合苹果采摘机器人视觉系统。     

基于超像素特征的苹果采摘机器人果实分割方法

针对苹果采摘机器人在自然环境下对着色不均匀果实的识别分割问题,提出了基于超像素特征的苹果采摘机器人果实分割方法。首先,采用简单线性迭代聚类算法将图像分割成内部像素颜色较为一致的若干超像素单元;然后,提取每个超像素的纹理和颜色特征,并采用支持向量机将超像素分为果实和背景两个类别;最后,根据超像素之间的邻接关系对分类结果进行进一步修正。实验表明,该方法能够对大部分超像素单元进行正确分类,平均每幅图像被错误分类的超像素约为2.28个。与采用像素级特征的色差法和采用邻域像素特征的果实分割方法相比,采用超像素特征的果实分割方法具有更好的分割效果。在进行邻接关系修正前,该方法图像分割准确率达0.9214,召回率达0.8565,平均识别分割一幅图像耗时0.6087s,基本满足实时性需求。     

采摘机器人基于支持向量机苹果识别方法

针对目前苹果采摘机器人果实识别过程误差大、处理时间长等问题,应用支持向量机(SVM)方法对苹果果实进行识别.首先采用矢量中值滤波法对苹果彩色图像进行预处理,然后运用区域生长算法和颜色特征相结合的方法进行图像分割,最后分别对苹果彩色图像的颜色特征、几何形状特征进行提取,并用支持向量机的模式识别方法识别苹果果实.实验结果表明:支持向量机识别方法的识别性能优于神经网络方法;综合颜色特征和形状特征的支持向量机识别方法对苹果果实识别的正确率高于只用颜色特征或形状特征的正确率.     

苹果采摘机器人夜间识别方法

提出了一种适用于苹果采摘机器人夜间识别的方法。在图像采集阶段,通过对比不同光源的照明效果,选用白炽灯作为照明光源并采用2盏白炽灯从不同角度照明的方式削弱图像中的阴影。在图像分割阶段,对比白天图像的分割方法,提出改进R-G色差分割法。此外针对夜间图像中的高亮反光区,采用二次分割的方法提取出水果表面的高亮反光区以此对分割后的图像进行修补,以得到完整的分割结果。经统计不考虑果实的遮挡和粘连,夜间苹果正确识别率达到83.7%。     

苹果采摘机器人仿生机械手静力学分析与仿真

提出了一种应用于苹果采摘机器人末端执行器的仿生机械手。采用腱传动式仿生机械手取代了简单的夹具,提高了末端执行器在复杂环境中抓取苹果的适应性。建立了腱传动式机械手开环控制的驱动力和抓握力间的力学模型。仿真结果表明,在相同的驱动力下,腱传动仿生机械手的抓握力与其机构参数相关。其中,有效抓握力由手指的长度和厚度决定;抓握力的分布由各指节的长度比例决定;手指的初始张角决定了其可抓取苹果的半径范围;随着苹果半径的增大,有效抓握力将减小。摩擦力能够改善抓握力在各指节的分布,使抓握力分布均匀化,同时使有效抓握力变大。     

苹果采摘机器人目标果实快速跟踪识别方法

为了减少苹果采摘机器人采摘过程处理时间,对苹果采摘机器人目标果实的快速跟踪识别方法进行了研究。对基于R-G颜色特征的OTSU动态阈值分割方法进行首帧采集图像分割,采用图像中心原则确定要采摘的目标果实;利用所采集图像之间的信息关联性,在不断缩小图像处理区域的同时,采用经过加速优化改进的去均值归一化积相关模板匹配算法来跟踪识别后帧图像的目标果实,并进行不同阈值分割方法实现效果,不同灰度、亮度和对比度的匹配识别以及新旧方法识别时间对比试验,从而验证了所采用和设计方法的有效性;其中所设计跟踪识别方法的识别时间相比于原方法,减少36%。     

基于机器视觉的采摘机器人果实三维模型重构与识别

为了提高采摘机器人果实定位和识别的准确性,在采摘机器人机器视觉系统的设计上引入了果实三维重构方法,利用二维采集图像信息的处理,通过坐标转换关系,实现了三维模型的构建.为了验证三维模型重构对机器视觉果实识别准确性的提高作用,模拟青椒夜间作业的采摘环境,对不采用三维重构和采用三维重构技术两种情况下的果实识别准确率进行了对比...     

基于改进YOLOv5m的采摘机器人苹果采摘方式实时识别

为准确识别果树上的不同苹果目标,并区分不同枝干遮挡情形下的果实,从而为机械手主动调整位姿以避开枝干对苹果的遮挡进行果实采摘提供视觉引导,提出了一种基于改进YOLOv5m面向采摘机器人的苹果采摘方式实时识别方法。首先,改进设计了BottleneckCSP-B特征提取模块并替换原YOLOv5m骨干网络中的BottleneckCSP模块,实现了原模块对图像深层特征提取能力的增强与骨干网络的轻量化改进;然后,将SE模块嵌入到所改进设计的骨干网络中,以更好地提取不同苹果目标的特征;进而改进了原YOLOv5m架构中输入中等尺寸目标检测层的特征图的跨接融合方式,提升了果实的识别精度;最后,改进了网络的初始锚框尺寸,避免了对图像里较远种植行苹果的识别。结果表明,所提出的改进模型可实现对图像中可直接采摘、迂回采摘（苹果上、下、左、右侧采摘）和不可采摘果实的识别,识别召回率、准确率、mAP和F1值分别为85.9%、81.0%、80.7%和83.4%。单幅图像的平均识别时间为0.025s。对比了所提出的改进算法与原YOLOv5m、YOLOv3和EfficientDet-D0算法在测试集上对6类苹果采摘方式的识别效果,结果表明,所提出的算法比其他3种算法识别的mAP分别高出了5.4、22、20.6个百分点。改进模型的体积为原始YOLOv5m模型体积的89.59%。该方法可为机器人的采摘手主动避开枝干对果实的遮挡,以不同位姿采摘苹果提供技术支撑,可降低苹果的采摘损失。     

水果采摘机器人通用夹持机构设计

为提高采摘机器人的实用性和利用率,提出了一种通用型夹持机构,并构建了虚拟样机。为使机械夹持不损伤水果,研究了水果受力对夹持构型的影响,以柑橘为例进行变形、应力分析,为机构提出设计依据,进而对结构进行优化,确定了机构外壳及杆件的合理参数和对果实损伤最小的夹持量,单类型水果夹持量为直径方向小于2mm。     

水果收获机器人避障路径规划

在综合分析路径规划研究的基础上,采用基于概率地图的路径规划方法,运用启发式搜索算法对水果收获机器人机械臂运动路径进行实时规划。在搜索过程中,以位姿点密度作为权重使路径向自由空间扩散,避免过度采样。为提高路径规划速度,采用延迟碰撞检测策略,可有效降低计算量。采用有向包围盒进行碰撞检测。最后利用虚拟现实技术,对水果收获时要绕过的支架和狭窄区域进行三维计算机模拟。结果显示,路径规划时间均小于0．15s,达到实时要求。     

采摘机器人果实识别的多源图像配准

为了提高果实识别的准确性,减少非结构化环境对识别的影响,使用基于光学混合探测(PMD)技术的深度摄像机与RGB摄像机组合捕获果园环境的多源图像;SURF算法提取待配准图像的尺度不变特征,欧式距离作为判断特征相似性的测度,最近邻与次近邻比值实现特征向量的初匹配,最近邻的搜索策略加速匹配过程;剔除异常点与优化模型交替迭代的方法提纯匹配结果;并以均方误差(MSE)、归一化互信息(NMI)和相关系数(COEF)作为配准效果的客观评价标准.不同试验结果表明:双摄像机组合丰富了锁定目标区域的信息量,配准算法的实时性、鲁棒性及精度均能满足果园试验的要求.     

基于改进人工势场的苹果采摘机器人机械手避障方法

针对非结构化环境下的采摘机器人机械手实时避障问题,提出一种改进人工势场法的避障路径规划方法。根据自行研制的5自由度苹果采摘机器人机械手具体结构和障碍物特征,进行机械手运动学分析和障碍物建模;在保留传统人工势场法易于实现、结构简单等优点的基础上,针对其存在的局部极小点、陷进区等问题,结合果树生长环境中障碍物的特点,通过引入虚拟目标点使搜索过程跳出局部最优的极小点,从而实现机械手避开障碍物到达目标的灵活避障;将该方法应用于机械手末端位置、障碍物位置和目标位置已知条件下的采摘机器人机械手实时避障任务中,仿真和实验研究结果表明此方法简单,实时性好,能够有效地避开障碍物,成功到达目标位置,适合自然生长状态下苹果的自动采摘。     

基于粒子滤波的苹果采摘机器人目标姿态估算

针对苹果采摘机器人中果实姿态信息缺失造成果实损伤及采摘失败等问题,根据苹果尾部花萼遗迹区域是否可见分析了果实姿态信息机器视觉测量方法,研究了果实姿态信息的粒子滤波估计。将单目摄像机固定在机器人末端手爪上,在手爪趋近果实的采摘过程中,随机采集多帧果实图像。对每帧图像运用惯性主轴或重心点偏移两种方法计算果实在机器人坐标系下的姿态向量值,并通过粒子滤波融合来得到果实姿态信息的最优估计。实验结果表明,粒子滤波方法可以有效地融合多帧图像的苹果姿态信息,能够减小因依靠单帧图像直接测量而产生的误差。     

苹果采摘机器人机械手运动学分析与仿真

通过齐次坐标变换建立了机械手的运动学模型,并对正运动学以及逆运动学分别进行了求解,通过初始位姿对运动学正反解进行了初步验证;利用矢量积法求解了机械手的雅克比矩阵,建立了机械手关节速度与末端执行器速度的瞬时对应关系;由机械手的具体结构设计出发,利用Pro/E 建立了机械手的实体样机模型,并导入仿真软件 ADAMS 中对其进行运动学仿真验证,使机械手整个运动过程直观化;同时分析了仿真过程中机械手各关节的驱动与机械手末端点运动变化的关系.仿真结果表明机械手的运动学方程解完全正确.     

基于BP神经网络的苹果图像分割算法

针对目前苹果采摘机器人图像分割运算量大、耗时多等问题,通过分析选取3×3邻域像素色度值作为苹果图像的特征,选取40幅图像作为训练样本,以人工分割后的图像作为教师信号,采用BP算法对神经网络的权值进行训练.经过100次循环后,获得有效的网络权值,误差为0.001.结果表明,利用BP神经网络能够较好地实现苹果与背景的分离,后续操作中,经过腐蚀、膨胀等算法的进一步处理后,得到了更加理想的效果.