番茄非接触式单果质量估测方法

针对目前非离株番茄果实的非接触式单果质量快速估测困难等问题,提出了一种基于局部点云和卷积神经网络的番茄单果质量估测方法。以浙粉702番茄为试验对象,首先通过深度相机采集50个番茄单果的336块原始点云,并增强至1 344块点云用于构建数据集。通过多种点云分割方法比较,选取三维连续卷积神经网络用于番茄单果分割。于分割后的数据提取点云沿x轴轴向尺寸dx、沿y轴轴向尺寸dy、沿z轴轴向尺寸dz和沿z轴投影最小外接圆直径d共4个空间特征信息,并将其馈送到3层回归网络中,用于训练、确定优化器和学习率达到最优状况下的单果质量估测模型。最后,选取268块增强点云对构建的数学模型进行测试,并进行模型准确性和稳定性评估分析。结果表明,与番茄单果实际质量相比,平均偏差3.7～4.8 g,平均相对误差约3.04%,优于传统图像处理方法。该研究可为其他农畜产品的非接触式单果质量估测提供技术参考。      

基于视觉的农业机械手抓取研究

提出一种基于视觉的农业机械手抓取方法,通过坐标系的建立和变换,确定前方物体位置,采用搜索树算法,建立了路径代价函数,并对算法进行了改进,对于抓取的难易程度分别设定加权因子,选择产生的采样点代价最小的路径抓取物体,最后通过实验达到了预期的结果.     

基于多视角三维点云融合的采棉机器人视觉感知方法

针对传统采棉机器人因单一视角和二维图像信息带来的视觉感知局限问题,本文提出了一种多视角三维点云配准方法,以增强采棉机器人实时三维视觉感知能力。采用4台固定位姿的Realsense D435型深度相机,从不同视角获取棉花点云数据。通过AprilTags算法标定出深度相机RGB成像模块与Tag标签的相对位姿,并基于深度相机中RGB成像模块与立体成像模块坐标系间的转换关系,解算出各个相机间点云坐标的对应变换,进而实现点云间的融合配准。结果表明,本文配准方法的全局配准平均距离误差为0.93cm,平均配准时间为0.025s,表现出较高的配准精度和效率。同时,为满足采棉机器人感知的实时性要求,本文对算法中点云获取、背景滤波和融合配准等步骤进行了效率分析及优化,最终整体算法运行速度达到29.85f/s,满足采棉机器人感知系统实时性需求。     

遮挡条件下多视角甜椒果实点云三维重构方法

为进行表型原位自动化测量,实现甜椒数字化育种和管理,针对原位果实表型测量中的目标遮挡问题,提出一种多视角甜椒果实点云的三维重构方法。通过虚拟叶片的方法,创建增强数据集,建立基于YOLO v5算法的甜椒果实识别模型,实现对不同遮挡程度果实的识别,同时,构建考虑果实位置与遮挡程度的果实表型采集算法,实现多视角的果实三维数据采集。最后,配准甜椒果实三维点云,提取甜椒表型参数,并通过温室甜椒果实表型,对点云重构方法的有效性进行验证。相较手动测量数据,果实果宽平均相对误差为1.72%,果高平均相对误差为1.60%。试验结果表明,本文所提出的甜椒原位表型点云重构方法,可为遮挡条件下作物表型提供有效的解决思路和可行方法。     

基于RGB-D相机的果树三维重构与果实识别定位

为实现对果园果实机器人采摘提供科学可靠的技术指导,提出了一种基于RGB-D相机的苹果果树三维重构以及进行果实立体识别与定位的方法。使用RGB-D相机快速获取自然光照条件下果树的彩色图像和深度图像,通过融合果树图像彩色信息和深度信息实现了果树的三维重构;对果树的三维点云进行 R-G 的色差阈值分割和滤波去噪处理,获得果实区域的点云信息;基于随机采样一致性的点云分割方法对果实点云进行三维球体形状提取,得到每个果实质心的三维空间位置信息和果实半径。实验结果表明,提出的果树三维重构和果实立体识别与定位方法具有较强的实时性和鲁棒性,在0.8~2.0 m测量范围内,顺光和逆光环境中果实正确识别率分别达95.5%和88.5%;在果实拍摄面的点云区域被遮挡面积超过50%的情况下正确识别率达87.4%;果实平均深度定位偏差为8.1 mm;果实平均半径偏差为4.5 mm。     

基于单目SLAM的实时场景三维重建

针对单目SLAM(实时定位与重建)三维重建点云精度与运动实时性成负相关的问题,提出了一种基于单目视觉里程计融合激光传感器的方法,实现运动物体周边环境的实时点云自动配准与场景三维重建,在保证实时性的情况下获得更为精确的点云数据。针对图像传感器和激光传感器返回数据的特点,提出一种相机与激光传感器空间相对姿态的标定方法。针对单目视觉里程计的尺度模糊问题,提出了一种基于激光传感器的离线尺度标定算法,从而实现了里程计的位姿信息与激光传感器数据的匹配,达到实时点云自动配准的效果。     

基于双目视觉的作物苗期障碍物三维信息检测方法

农业智能装备在实际农田环境中行进或作业的过程中需要感知多变环境下的各种障碍物。为此,基于双目视觉,开展了作物苗期农田障碍物三维信息检测方法研究,提出了一种基于特征的障碍物检测算法。首先,利用边缘检测算法去除天空背景,提取出障碍物潜在区域的上边界线,利用超绿特征颜色变换去除绿色作物苗期农田背景,提取下边界线;然后,通过阈值分割算法提取障碍物目标区域;最后,通过重心特征点立体匹配来获取视差值,结合MatLab标定获取的相机内外参数进行三维重建,计算障碍物的距离、宽度和高度三维信息。田间试验结果表明:该算法可以正确提取出障碍物目标区域,障碍物距离、宽度和高度检测的平均相对误差分别为4.7%、5.79%和1.78%,能够满足农业智能装备田间障碍物检测的需求,具有较好的可靠性。     

基于Kinect相机的油麦菜自动化三维点云重建

为了解决传统三维点云重建过程中人工调参费时、费力,且精度得不到保障等问题,提出了一种三维点云自动化配准算法,并应用于油麦菜三维重建。使用Kinect相机采集油麦菜不同视角下的点云数据,通过配准实验分析配准参数的变化规律,继而建立了配准评价体系,实现了两片点云的自动化配准,并通过最小化匹配误差积累将多幅点云变换到同一基准坐标系下,实现了油麦菜三维重建。对随机选取的12株油麦菜进行自动化三维重建,结果表明,在两片点云重叠率不低于30%的前提下,本文算法可获得最优参数组合,自动全局配准平均距离误差为0.65cm,平均耗时为44.05s,具有较高的配准精确度和稳定性。本文算法能有效减少配准误差积累、构建较高精度的完整结构,可为其他作物三维重建提供参考。     

基于光学相机的植物表型测量系统与时序生长模型研究

为提高形态表型检测速率,满足形态表型测量的标准化需求,以拟南芥为例,提出一种测量植物三维形态特征的方法,并建立植物时序生长方程和可视化模型,构建了一套经济实用、面向拟南芥生长过程的形态表型测量机器视觉系统。通过光学相机采集拟南芥植株的二维图像序列,利用运动中恢复结构算法生成三维点云;设计一种彩色标板,基于彩色标板的坐标系标准化方法,提取拟南芥植株的点云并标准化坐标系。与传统人工接触式测量值相比,该系统交互测量的拟南芥叶片宽度、长度、主茎长度、叶片面积、叶片间夹角的平均相对误差分别为9. 83%、10. 10%、1. 07%、4. 09%和4. 37%。利用该系统采集哥伦比亚野生型拟南芥生命周期内的形态表型信息,拟合其数学生长模型,并使用L-studio软件,将时序生长模型可视化表达。结果表明,植物固定、传感器移动的平台结构解决了传统传感器固定、植物移动方式导致的植物抖动从而影响三维重建效果的问题,可快速、准确、可靠地提取植物表型信息。基于彩色标板的点云坐标系标准化方法在每个单位时间都能够对拟南芥植物对象进行参数提取,与传统的人工接触式测量方法相比,效率高、速度快,可满足拟南芥的形态表型分析需要。     

基于SICK和Kinect的植株点云超限补偿信息融合

针对传统点云信息融合需要限制传感器之间位置以及繁杂标定和Kinect传感器室外工作受光照条件影响会出现目标边缘缺失的问题,提出了基于SICK和Kinect相机组合探测的植株点云超限补偿信息融合方法。首先采用SICK二维激光传感器融合实时行进速度传感器,实现对植株三维点云重构,同时通过Kinect传感器获取植株彩色和深度图像合成彩色点云,然后分别对SICK和Kinect异源点云进行阈值滤波预处理和体素栅格下采样,求取各点法线及快速点特征直方图,利用采样一致性初始配准方法使异源点云之间拥有较好的初始位置关系,再进一步使用ICP算法精确配准,通过近似最近邻搜索和超限补偿的方法完成点云信息融合。在超限补偿方法中,通过对比转换后点云间误差,判断数据有效性,实现对数据的最终融合。试验结果表明,本文方法可以有效、准确地实现不同点云之间的信息融合,并能有效抑制阳光的干扰。     

基于SOM-K-means算法的番茄果实识别与定位方法

为解决多个番茄重叠黏连时难以识别与定位的问题,提出一种基于RGB-D图像和K-means优化的自组织映射(Self-organizing map,SOM)神经网络相结合的番茄果实识别与定位方法.首先,利用RGB-D相机拍摄番茄图像,对图像进行预处理,获取果实的轮廓信息;其次,提取果实轮廓点的平面和深度信息,筛选后进行处...     

基于单视角点云镜像的猪只体尺测量方法

为了克服人工家畜体尺测量耗时、应激大和工作强度大等问题,提出了一种基于单视角点云镜像的猪只体尺测量方法。首先使用单Xtion深度相机采集包含猪体的场景点云图像序列,并人工筛选出包含背部弯曲程度较小猪体的场景点云图像,然后基于随机采样一致性算法和聚类分割算法自动化分割目标猪体并对其进行姿态归一化,检测单视角猪体点云对称面,并利用对称面镜像获取完整猪体,最后利用自主研发的体尺测量软件测量猪只体尺。试验结果表明,利用该方法测量体长的平均相对误差为5.00%,臀宽测量的平均相对误差为7.40%,臀高测量的平均相对误差为5.74%。该方法为猪只体尺测量提供了切实可行的新途径。     

丘陵山地果树冠层体积激光测量方法与试验

树冠体积是农药变量喷施、肥料精准施用和果产预估等果园精细管理的重要因素。为了克服丘陵山地果园地面不平整和果树种植不规整等因素对果树冠层体积激光测量方法的影响,搭建了果树冠层体积激光测量平台,基于AHRS和DGPS实现定位定姿,通过空间坐标转换直接求取果树冠层激光扫描点在大地坐标系下的三维数据;并采用切片技术提取冠层点云的面、线信息,以累加方式计算果树冠层体积。测得的大地坐标系下的丘陵山地荔枝树冠层激光点云能较真实地反映果树冠层的形状特征;以3棵人工修剪的圆柱形绿篱树为靶标,冠层体积激光测量与人工测量相对误差约为5%。试验结果表明,依据果树冠层点云测量冠层体积具有较高的准确性和可靠性。     

基于深度图像的球形果实识别定位算法

为了解决近色背景果实识别困难问题,针对果实近球形的形态特性,提出了一种利用深度图像从果实形态角度进行果实识别定位的算法。该算法使用深度摄像头获取果树的深度图像,通过深度图像计算出各像素点的梯度向量,将梯度向量看作运动矢量场,并计算出矢量场的散度,根据散度最大原则,从矢量场中搜索出辐散中心点;然后利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点,以果实中心点为起点采用八方向搜索方法搜索出果实边界点,将果实边界点依次连接后形成的封闭区域内的果实图像导入点云;最后根据果实图像部分点云利用RANSAC算法求出目标果实的拟合球形,进而得出果实的尺寸以及三维空间位置。该算法无需传统算法需要利用的颜色特征,而仅利用了深度图像中的深度信息进行果实识别定位,能够克服传统算法受色彩、光照等因素影响的弊端,并且由于该算法完全没有利用到彩色图像信息,因此不仅可以实现绿色果实的识别定位,还可以实现采摘机器人在夜间环境下正常工作,为复杂环境下的果实识别定位算法研究提供了技术支撑。     

基于3D视觉的番茄授粉花朵定位方法

为了给设施番茄授粉机器人授粉提供可靠的定位技术,提出了一种基于3D视觉的番茄花朵定位方法。采用RGB-D结构光相机快速获取温室内番茄植株的彩色图和深度图信息,通过YOLO v4 (You only look once)神经网络对植株上番茄花束进行目标检测,并提取出授粉花束在图像中的二维区域;使用主动对齐方式结合PCL进行彩色图像和深度图像的粗对齐,利用区域内色系单视角线性遍历方法对提取的花束区域进行精配准,获得番茄花束的空间高精度点云信息;再使用统计滤波法剔除点云信息离群点后,结合双向均值法计算花束3D box的授粉质心坐标。定位试验结果表明,该方法在温室环境中能成功对花束进行识别定位,神经网络平均检测精度达97.67%,完成单幅图像花束提取时间为14.95ms,算法获取授粉质心坐标的平均时间约为300ms。后期在温室内验证,在花束被遮挡小于80%时,算法能够对番茄花朵进行精准定位,并成功执行授粉动作,为番茄授粉机器人提供了一种新的授粉点定位方法。     

基于快速点特征直方图的树木点云配准

随着农林业智能化与信息化发展,树木三维重建技术成为国内外研究的热点.为获取具有颜色信息的树木三维点云,需配准不同视角下的彩色点云数据,为果树三维重建提供基础数据.为此采用仿真树模拟果树,提出一种基于快速点特征直方图(FPFH)的树小点云配准方法,通过添加标定物增加具有稳定FPFH特征的点云个数,从而提高点对配准精度.首...     

基于激光点云的三维虚拟果园构建方法

针对果园管理数字化程度低、构建方法较为单一等问题,本研究提出了一种基于激光点云的三维虚拟果园构建方法。首先采用手持式三维点云采集设备（3D-BOX）结合即时定位与地图构建-激光测距与测绘（Simultaneous Localization and Mapping-Lidar Odometry and Mapping,SLAM-LOAM）算法获取果园点云数据集;然后通过统计滤波算法完成点云数据离群点与噪声点的去除,并结合布料模拟算法（Cloth Simulation Filtering,CSF）与DBSCAN（Density-Based Spatial Clustering of Applications with Noise）聚类算法,实现地面去除与果树聚类分割,进而使用VoxelGrid滤波器降采样;最后利用Unity3D引擎,构建虚拟果园漫游场景,将作业机械的实时GPS（Global Positioning System）数据从WGS-84坐标系转换为高斯投影平面坐标系,并通过LineRenderer显示实时轨迹,实现作业机械运动轨迹控制与作业轨迹的可视化展示。为验证虚拟果园构建方法的有效性,在海棠果园与芒果园开展果园构建方法测试。结果表明,所提出的点云数据处理方法对海棠果树与芒果树聚类分割的准确率分别达到了95.3%与98.2%;通过与实际芒果园的果树行距、株距对比,虚拟芒果园的平均行间误差约为3.5%,平均株间误差约为6.6%。并且将Unity3D构建出的虚拟果园与实际果园相比,该方法能够有效复现果园三维实际情况,得到了较好的可视化效果,为果园的数字化建模与管理提供了一种技术方案。     

基于Kinect传感器的猕猴桃果实空间坐标获取方法

猕猴桃自动采摘机器人研究中,为了自动获取目标果实的空间坐标,提出了一种基于Kinect传感器的猕猴桃果实空间坐标获取方法。首先利用Kinect传感器的红外投影机和红外摄像机获取深度图像,利用彩色摄像机获取RGB图像,根据彩色图和深度图对应关系,转换成深度坐标;然后通过Map Depth Point To Skeleton Point函数得到以红外摄像机为原点的坐标系坐标。实验表明:该方法能够有效获取猕猴桃目标果实的空间坐标,其定位误差小于2mm。     

基于3D视觉的青饲机拖车车斗自动识别与定位方法

根据农业生产智能化需求,提出一种基于三维视觉的青饲机拖车车斗自动识别和定位方法。该方法通过图像与点云数据处理技术相互配合,实现拖车车斗的边沿识别和空间定位。首先,利用视觉里程计概念构建相机与地面三维坐标系之间的关联,并用奇异值分解算法求解位姿变换矩阵,将相机坐标系下的3D点云进行旋转平移,并且基于地面进行阈值处理和降维;其次,采用随机抽样一致性算法完成对车斗边沿拟合以及车斗角点定位,获得机械臂喷头与车斗的相对位置;最后,通过坐标变换,将定位结果直观呈现在像素坐标系中。本文方法能够准确地定位车斗角点,描绘车斗所在区域。现场实验结果表明,该方法计算量较小、效率高、准确性高,能够满足现场作业的实时性与精度要求。