柑橘采摘机器人障碍物识别技

根据柑橘采摘机器人遇到树枝等障碍物的特点,通过提取和处理障碍物图像的骨架恢复障碍物的三维信息.首先采用图像分割、形态学处理、区域细线化等步骤提取障碍物骨架,并进行骨架修剪、恢复遮挡骨架等处理;然后找出骨架中端点、分支点等特征点并记录其连接关系;最后通过对特征点的立体匹配恢复障碍物的三维信息,试验表明障碍物的正确识别率为67.3%.     

基于RGB-D相机的果树三维重构与果实识别定位

为实现对果园果实机器人采摘提供科学可靠的技术指导,提出了一种基于RGB-D相机的苹果果树三维重构以及进行果实立体识别与定位的方法。使用RGB-D相机快速获取自然光照条件下果树的彩色图像和深度图像,通过融合果树图像彩色信息和深度信息实现了果树的三维重构;对果树的三维点云进行 R-G 的色差阈值分割和滤波去噪处理,获得果实区域的点云信息;基于随机采样一致性的点云分割方法对果实点云进行三维球体形状提取,得到每个果实质心的三维空间位置信息和果实半径。实验结果表明,提出的果树三维重构和果实立体识别与定位方法具有较强的实时性和鲁棒性,在0.8~2.0 m测量范围内,顺光和逆光环境中果实正确识别率分别达95.5%和88.5%;在果实拍摄面的点云区域被遮挡面积超过50%的情况下正确识别率达87.4%;果实平均深度定位偏差为8.1 mm;果实平均半径偏差为4.5 mm。     

基于视觉传感器的棉花果实定位方法

针对棉花采摘机器人,提出了一种快速、准确的实现棉花果实定位的方法,构建了以CMOS图像传感器为基础的双目图像采集系统。其中,两个由单片机控制的CMOS图像传感器对图像信息进行二值化处理。考虑数据在RAM中的存储形式,采用行列组合法求解果实在单目下的质心平面坐标(以像素点为单位),构建以左目坐标为基准的三维坐标系,单片机对传递过来的同一个果实的两组质心平面坐标,依据立体视差的关系,解得果实的空间坐标,完成果实的定位。     

基于立体视觉的玉米植株三维骨架重建

提出了一种基于立体视觉原理的玉米植株三维骨架提取和重构方法,从两幅由特定角度拍摄的图像提取植株二维骨架信息,通过极线约束算法和设定合理的匹配准则,实现骨架特征匹配,获得三维骨架的点云信息并降噪,最终通过样条曲线拟合产生三维骨架模型.在该骨架模型基础上,能够进行叶长、茎叶角等作物重要参数的计算.试验结果表明,该方法可以快捷地重建玉米植株的骨架模型,且误差不超过2%.     

基于CLAHE的苹果树树枝迭代阈值分割方法研究

针对农业采摘机器人自主导航和采摘过程中的障碍物树枝识别问题,为解决迭代阈值分割算法在目标与背景图像灰度差别不明显情况下的分割缺陷,提出了基于对比度受限自适应直方图均衡化基础上的果树树枝迭代阈值分割方法。首先,通过颜色空间变换,将RGB颜色空间的果树树枝图像转换到XYZ和I1I2I3颜色空间,并提取出X-Y色差因子和I2颜色因子,对其进行灰度差别分析;然后,对灰度差别不明显的图像进行对比度受限直方图均衡化处理后,再进行迭代阈值分割,从而剥离出树枝区域。实验结果显示,采用本文方法,树枝图像分割成功率为92%。     

吊装机器人肢体动作指令识别技术研究

鉴于Kinect相机进行肢体识别监控距离有限,提出使用网络大变焦摄像头、构建CNN-BP融合网络进行肢体动作识别,并以9组机器人吊装指令为例进行训练和识别。首先,基于OpenPose提取18个骨架节点坐标,生成RGB骨架图和骨架向量;然后,采用迁移学习方法对RGB骨架图使用InceptionV3网络提取图像深层抽象特征,并对训练数据集采用旋转、平移、缩放和仿射多种数据增强方式,以扩充训练数据,防止过拟合;再将提取的骨架向量使用BP神经网络提取点线面等浅层特征;最后对InceptionV3网络和BP神经网络输出进行融合,并使用Softmax求解器得到肢体识别结果。将肢体识别结果输入机器人辅助吊装控制系统,建立双重验证控制方法,完成机器人辅助吊装操作。实验结果表明,该方法保证了模型运行的精度和时效性,实时识别精度达0. 99以上,大大提升了远距离人机交互能力。     

基于深度相机的玉米株型参数提取方法研究

提出了一种基于骨架提取的改进算法,可实现在大田环境下,使用PMD深度相机快速、无损测量玉米株型参数。首先利用深度图像RGB伪彩色和深度距离信息,提取深度图像的骨架,排除复杂背景干扰,得到单株玉米的二值骨架图像;然后利用基于角点检测的改进归类算法提取骨架图像特征点;最后建立骨架图像中特征点与深度图像的对应关系,利用空间几何数学方法,结合特征点计算出玉米的3种株型参数,即株高、茎粗、叶倾角。农田实验对比分析表明,所提方法的株高测量结果与人工测量结果的相关系数 r 为0.986,最大相对误差小于2 cm,农田作物育种抗逆性分析还表明玉米株型参数与抗倒伏性具有显著相关性。     

基于双目相机与改进YOLOv3算法的果园行人检测与定位

针对复杂果园环境中行人难以精确检测并定位的问题,提出了一种双目相机结合改进YOLOv3目标检测算法的行人障碍物检测和定位方法。该方法采用ZED双目相机采集左右视图,通过视差原理获取图像像素点的距离信息;将双目相机一侧的RGB图像作为用树形特征融合模块改进的YOLOv3算法的输入,得到行人障碍物在图像中的位置信息,结合双目相机获得的像素位置信息计算出相对于相机的三维坐标。用卡耐基梅隆大学国家机器人工程中心开放的果园行人检测数据集测试改进的YOLOv3算法,结果表明,准确率和召回率分别达到95.34%和91.52%,高于原模型的94.86%和90.19%,检测速度达到30.26 f/ms。行人检测与定位试验表明,行人障碍物的定位在深度距离方向平均相对误差为1.65%,最大相对误差为3.80%。该方法具有快速性和准确性,可以较好地实现果园环境中的行人检测与定位,为无人驾驶农机的避障决策提供依据。     

基于自适应阈值ORB特征提取的果园双目稠密地图构建

针对果园阴暗光照条件下图像特征点匹配数量少、易丢失以及点云稀疏问题,对ORB-SLAM2算法进行了改进,提出了基于自适应阈值ORB特征点提取的果园双目三维地图稠密建图算法。首先在跟踪线程中提出一种自适应阈值的FAST角点提取方法,通过计算不同光照下图像平均像素求解阈值,对左右目图像提取ORB特征,增加了不同光照条件下的特征点匹配数量;然后根据特征点估计相机位姿完成局部地图跟踪,对跟踪线程产生的关键帧地图点进行BA优化完成局部地图构建。在原有算法基础上添加了基于ZED-stereo型相机双目深度融合的稠密建图模块,对左右目关键帧进行特征匹配获得图像对,利用图像对求解深度信息获取地图点,经过深度优化获取相机位姿,根据相机位姿进行局部点云的构建与拼接,最终对获得的点云地图进行全局BA优化,构建果园三维稠密地图。在KITTI数据集序列上进行测试,本文所改进的ORB-SLAM2算法的绝对轨迹误差更加收敛,轨迹误差标准差在00和07序列分别下降60.5%和62.6%,在其他序列上也有不同程度下降,表明本文算法定位精度较原始算法有所提高。不同光照环境下进行算法性能测试,结果表明本文算法较原始算法能更好地适应不同光照条件,在较强光照、正常光照、偏弱光照和阴雨天气下特征点平均匹配数量增加5.32%、4.53%、8.93%、12.91%。进行果园直线和稠密建图试验,结果表明直线行驶偏航角更加收敛,定位精确度高,关键帧提取数量较原始算法下降2.86%、平均跟踪时间减少39.3%;稠密建图效果好,能够很好地反映机器人位姿和果园真实环境信息,满足果园三维稠密点云地图构建需求,可为果园机器人导航路径规划提供支持。     

基于视觉测量的茶叶嫩芽定位方法研究

针对目前名优茶采摘效率低以及名优茶的采摘具有较强的时效性等问题,提出用双目摄像头定位茶叶嫩芽,以此推动自动化采茶设备的研发。采用双目立体视觉技术获取茶叶嫩芽的三维坐标信息,用于引导采摘机械臂进行自动化采摘作业。试验以茶园中的茶树为研究对象,根据SGBM算法获得一幅视差图像。然后通过OpenCV中reprojectImageTo3D函数得到深度图像,最后对照左摄像机中嫩芽形心在深度图像中的位置,获取茶叶嫩芽的三维坐标信息。实验结果表明,所采用的方案能够较为精确地定位出茶叶三维立体坐标,为后续自主采茶机器人的研发提供了技术支持。     

复杂环境中苹果树识别与导航线提取方法

为精准化管理果园,针对存在裸露土壤、遮蔽物、果树冠层阴影和杂草等复杂环境下难以提取导航线问题,通过无人机搭载多光谱相机获取苹果园影像数据后提取果树像元并进行全局果树行导航线提取。通过处理多光谱影像数据得到正射影像图(DOM)、数字表面模型(DSM)图像,选取并计算易于区分杂草与苹果树的归一化差异绿度指数（NDGI）、比值植被指数（RVI）分布图,构建DSM、NDGI、RVI融合图像后,综合利用过绿植被(EXG)指数和归一化差异冠层阴影指数（NDCSI）以阈值分割法剔除融合图像中土壤、遮蔽物、阴影等像元,降低非植被像元对果树提取的干扰。对比使用支持向量机（SVM）法、随机森林（RF）法和最大似然（MLC）法分别提取最终融合图像和普通正射影像中的苹果树像元,并计算混淆矩阵评价各识别精度。试验表明,MLC法对融合图像中果树的识别效果最优,其用户精度、制图精度、总体分类精度、Kappa系数分别为88.57%、93.93%、93.00%、0.8824;相对于普通正射影像,本文构建的最终融合图像使3种方法的识别精度均得到有效提升。其中,融合图像对RF法的用户精度提升幅度最大,为27.12个百分点;对SVM法的制图精度提升幅度最大,为9.03个百分点;对3种方法的总体分类精度提升幅度最低为13个百分点;对SVM法的Kappa系数提升幅度最大,为22.55%,且对其余两种方法的提升也均在20%以上。将本文得到的苹果树像元提取结果图像做降噪、二值化、形态学转换等处理后,以感兴趣区域划分法提取各果树行特征点,并以最小二乘法拟合各行特征点得到导航线,其平均角度偏差为0.5975°,10次测试整体平均用时为0.4023s。所提方法为复杂环境中果树像元和果树行导航线提取提供了重要依据。     

基于视差图像的重叠果实图像分割算法

为解决自动采摘视觉系统中重叠果实的分割问题,提出了基于视差图像的果实分割算法。采用双目立体视觉系统获取图像对,对图像对进行预处理和校正,通过图像对的立体匹配来获取视差图像,最后对视差图像进行分割。该算法将分割的依据和信息从二维图像的颜色、形状、纹理等扩展到三维空间的深度,对空间距离不同的目标具有较好的分割效果。实验表明,对获取的视差图像进行基于区域的分割时,其区域间灰度对比度为0.98,目标计数一致性达到0.90;进行基于边缘的分割时,其边缘检测误差为5.74%,因此,该方法对重叠果实区域的分割是有效的。     

荔枝采摘机械手视觉定位系统设计

建立了基于双目立体视觉的荔枝采摘机械手视觉定位系统.通过对成熟荔枝颜色特征的分析,选取YCbCr颜色模型进行处理,利用Otsu算法结合模糊C均值聚类法(FCM)对荔枝果实和果梗进行了分割,实验结果表明:有效识别果实和果梗的正确率为94.2％.通过计算果实质心与果梗的距离最大值确定荔枝采摘点,利用基于色调空间的彩色图像匹配法和极限约束法进行果梗采摘点的立体匹配,实现了采摘点的空间定位.通过定位误差分析,采用直线插值法进行定位误差补偿,定位实验结果表明:定位的深度误差小于10 mm,能满足荔枝机械手视觉精确定位的要求.     

基于深度图像的球形果实识别定位算法

为了解决近色背景果实识别困难问题,针对果实近球形的形态特性,提出了一种利用深度图像从果实形态角度进行果实识别定位的算法。该算法使用深度摄像头获取果树的深度图像,通过深度图像计算出各像素点的梯度向量,将梯度向量看作运动矢量场,并计算出矢量场的散度,根据散度最大原则,从矢量场中搜索出辐散中心点;然后利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点,以果实中心点为起点采用八方向搜索方法搜索出果实边界点,将果实边界点依次连接后形成的封闭区域内的果实图像导入点云;最后根据果实图像部分点云利用RANSAC算法求出目标果实的拟合球形,进而得出果实的尺寸以及三维空间位置。该算法无需传统算法需要利用的颜色特征,而仅利用了深度图像中的深度信息进行果实识别定位,能够克服传统算法受色彩、光照等因素影响的弊端,并且由于该算法完全没有利用到彩色图像信息,因此不仅可以实现绿色果实的识别定位,还可以实现采摘机器人在夜间环境下正常工作,为复杂环境下的果实识别定位算法研究提供了技术支撑。     

基于动态K阈值的苹果叶片点云聚类与生长参数提取

根据冠层点云的分布特征,提出一种基于动态K阈值的叶片点云聚类及生长参数提取方法。首先,采用地面三维激光扫描仪获取多站点云数据并完成配准、去噪和抽稀等预处理;然后,随机截取整株点云中的一枝作为研究对象,融合局部凹凸性算法(LCCP)并改进K-means算法,提出基于动态K阈值的叶片点云聚类方法;最后,采用主成分分析方法(PCA)计算叶片点云法平面方向向量,并根据叶片边界点与中心点的位置关系,计算叶宽、叶长等生长参数。试验结果表明,与传统的点云聚类方法相比,本文方法能够在不损失枝干点云的前提下,精确地分割单叶片,保证了聚类结果的完整性和彻底性;与传统的降维方法相比,本文基于真实三维空间信息提取叶片生长参数能够较大程度提高提取准确性,为进一步评价果树冠层光照分布及果园智能化管理提供技术支持。     

基于卷积神经网络的害虫分类

农作物病虫害是一种严重的自然灾害,需要对其进行及时预测和监控,以保证农作物产量。由于害虫种类繁多以及作物在生长初期的形态相似,农业工作者难以准确识别各类作物昆虫,给病虫害的防治工作带来巨大挑战。针对这一问题,提出一种基于多尺度特征融合的网络模型(FFNet)对作物害虫进行精准识别与分类。首先,采用空洞卷积设计多尺度特征提取模块(MFEM),获取害虫图像的多尺度特征图;然后,使用深层特征提取模块(DFEM)提取图像的深层特征信息;最后,将分别由多尺度特征提取模块(MFEM)和深层特征提取模块(DFEM)提取到的特征图进行融合,从而实现以端到端的方式对作物害虫进行精准分类与识别。试验表明：所提出的方法在12类害虫的数据集上获得优异的分类性能,分类准确率(ACC)达到98.2%,损失函数Loss为0.031,模型训练时间为197 min。     

基于三维点云的苹果树叶片三维重建研究

叶片是果树冠层的重要组成部分,对其进行三维重建研究不仅可以对叶片形态特征进行分析,还能为冠层光照分布计算以及果树整形修剪提供理论基础。三维激光扫描仪以非接触、高效、快速获取数据的优势被大量应用于三维空间信息采集工作中。本文提出一种基于三维点云的苹果树叶片结构形态三维重建方法。首先针对叶片的形态特点选择合适的三维激光扫描仪获取苹果叶片三维点云;基于包围盒法搜索K邻域,计算点云中点与其邻域点的平均距离,并设定距离阈值作为判定中心点是否为离散点的依据,进而确定离散点并去除;利用最小二乘原理实现点云局部曲面拟合以及法向量、曲率的计算,提取叶片边界点;对于非边界点部分,根据中心点法向量与其邻域法向量的关系,对点进行不同程度的精简;最后对处理后的叶片点云完成三维重建。结果表明,构建的叶片模型能够较好的保留叶片的三维形态特征,可以为果树冠层重建和光照分布计算提供基础。     

基于改进Harris角点检测的虚拟樱桃叶片重建方法

为了分析樱桃树叶片的形态结构,为樱桃树冠层光照分布及樱桃果树整形修剪提供理论基础,提出了一种基于改进Harris角点检测及NURBS曲线的樱桃树叶片重建方法。利用中值滤波法及经典边缘检测算法对获得的原始樱桃树叶片图像进行预处理,得到树叶轮廓。针对传统NUBRS曲线原理重构轮廓时无法构成闭合曲面,特征点之间相互干扰等问题,提出了一种新的算法来重构轮廓。该算法首先将特征点分为左右两部分,分别重建左右两侧轮廓,再将两者连接得到完整的轮廓;其次运用改进的Harris角点检测法提取角点来作为特征点;再次,通过检测窗口中心点灰度与其周围n邻域内其他像素点灰度的相似程度,计算灰度之差来设定一个阈值,并根据该阈值范围提取角点;最后,根据虚拟轮廓构建虚拟叶片。实验结果表明,改进后的算法大大减少了计算量,平均消耗时间由4.61s减少到2.30s。本文方法较真实地重构了樱桃树叶片边缘形状,为樱桃树冠层光照分布计算提供了技术支持。     

丘陵山地果树冠层体积激光测量方法与试验

树冠体积是农药变量喷施、肥料精准施用和果产预估等果园精细管理的重要因素。为了克服丘陵山地果园地面不平整和果树种植不规整等因素对果树冠层体积激光测量方法的影响,搭建了果树冠层体积激光测量平台,基于AHRS和DGPS实现定位定姿,通过空间坐标转换直接求取果树冠层激光扫描点在大地坐标系下的三维数据;并采用切片技术提取冠层点云的面、线信息,以累加方式计算果树冠层体积。测得的大地坐标系下的丘陵山地荔枝树冠层激光点云能较真实地反映果树冠层的形状特征;以3棵人工修剪的圆柱形绿篱树为靶标,冠层体积激光测量与人工测量相对误差约为5%。试验结果表明,依据果树冠层点云测量冠层体积具有较高的准确性和可靠性。