基于RGB-D相机的蔬菜苗群体株高测量方法

为实现工厂化育苗生产线上黄瓜苗群体株高的快速无损测量,提出一种基于RGB-D(RGB-Depth)相机的温室育苗盘中蔬菜苗株高参数原位测量方法。以黄瓜苗为观测对象,在苗的正上方0. 75 m处架设RGB-D相机,以获取黄瓜苗盘的俯视彩色图像、深度图像以及彩色三维点云数据。在采集的俯视彩色三维点云中分割出单株幼苗点云集、并实现单株幼苗的定位是蔬菜苗群体株高原位测量的关键。根据RGB-D相机的成像原理,将滤波与聚类分割算法相结合,实现一种基于俯视的彩色三维点云数据处理方法,用于从穴盘幼苗群体点云集中分割出单株幼苗点云集。对黄瓜苗彩色三维点云数据的实验处理结果表明,条件滤波、颜色聚类以及统计滤波相结合的滤波算法能够更好地滤除土壤背景的点云集,欧氏距离聚类分割算法可以从滤除土壤背景后的点云中有效地分割出单株蔬菜苗点云集。最后,根据基于俯视的彩色三维点云数据的幼苗株高计算方法得出单株幼苗的株高。实验结果表明,黄瓜苗株高的平均测量误差为2. 30 mm,平均测量相对误差为7. 69%,该结果可为苗期作物群体关键生长参数的提取提供有效的解决方案。     

基于RGB-D点云的田间原位玉米株高测量试验研究

为满足田间原位玉米株高的测量需求,避免破坏性取样后进行株高测量难以捕捉植株在自然环境下生长的真实情况与表型的动态变化,提出了一种基于RGB-D相机的田间原位玉米株高的测量方法。首先,通过RGB-D相机同时获取可见光图像和其对应的深度信息,计算相机的内参,得到玉米植株的三维点云数据;其次,通过基于欧几里得距离的统计滤波算法和随机采样一致性算法(RANSAC)的阈值分割快速去除三维点云中的离群点、环境噪声及复杂的自然环境背景(包括土壤面和滴灌管等),并通过OBB包围盒验证滤波效果;最后,通过单株玉米植株分割,提出了一种基于俯视视角下玉米株高的测量方法,并计算出田间原位玉米的株高参数。试验中,在玉米快速生长期中选取两天的试验数据,其试验用5个品种的平均测量误差分别为1.47cm和2.70cm,均方根误差(RSME)分别为1.68cm和2.80cm,人工实测结果和算法测量结果进行线性拟合后得到待测系数R~2分别为0.9831和0.9797。试验结果表明:利用RGB-D相机对田间原位玉米的表型测量与株高分析具有可行性,所提出的测量与计算方法最后获得的玉米株高参数具有较高的准确性,可以为玉米表型参数提取提供更为有效地技术手段。     

基于深度相机的玉米株型参数提取方法研究

提出了一种基于骨架提取的改进算法,可实现在大田环境下,使用PMD深度相机快速、无损测量玉米株型参数。首先利用深度图像RGB伪彩色和深度距离信息,提取深度图像的骨架,排除复杂背景干扰,得到单株玉米的二值骨架图像;然后利用基于角点检测的改进归类算法提取骨架图像特征点;最后建立骨架图像中特征点与深度图像的对应关系,利用空间几何数学方法,结合特征点计算出玉米的3种株型参数,即株高、茎粗、叶倾角。农田实验对比分析表明,所提方法的株高测量结果与人工测量结果的相关系数 r 为0.986,最大相对误差小于2 cm,农田作物育种抗逆性分析还表明玉米株型参数与抗倒伏性具有显著相关性。     

基于机器视觉的玉米果穗性状参数测量方法研究

在玉米育种、田间测产和提高玉米产量的过程中,均需要对玉米果穗考种,即需要对玉米果穗的穗长、穗粗、穗行数、行粒数和穗粒数等性状参数进行测量。人工考种不仅花费大量的人力物力,而且在考种过程中普遍存在人工劳动强度大、观测效率低、人为干扰导致测试结果不客观及不准确等问题,在很大程度上限制了考种的速度与精度。针对上述问题,利用所研制的自动考种设备和机器视觉方法,通过USB工业相机获取玉米果穗单面性状彩色图像,利用|B-R|模型、（G+B）/2模型将彩色图像分别进行灰度化,利用改进后的一维最大熵阈值分割方法对灰度图像进行二值化,分别得到果穗轮廓二值图像和果穗特征二值图像;通过轮廓二值图像计算果穗放置后的倾斜角,实现果穗轮廓二值图像和特征二值图像的自动纠偏;通过相机标定,得到单位像素对应的实际值,进而得到穗长及穗粗;通过提取局部籽粒特征二值图像,利用水平黑背景点扫描及对扫描曲线的修正获取穗行宽度,通过穗行数修正模型得到果穗的穗行数;通过提取局部单行籽粒特征二值图像,利用垂直黑背景点扫描及对扫描曲线的修正得到行粒数;根据行粒数和穗行数得到穗粒数。试验结果表明,穗长和穗粗平均测量精度分别为98.05%和97.99%,穗行数测量正确率为95%,行粒数平均测量精度为96.29%,穗粒数平均测量精度为95.67%,和实际值相比,穗粗、穗长、行粒数及穗粒数的测量值差异无显著性。单穗玉米果穗机器视觉平均测量速度为600ms/穗,考种设备测量速度为6s/穗,能够满足自动考种设备的使用需求。     

基于图像玉米茎秆位置标记方法的研究

为实现田间作业过程中对玉米茎秆的定位，提出了一种基于图像玉米茎秆位置的标记方法。以3～5叶期的玉米秧苗为观测对象，利用相机获取玉米秧苗的彩色图像。首先，根据玉米图像样本进行灰度化、加权滤波、直方图均衡进行预处理；对图像进行Ostu阈值分割，提取玉米秧苗区域信息；通过形态学处理去除噪点，得到最大连通域作为玉米秧苗区域。然后通过投影法，对该区域进行列向和横向向量求和，得到的最大值标记为玉米茎秆根部近似位置。对100株玉米秧苗图像进行测试，与图像手动标注位置进行对比，横向误差平均值为7.55,标准差平均值为1.04%,列向误差平均值10.85,标准差平均值为2.26%,实际误差平均值为12.33。该研究可为需要保护玉米秧苗的田间作业提供参考。     

基于车载三维激光雷达的玉米叶面积指数测量

为使用车载三维激光雷达快速获取作物的株高、叶面积指数(LAI)等作物形态参数,以玉米为研究对象,采用车载三维激光雷达点云数据,提出了一种基于玉米分层点云数量或分层点云数量与地面点云数量比值计算LAI的方法。使用车载平台获取京农科728和农大84玉米的三维点云数据;对点云数据进行预处理,获得已测量LAI真值区域的点云数据;进行玉米植株点云与地面点云分割,根据地面起伏程度,基于随机一致性平面分割算法,将距离阈值设置为0. 06 m;依据玉米垂直结构分布,将玉米植株划分为上、中、下3层,计算每层点云数量并分别标记为H、M和L,同时,将上、中、下每层的点云数量与地面点云数量的比值标记为Hr、Mr和Lr,分别建立H、M、L和Hr、Mr、Lr与LAI真值的线性回归模型。试验结果表明:采用Hr、Mr变量建立的LAI二元线性回归测量模型最优,京农科728玉米训练集R~2为0. 931,验证集R~2为0. 949;农大84玉米训练集R~2为0. 979,验证集R~2为0. 984,本文方法可为田间快速测量LAI提供解决方案。     

基于RGB-D相机的果树三维重构与果实识别定位

为实现对果园果实机器人采摘提供科学可靠的技术指导,提出了一种基于RGB-D相机的苹果果树三维重构以及进行果实立体识别与定位的方法。使用RGB-D相机快速获取自然光照条件下果树的彩色图像和深度图像,通过融合果树图像彩色信息和深度信息实现了果树的三维重构;对果树的三维点云进行 R-G 的色差阈值分割和滤波去噪处理,获得果实区域的点云信息;基于随机采样一致性的点云分割方法对果实点云进行三维球体形状提取,得到每个果实质心的三维空间位置信息和果实半径。实验结果表明,提出的果树三维重构和果实立体识别与定位方法具有较强的实时性和鲁棒性,在0.8~2.0 m测量范围内,顺光和逆光环境中果实正确识别率分别达95.5%和88.5%;在果实拍摄面的点云区域被遮挡面积超过50%的情况下正确识别率达87.4%;果实平均深度定位偏差为8.1 mm;果实平均半径偏差为4.5 mm。     

基于多源数据的马铃薯植株表型参数提取

作物具有结构多样、生长环境复杂等特征。RGB图像数据能真实地反映植株的纹理特征与颜色特征,三维点云数据包含了作物的体量信息。将RGB图像和三维点云数据结合,实现作物的二维和三维表型参数提取,对表型组学的方法研究具有重要意义。本研究以马铃薯为研究对象,使用RGB相机和激光扫描仪分别采集了50个马铃薯的RGB图像与三维激光点云数据。对比了OCRNet,UpNet,PaNet和DeepLab v3+四种深度学习语义分割方法的分割精度,并选择精度较高的OCRNet网络实现马铃薯顶视图像的语义分割。优化了Mean shift聚类算法流程,完成了马铃薯植株激光点云的单株分割,并结合欧式聚类和K-Means聚类算法对单株马铃薯植株点云的茎和叶进行准确地分割。同时,提出一种利用编号建立马铃薯单株RGB图像和激光点云间一一对应关系的策略,并以此为基础分别从RGB图像与激光点云中提取同一马铃薯植株包括最大宽度、周长、面积、株高、体积、叶长与叶宽在内的8个二维表型参数与10个三维表型参数。最后,选择了比较具有代表性、易测量的叶片数、株高、最大宽度三个表型参数进行精度评估,平均绝对百分比误差（Mean Abs...     

双通道近地遥感图像采集处理系

利用2CCD多光谱相机设计了近地遥感图像采集平台,同步获取小范围区域作物的可见光和NIR图像,通过图像处理技术从作物图像获得反射光谱信息.采集平台包括一个2CCD多光谱相机,两个采集盒,一台具有两个千兆网口的田间计算机.图像处理部分通过2GRB灰度化、中值滤波和Otsu二值化,从背景中分割出作物图像,结合作物原始R分量灰度图像,提取出作物红光图像平均灰度值,利用建立的灰度值与反射率的线性模型,计算得到作物红光波段的反射率.试验结果表明,图像采集平台工作稳定,利用图像处理方法提取的反射率与ASD光谱仪测量结果有较好相关性,为从作物冠层图像探测生长状况提供了理论依据.     

基于MMC与CV模型的苗期玉米图像分割算法

针对苗期玉米田复杂土壤背景噪声,提出一种基于MMC（最大间隔准则）与CV（Chan-Vese）模型的玉米彩色图像分割算法。利用MMC对玉米彩色图像灰度化,用TV（全变分）滤波器对灰度图像进行去噪,用CV模型对去噪图像进行图像分割。试验结果表明,算法优于传统的颜色因子与Otsu组合算法,能有效去除图像中的小杂草和青苔,实现玉米目标提取,错分率为4.32%,漏分率为9.69%,相似度为86.57%。     

基于RGB-D相机的黄瓜苗3D表型高通量测量系统研究

传统的人工种苗表型测量方式存在效率低、主观性强、误差大、破坏种苗等问题，提出了一种使用RGB-D相机的黄瓜苗表型无损测量方法。研制了自动化多视角图像采集平台，布署两台Azure Kinect相机同时拍摄俯视和侧视两个视角的彩色、深度、红外和RGB-D对齐图像。使用Mask R-CNN网络分割近红外图像中的叶片和茎秆，再与对齐图进行掩膜，消除了对齐图中的背景噪声与重影并得到叶片和茎秆器官的对齐图像。网络实例分割结果的类别和数量即为子叶和真叶的数量。使用CycleGAN网络处理单个叶片的对齐图，对缺失部分进行修补并转换为3D点云，再对点云进行滤波实现保边去噪，最后对点云进行三角化测量叶面积。在Mask R-CNN分割得到的茎秆对齐图像中，利用茎秆的近似矩形特征，分别计算茎秆的长和宽，再结合深度信息转换为下胚轴长和茎粗。使用YOLO v5s检测对齐图中的黄瓜苗生长点，利用生长点与基质的高度差计算株高。实验结果表明，该系统具有很好的通量和精度，对子叶时期、1叶1心时期和2叶1心时期的黄瓜苗关键表型测量平均绝对误差均不高于8.59%、R²不低于0.83,可以很好地替代人工测...     

利用无人机影像监测不同生育阶段玉米群体株高的精度差异分析

为明确利用无人机影像监测玉米群体株高的精度及其影响因素,本研究基于无人机搭载光学成像设备构建大田玉米群体数字高程模型（Digital Elevation Model,DEM）,研究不同生育时期下玉米群体株高监测的精度差异。针对3个玉米品种、8个播期处理构建的株高差异化群体,用多旋翼无人机搭载高清RGB相机和多光谱成像设备,采集试验区高清RGB和多光谱影像,获取玉米群体数字高程信息DEM和各处理区植株高度,分析不同品种和播期处理下基于无人机和人工测量株高间的相关关系。试验结果表明,高清RGB相机和多光谱成像设备获取的DEM均能反映玉米群体的高度差异。高清RGB相机的株高监测精度优于多光谱成像设备,但株高监测精度不足,难以反映玉米群体的较小株高差异。不同生育阶段对玉米株高监测精度具有较大影响,生育前期冠层尚未全部覆盖地表或生育后期植株衰老叶片枯黄下垂时,受裸露地表影响,群体株高被严重低估。本研究分析了影响无人机搭载成像设备监测玉米株高精度的因素,可为该方法应用于大田生产提供借鉴意义。     

基于RGB-D相机的油菜分枝三维重构与角果识别定位

为实现高效低成本的油菜植株三维建模和表型参数在线测量,提出一种基于RGB-D相机的油菜分枝三维重建和角果识别定位方法。使用Kinect传感器拍摄角果期油菜分枝在4个视角下的彩色图像和深度图像,进而获取油菜植株的三维点云并滤波。对配准的点云进行旋转变换,计算点云的曲面法矢量和曲率,并由曲率相近的点构成配对点对,再使用基于KD-tree搜索的最近点迭代(ICP)算法实现点云的初配准。将初配准误差作为参考值,调整ICP算法的对应点距离阈值,使用初配准的操作流程对初配准得到的新点云进行再次配准,完成精配准。结合该三维重建方法和针对性的彩色图像处理方法,得到去除主茎的单分枝油菜角果的完整点云,再进行欧氏聚类实现单个角果的空间定位。实验结果表明,提出的三维重建方法具有较强的实时性和鲁棒性,单个角果的三维形态清晰可见,点云平均距离误差小于0. 48 mm,角果总体识别正确率不小于96. 76%。     

基于深度图像的球形果实识别定位算法

为了解决近色背景果实识别困难问题,针对果实近球形的形态特性,提出了一种利用深度图像从果实形态角度进行果实识别定位的算法。该算法使用深度摄像头获取果树的深度图像,通过深度图像计算出各像素点的梯度向量,将梯度向量看作运动矢量场,并计算出矢量场的散度,根据散度最大原则,从矢量场中搜索出辐散中心点;然后利用果实和叶片等深图像的差异从辐散中心点中筛选出果实中心点,以果实中心点为起点采用八方向搜索方法搜索出果实边界点,将果实边界点依次连接后形成的封闭区域内的果实图像导入点云;最后根据果实图像部分点云利用RANSAC算法求出目标果实的拟合球形,进而得出果实的尺寸以及三维空间位置。该算法无需传统算法需要利用的颜色特征,而仅利用了深度图像中的深度信息进行果实识别定位,能够克服传统算法受色彩、光照等因素影响的弊端,并且由于该算法完全没有利用到彩色图像信息,因此不仅可以实现绿色果实的识别定位,还可以实现采摘机器人在夜间环境下正常工作,为复杂环境下的果实识别定位算法研究提供了技术支撑。     

基于快速点特征直方图的树木点云配准

随着农林业智能化与信息化发展,树木三维重建技术成为国内外研究的热点.为获取具有颜色信息的树木三维点云,需配准不同视角下的彩色点云数据,为果树三维重建提供基础数据.为此采用仿真树模拟果树,提出一种基于快速点特征直方图(FPFH)的树小点云配准方法,通过添加标定物增加具有稳定FPFH特征的点云个数,从而提高点对配准精度.首...     

基于Kinect相机的穴盘苗生长过程无损监测方法

为实现工厂化穴盘苗的无损测量,提出一种基于Kinect相机的穴盘苗生长过程无损监测方法。以黄瓜穴盘苗为监测对象,在穴盘苗正上方架设Kinect相机,获取穴盘苗的彩色图像和深度图像,并进行彩色图和深度图之间的像素匹配;通过对彩色图像进行预处理、阈值分割、形态学运算和连通分量统计,获取穴盘发芽率;同时,由图像分割获取的幼苗轮廓和深度值计算得到叶片中心像素点坐标及其对应的深度,以此得到相机到幼苗叶片中心的高度,结合相机到穴盘格的距离和穴盘高度,实现对穴盘苗株高的监测;将深度图像进行直通滤波、条件滤波、边界保持滤波处理,有效去除穴盘苗周围的背景噪声以及波动幅度大的深度数据,获得幼苗叶片中像素点的有效深度,通过在深度图像中对叶片进行重建实现叶面积分析;基于获取的穴盘苗株高和叶面积建立壮苗指数评价模型。利用穴盘苗生长过程监测数据进行实验验证,结果表明,在发芽后5 d内,发芽率误差不大于1.567%;株高和实际株高之间的拟合优度R²为0.875,RMSE为1.395 mm;叶面积平均误差为2.15%;壮苗指数拟合优度R²为0.958。说明本文设计的穴盘苗监测方法可以实现对穴盘苗的发芽率、株高、叶面积和壮苗指数的无损监测,为工厂化穴盘苗生长过程监测提供了有效的解决方案。     

基于激光视觉的温室作物茎叶量测方法

为实时获取温室作物生长形态参数,应用线激光,对作物整体进行非接触式扫描,通过CCD摄像机实时拍摄扫描过程,采用重心法计算激光光条中心,获取作物叶片与茎秆的三维点云信息,实现作物形态三维点云结构重建;提出适用于作物三维点云数据特征的迭代法,提取叶片点云子集的中心轴线,通过曲线拟合计算叶片长度;根据摄像机透视原理,提出针对细小茎秆的静态定位法计算茎秆直径。试验表明,激光视觉量测叶片长度与茎秆直径的准确率分别为95.39%(SE为0.2961,R2=0.916)和94.55%(SE为0.008 7,R2=0.915)。     

基于深度信息的草莓三维重建技术

以盆栽和高架两种栽培模式生长环境下的草莓植株为研究对象,提出了一种基于深度信息分割聚类的草莓冠层结构形态三维重建算法。首先,以深度信息的不连续性特征作为草莓植株逐层分割的重要依据,以深度二维图像作为全局参考指标,提出深度信息步进方法,自动提取冠层点云;其次,改进密度聚类算法,有效滤除随机、跳边和背景噪声;最后,改进基于Harris算子的多源图像融合算法,实现彩色图像与强度图像的配准及点云颜色的映射,三维重建出具有颜色信息的草莓冠层结构形态。为验证该算法的有效性,将三维重建后冠层的平均单叶长度及A-B线距离作为评价指标,试验结果表明,模型的平均单叶长度计算正确率为93%左右,A-B线距离计算正确率为97%左右,研究结果可为草莓采摘机器人果实识别过程中枝叶空间结构关系的构建提供技术支持。     

基于SICK和Kinect的植株点云超限补偿信息融合

针对传统点云信息融合需要限制传感器之间位置以及繁杂标定和Kinect传感器室外工作受光照条件影响会出现目标边缘缺失的问题,提出了基于SICK和Kinect相机组合探测的植株点云超限补偿信息融合方法。首先采用SICK二维激光传感器融合实时行进速度传感器,实现对植株三维点云重构,同时通过Kinect传感器获取植株彩色和深度图像合成彩色点云,然后分别对SICK和Kinect异源点云进行阈值滤波预处理和体素栅格下采样,求取各点法线及快速点特征直方图,利用采样一致性初始配准方法使异源点云之间拥有较好的初始位置关系,再进一步使用ICP算法精确配准,通过近似最近邻搜索和超限补偿的方法完成点云信息融合。在超限补偿方法中,通过对比转换后点云间误差,判断数据有效性,实现对数据的最终融合。试验结果表明,本文方法可以有效、准确地实现不同点云之间的信息融合,并能有效抑制阳光的干扰。