基于点云图的农业导航中障碍物检测方法

为满足智能农业机器人路径规划中障碍物检测的需求,针对传统双目视觉中用于障碍物检测算法的局限性,提出基于点云图的障碍物距离与尺寸的检测方法。该方法以双目视觉中以立体匹配得到的点云图为对象,通过设置有效空间,对不同区域处点云密度的统计,找到点云密度随距离的衰减曲线。远距离障碍物由于相机分辨率的不足,点云密度会随距离下降,通过密度补偿算法进行补偿,经二次设置有效空间后锁定障碍物位置,将目标点云分别投影于俯视栅格图和正视图中,获得其距离和尺寸信息。试验表明:该方法能有效还原障碍物信息,最大测距范围为28 m,平均误差为2.43%;最大尺寸检测范围为10 m,长度和高度平均误差均小于3%。该文基于点云图的栅格化表示和密度补偿算法,通过设置有效空间将点云投影得到障碍物距离和尺寸,不同环境下的精度测试和距离检测验证了可靠性和鲁棒性。     

基于毫米波雷达的果园单木冠层信息提取

为解决当前果园探测技术难以在恶劣的果园环境中提取果树冠层信息的问题。该研究将毫米波雷达应用于果园冠层探测,搭建了基于毫米波雷达的果园冠层探测系统,利用该系统扫描得到了果园点云,检测和估算得到每棵果树的株高、冠幅和体积参数。针对毫米波雷达在不同距离下产生点云密度不同的问题,该研究提出了一种基于可变轴的椭球模型自适应密度聚类算法,用以提高果树点云识别效果,进而使用Alpha-shape算法和随机抽样一致算法（Random Sample Consensus）对果树进行了表面重建和结构参数的提取。通过与人工测量数据比较,该研究提出的聚类算法可以有效的识别和提取单木冠层点云,代表果树识别精度的 F1 分数为 93.7%;检测到的果树的株高和冠幅的平均相对误差分别为8.7%和8.1%,决定系数分别为0.84和0.92,均方根误差分别为16.39和7.82 cm;使用Alpha-shape算法计算得到平均果树体积为5.6 m3,相比传统几何法测量体积,体积计算准确度提高了59.4%。该研究表明毫米波雷达可以用于果园冠层信息的准确提取,为采集果园冠层信息提供了技术,对农业信息采集和自动化作业技术的发展具有重要意义。     

基于全方位视觉传感器的农业机械定位系统

利用全方位视觉传感器能提供传感器周围360°范围内信息的图像,通过全方位图像可准确获取物体方向角,基于该特点研发一种可以实现农业机械自动导航的定位系统。该系统硬件主要由全方位视觉传感器、人工标识、PC、PC软件和作业车构成。该计算算法首先通过全方位视觉系统的校正,得出相机的成像投影中心;通过图像处理提取人工标识的位置,估算出标识相对于相机的方向角,然后根据圆周角定理和几何关系计算出相机的位置来完成农业机械的定位。在面积为5×3 m2的水泥地面和白炽灯光的实验室中进行试验,平均选取10个位置进行试验,试验结果显示估算点和选取点间距离的平均误差小于3 cm。研究证明该定位系统是可行的。     

基于Census变换的双目视觉作物行识别方法

针对基于双目视觉技术的作物行识别算法在复杂农田环境下,立体匹配精度低、图像处理速度慢等问题,该文提出了一种基于Census变换的作物行识别算法。该方法运用改进的超绿-超红方法灰度化图像,以提取绿色作物行特征;采用最小核值相似算子检测作物行特征角点,以准确描述作物行轮廓信息;运用基于Census变换的立体匹配方法计算角点对应的最优视差,并根据平行双目视觉定位原理计算角点的空间坐标;根据作物行生长高度及种植规律,通过高程及宽度阈值提取有效的作物行特征点并检测作物行数量;运用主成分分析法拟合作物行中心线。采用无干扰、阴影、杂草及地头环境下的棉田视频对算法进行对比试验。试验结果表明,对于该文算法,在非地头环境下,作物行中心线的正确识别率不小于92.58%,平均偏差角度的绝对值不大于1.166°、偏差角度的标准差不大于2.628°;图像处理时间的平均值不大于0.293 s、标准差不大于0.025 s,能够满足田间导航作业的定位精度及实时性要求。     

大视场下荔枝采摘机器人的视觉预定位方法

机器人采摘荔枝时需要获取多个目标荔枝串的空间位置信息,以指导机器人获得最佳运动轨迹,提高效率。该文研究了大视场下荔枝采摘机器人的视觉预定位方法。首先使用双目相机采集荔枝图像;然后改进原始的YOLOv3网络,设计YOLOv3-DenseNet34荔枝串检测网络;提出同行顺序一致性约束的荔枝串配对方法;最后基于双目立体视觉的三角测量原理计算荔枝串空间坐标。试验结果表明,YOLOv3-DenseNet34网络提高了荔枝串的检测精度与检测速度;平均精度均值(mean average precision,m AP)达到0.943,平均检测速度达到22.11帧/s。基于双目立体视觉的荔枝串预定位方法在3 m的检测距离下预定位的最大绝对误差为36.602 mm,平均绝对误差为23.007 mm,平均相对误差为0.836%,满足大视场下采摘机器人的视觉预定位要求,可为其他果蔬在大视场下采摘的视觉预定位提供参考。     

采用双目视觉和自适应Kalman滤波的作物行识别与跟踪

针对传统作物行识别方法在相邻图像间的识别结果偏差较大,作物行的定位精度和稳定性低等问题,该研究提出一种基于双目视觉和自适应Kalman滤波技术的作物行识别与跟踪方法。对于作物行识别,首先建立图像预处理算法,基于改进的超绿-超红模型和最大类间方差法分割植被灰度特征;建立作物行特征提取算法,基于特征点检测技术和双目视差测距方法计算植被角点特征的三维坐标,根据三维阈值提取作物行特征点,进而建立作物行中心线检测算法,建立基于主成分分析的直线拟合模型,根据作物行特征点的频数统计规律检测作物行冠层中心线。对于作物行跟踪,建立跟踪目标规划模型,提取位于图像中央区域的作物行作为跟踪目标;建立目标状态方程,基于自适应Kalman滤波技术构建作物行中心线跟踪模型。以棉花图像开展试验研究,图像数据包括阴影、杂草、地头等田间场景。试验结果表明,该研究方法的作物行识别准确度、精度和速度均较高,识别正确率约为92.36%,平均航向偏差为0.31°、标准差为2.55°,平均识别速度约80.25 ms/帧;经目标跟踪后,航向角和横向位置估计的标准差分别为2.62°和0.043 m、较无跟踪状态分别减小22.94%和10.42%,作物行中心线的方位估计精度进一步提高。研究成果可为导航系统提供连续、稳定的作物行导引参数。     

利用单目视觉获取钵苗移栽适合度信息的方法

钵苗在穴盘中的生长状态各异,钵苗移栽是育苗过程的关键环节。为提高移栽后钵苗成活率,解决出苗不齐和断苗等问题,需对被移栽钵苗的直立度和高度等适合度信息进行综合评价,筛选出符合移栽要求的钵苗。图像采集系统中的顶杆能够顶起穴盘中的钵苗旋转90°,相机采集钵苗转动90°前后2幅图像,图像RGB各通道灰度值概率直方图存在灰度集中区域。首先,采用24位RGB源图像转8位灰度图、中值滤波和灰度拉伸算法对图像进行预处理;然后,使用细化、水平膨胀和垂直腐蚀等图像处理算法,获取钵苗主茎秆的特征;最后,采用标准差为0.65的3×3高斯模板Harris角点检测算法提取每株钵苗主茎秆上的关键点信息,对其加权最小方差直线拟合获取拟合直线,直线的斜率换算后作为钵苗直立度的判定值,以每一株钵苗的全部角点y坐标最大差值的110%作为钵苗高度的判定值。只有钵苗的直立度和高度都满足各自评价指标要求才被认为适合移栽。试验获取了12幅图像共计30株辣椒钵苗在0和90°位置的直立度和高度,每幅图像处理算法平均耗时0.35 s。按直立度(45°α135°)和高度(H105 mm)评价指标判定,5株钵苗不适合移栽;2株钵苗的视觉检测结果与人工测量结果相反,视觉检测结果与人工测量结果之间的偏差率为6.67%。出现检测偏差的原因主要是钵苗叶对茎秆的遮挡和移栽机的振动使得钵苗在转动90°的前后与顶杆的相对位置发生了变化影响了人工和视觉测量的精度。该方法能够满足钵苗移栽机实时筛选工作的需求。     

基于虚拟现实的拖拉机双目视觉导航试验

针对农机导航系统的传统田间试验方式受作物生长状态的约束性较强,错过适当的作物生长时期将直接导致开发周期延长、成本增加等问题,该文提出了一种基于虚拟现实技术的拖拉机双目视觉导航试验方法。该方法以拖拉机为作业机械,苗期棉花为目标作物,在虚拟现实环境下建立田间作物行场景的三维几何模型,用于模拟田间试验场景;建立虚拟现实环境下的拖拉机物理引擎,根据实车参数及试验场景信息快速、准确地解算拖拉机的动力学参数,并且根据解算所得的状态参数在虚拟试验场景中实时渲染拖拉机的位姿状态;设计路径跟踪控制器,以经过双目视觉方法识别的田间路径为目标路径,根据拖拉机当前行驶路径与目标路径的相对位置关系解算并控制拖拉机前轮转向角度。以某型拖拉机参数为实车参数,采用大小行距方式布置5行曲线形态的苗期棉花作物行场景开展虚拟导航试验。拖拉机以不大于2 m/s的车速跟踪作物行时,平均位置偏差的绝对值不大于0.072 m、位置偏差的标准差不大于0.141 m;平均航向偏差的绝对值不大于2.622°、航向偏差的标准差不大于4.462°。结果表明:该文设计的拖拉机虚拟试验系统能够在虚拟现实环境下,模拟田间作物行环境开展基于双目视觉的导航试验,可为导航控制系统的测试及改进提供理论依据和试验数据。     

苹果采摘机器人中的图像配准技术

为了减少自然环境下的光线干扰,采用一个彩色相机和一个深度相机获取目标物的图像,利用多源传感器信息融合与互补方法,实现多目标图像的精确配准。基于TOF（time of flight）技术的PMD（polarization mode dispersion）相机,能实时获得强度图像和深度信息。以苹果树为研究对象,采用Harris检测提取特征点,在归一化互相关系数法的基础上运用邻域的支持强度实现了PMD图像与彩色图像的同名点配准。对自然场景中共50组图片进行试验验证,该方法顺光条件下正确匹配率达到85.75%,逆光条件下的匹配率是79.57%,能满足光线变化的图像精确配准的要求。     

融合毫米波雷达与机器视觉的田间道路视觉引导线提取

针对传统机器视觉算法难以获取准确视觉引导线的问题,该研究提出了一种利用深度学习算法获取视觉引导线的方法,并将毫米波雷达探测的目标运动状态信息考虑到视觉引导线的提取中,以安全避开障碍物。首先通过数据预处理方法过滤部分雷达目标数据,再利用多目标跟踪算法过滤干扰数据并对动态目标持续跟踪,为后续数据融合提供准确的雷达目标数据。然后制作田间道路环境数据集,搭建基于Deeplabv3 plus的改进语义分割网络。继而利用时间戳对齐和基于最小二乘法的坐标变换实现毫米波雷达数据与视觉数据在时间与空间维度的同步。最后基于无动态目标状态信息和有动态目标状态信息两种情况提出了相应的视觉引导线提取策略,进行相关试验测试了视觉引导线提取方法的效果。相比于人工测量的真实道路中点,在无动态目标场景下提取的视觉引导线的平均误差为1.60～9.20像素;而在有动态目标的场景下,能够成功获取避障的视觉引导线。研究结果有助于提升丘陵山区农业机械的智能化水平。     

土下作物自动对行挖掘收获试验台研制

为了提高土下作物机械化收获质量和效率,解决土下作物收获机械田间试验成本高、效率低、数据采集不便且受天气因素影响大等问题,该研究设计了一种土下作物机械收获自动对行挖掘试验台。该试验台主要由传动装置、速度调节装置、偏离行中心距调节装置、块根固定及株距调节装置、偏离探测装置、液压纠偏执行机构和挖掘模拟装置以及测控系统和液压系统组成。在分析试验台工作原理的基础上,进行了关键部件的结构设计及参数确定,设计了集成角度传感器、位移传感器、速度传感器的机电液一体化测控系统。以甜菜收获为研究对象,以株距、偏离行中心距离和前进速度为试验因素,以漏挖率为指标进行试验台准确性田间对比正交试验。试验结果表明,在不同前进速度、偏离行中心距离、株距等参数组合下,试验台试验漏挖率为2.33%~2.72%,田间试验漏挖率为2.38%~2.92%。与田间试验相比,漏挖率绝对偏差率范围为2.10%~6.85%,平均偏差率为3.67%,且漏挖率越大,偏差率越大,试验台具有较好的准确性。该研究可为甜菜、萝卜、土豆等土下作物的自动对行挖掘收获系统设计提供参考。     

车辆智能障碍物检测方法及其农业应用研究进展

农业机械自动导航技术的应用可提升作业的精度和安全性,而障碍物检测是其中的重要环节。该文按照传感技术的不同进行分类,从单一传感器检测技术到多传感器融合技术,对车辆智能障碍物检测方法及其农业应用的研究进展进行了综述。其中单一传感器检测技术包括超声波检测技术、激光雷达检测技术和机器视觉检测技术,超声波检测技术受障碍物表面情况影响、激光雷达检测技术成本太高、机器视觉检测技术算法复杂耗时长,均无法满足复杂农田环境需求;多传感器融合技术则可以融合单一检测技术的优点,该文概述了视觉检测技术与激光雷达检测技术融合、视觉技术与超声波技术融合以及融合了深度和彩色图像信息的Kinect传感器检测技术的应用情况。最后,总结现有技术存在的问题,并对未来的研究内容进行了展望,包括新型装置和新算法引入及原有传统方法的改进两个方面。     

协同光学与雷达遥感数据的面向对象土地覆盖变化检测

西南地区受云、雨天气的影响,高质量的光学数据难以获取,合成孔径雷达数据可以全天时全天候地工作,但其重访周期较长,因此在多云多雨地区协同光学与雷达数据开展土地覆盖变化检测,可以弥补单一遥感数据源的不足,对国土资源调查评估及全球变化研究具有重要的意义。该研究基于2019年眉山地区Sentinel-2光学数据对2016年和2019年全极化Radarsat-2数据生成的差异影像进行面向对象引导分割,提取对象级多维特征,并提出FSO-RF变化检测框架,该框架利用样本间距离度量可分性特征空间优化（Feature Space Optimization, FSO）方法来优化特征空间,结合面向对象的随机森林（Random Forest,RF）分类器实现土地覆盖变化检测,与现有的变化检测算法对比,该研究的变化检测框架在精度上有较大提升,在试验区的准确率达到92.90%,通过抽取具有代表性的样区进行检验,两个样区变化检测结果的准确率分别为95.08%和88.16%。该研究提出的算法框架可以很好地满足城镇、农田等不同地物类别的变化检测需求,在国土资源监测中具有一定的应用价值。     

水稻种子与斜面碰撞后运动规律的试验

利用高速摄影仪和高分辨率摄像头分别从竖直和水平两个方向对水稻种子与斜面发生碰撞后的运动轨迹进行了在线跟踪,通过摄像图片的再现,检测与分析了接触面材料、投种高度和斜面倾角对种子碰撞后各运动参数的影响。试验结果表明：随投种高度h增加,种子碰撞后第1次弹跳高度H1线性增大、沿斜面方向的弹跳距离L1也线性增大;随斜面倾角θ的增大,H1线性减小、L1呈指数规律增大;利用二元二次回归正交试验,建立了以投种高度和斜面倾角为自变量,以种子运动平面的侧向偏斜角度为目标函数的种子运动行为预测模型。研究成果为输种管的结构设计提供参考。     

Combined method of image and cluster analysis to estimate the structural diversity of fungal communities

A method was designed to simultaneously estimate the diversity of fungal communities and growth-related indices. It is based on cluster analysis of image data of fungal colonies growing in agar plates. A total of 20 features (colony area, mean colours of the upper and lower colony sides as well as features describing the colour distribution) were recorded. The relative differentiating powers of these features were determined. Since the intensity of colours and their ratio to one another were dependent on the camera distance, colours were recorded at a constant distance of 36 cm. In contrast, growth rates were taken at a distance of 68 cm. Identification of a reproducible clustering level was favoured by the fact that, when similarity was reduced in dendrograms, the evenness in type distribution decreased at a higher rate than the number of image types and, in addition, exhibited distinct minima and intermittent maxima. In all data sets examined, abundant and rare image types, including singletons, always occurred at the first evenness minimum. Comparing fungal samples from a metal-contaminated arable soil and the relevant control showed the richness in image types and three growth-related indices (the average and the variation coefficient of growth rates as well as the portion of isolates with growth rates >3 mm day^–1) to be greater in the control. Of these four indices, the former was the least sensitive and the latter the most sensitive indicator of metal stress.     

词袋特征PCA多子空间自适应融合的黄瓜病害识别

针对颜色纹理特征结合单一分类器的传统识别方法对于多种黄瓜病害的识别精度较低的问题,该文提出基于词袋特征PCA(principal component analysis)多子空间自适应融合的黄瓜病害识别方法。该方法首先对多种病害建立类别相关词袋模型,提取病害图像的高维词袋特征,然后用主成分分析法将病害高维特征降维到多个不同维数子空间,并在各子空间上分别训练BP(back propagation)神经网络;通过设置自适应阈值对待分类图像在各子空间上的分类得分进行融合得到识别结果。采集黄瓜角斑病、棒孢霉叶斑病、白粉病、霜霉病和炭疽病等5种常见病害部位图像共246幅,每类病害子图像中任意选择20幅作为训练集(共100幅),其余146幅作为测试集进行病害识别试验。结果表明在2个主成分子空间融合分类的平均准确率为90.38%,比传统颜色特征、纹理特征和颜色纹理混合特征识别率分别高6.97、26.15和13.02个百分点,且算法对不同类别病害的分类准确率更稳定,为温室黄瓜病害诊断提供了一种有效方法。     

利用融合高度与单目图像特征的支持向量机模型识别杂草

除草是保证农作物高产的必要工作。针对机械化除草和智能喷药中存在的杂草识别问题,以2~5叶苗期玉米及杂草为研究对象,进行了融合高度特征与单目图像特征的杂草识别方法研究。首先从单目图像中提取16个形态特征和2个纹理特征;然后基于双目图像,提出了针对植株的高度特征提取方法,所得高度特征与实际测量值间误差在±12 mm以内;利用max-min ant system算法对形态特征进行优化选择,将形态特征减少到6个,有效减少数据量62.5%,并与纹理和高度特征进行融合;将2~5叶玉米幼苗的可除草期划分为3个阶段,分别构建融合高度特征与单目图像特征的SVM识别模型,并与相应不含高度特征模型进行对比。经测试,3个阶段模型的识别准确率分别为96.67%,100%,98.33%;平均识别准确率达98.33%。不含高度特征模型的识别准确率分别为93.33%,91.67%,95%;平均识别准确率为93.33%。结果表明,融合高度特征与单目图像特征的SVM识别模型优于不含高度特征模型,平均识别准确率提高了5百分点。该方法实现了高准确率的杂草识别,研究结果为农业精确除草的发展提供参考。     

基于小波分解的油菜多光谱图像与深度图像数据融合方法

将多源数据融合分析可以降低单一图像造成的误判读,利用多源数据之间的冗余部分进行配准,利用互补信息完成融合,能够提高数据的信息量和可靠性。该文利用近地面遥感模拟平台分别获取油菜的多光谱图像和深度图像,将2种图像进行配准和融合。该文分别针对多光谱图像和光程差深度图像的成像特点,进行相机内外参计算与图像矫正。采用 SIFT（scale invariant feature transform）算法计算2源图像上的 SIFT 点,并依据关键点描述子进行匹配,之后通过关键点位置计算仿射变换矩阵对图像进行缩放、平移和旋转,从而实现变换后图像的配准。分别对 harr,Db2,Db4,Sym2, Sym4,Bior2.2,Bior2.4,Coif2,Coif 等9种小波基融合后的结果计算其相应的交叉熵、峰值信噪比和互信息量等5个参量进行评价,得出小波基 harr 和 sym4融合效果较好,各项指标均衡性较好。用 haar 小波基对配准后图像在3、4、5、6层分解融合,通过观察得出在多光谱与深度图像融合中第3层小波分解和第4层分解的融合效果较好。最终将深度图像的高程数据归一化之后进行植株三维构建,得到三维点云并进行可视化。     

基于垄线平行特征的视觉导航多垄线识别

为有效快速地识别农田多条垄线以实现农业机器人视觉导航与定位,提出一种基于机器视觉的田间多垄线识别与定位方法。使用VC++ 6.0开发了农业机器人视觉导航定位图像处理软件。该方法通过图像预处理获得各垄行所在区域,使用垂直投影法提取出导航定位点。根据摄像机标定原理与透视变换原理,计算出各导航定位点世界坐标。然后结合垄线基本平行的特征,使用改进的基于Hough变换的农田多垄线识别算法,实现多垄线的识别与定位。使用多幅农田图像进行试验并在室内进行了模拟试验。处理一幅320×240的农田图像约耗时219.4 ms,室内试验各垄线导航距与导航角的平均误差分别为2.33 mm与0.3°。结果表明,该方法能有效识别与定位农田的多条垄线,同时算法的实时性也能满足 要求。