基于双目立体视觉技术的玉米叶片三维重建

玉米叶片的三维形态特征是衡量叶片生物学特性的重要指标,为了能够简捷、快速、准确的获得叶片的三维形态,该研究以两个位置相对固定的摄像机组成双目立体视觉系统,采用平面模板法标定摄像机内外参数,照射结构光测量玉米叶片边缘与叶脉点的三维坐标,对稀疏离散点进行Cardinal样条插值,三角面片化插值点重建出部分叶片三维曲面,旋转平移各部分三维曲面拼接成完整的叶片。试验结果表明该文所提出的方法不仅能够准确的重建玉米叶片三维结构,同时具有无损、非接触、自动化程度高等优势。     

基于三维点云的植物多任务分割网络

在植物表型研究中,植物器官分割是实现无损、高通量、自动化表型测量的重要步骤。然而,现有植物器官分割方法通常需要凭借经验设置合理的阈值参数,且很少同时执行语义分割和实例分割。该研究提出了一个基于三维点云的植物多任务分割网络（a multi-task segmentation network for plant on 3D point cloud,MT-SegNet）,结合多值条件随机场（multi-value conditional random field,MV-CRF）模型,同时实现茎、叶语义分割和叶实例分割。在MT-SegNet中,为解决用最大池化或平均池化方法来聚合邻域点特征可能会导致重要信息丢失的问题,该研究提出了一种基于注意力机制的多头注意力池化模块。它能自动学习到重要的邻域点特征,从而有利于提高网络的分割性能。同时,MT-SegNet分成两个不同的分支,分别用于预测点的语义类别和将这些点嵌入到高维向量,以便将这些点聚类为实例。最后,使用MV-CRF进行多任务的联合优化。在彩叶芋点云数据集上的试验结果表明,该方法的茎、叶语义分割的交并比、准确率、召回率和F1分数的平均值分别为84.54%、93.64%、91.39%、92.48%,叶实例分割的平均准确率、平均召回率、平均实例覆盖率和平均加权实例覆盖率分别为88.10%、78.44%、76.24%、76.93%,均优于PointNet、JSNet等现有的深度学习网络。该模型也适用于类似植物的点云分割类任务。这有助于为植物自动化表型测量提供必要的技术条件。     

基于立体视觉的玉米雄穗三维信息提取

玉米雄穗的表型信息对玉米育种研究具有重要的参考意义。该研究以自动获取玉米雄穗三维表型信息为目的。通过对雄穗样本进行多视角摄影处理来重建其三维模型。对重建的三维点云数据运用基于密度聚类的方法统计其分枝数信息,运用Delaunays三角网方法计算其外包络体积信息,并基于点云信息对雄穗主轴和最大穗冠的结构参数进行计算,同时定义了相关表型参数。用实测结果验证计算结果:分枝数统计结果的最大绝对误差为2,RMSE(root mean square error)为1.03,n RMSE(normalized root mean square error)为0.05;主轴长度,主轴最大/最小直径,最大穗冠高度和最大穗冠直径的R~2分别为0.99,0.82,0.83,0.97和0.93,均达到极显著相关水平。研究提出的相关表型参数和其提取方法在育种研究中具有应用潜力,为田间高通量雄穗信息的快速提取提供了参考。     

基于机器视觉的红掌检测分级方法

中国盆花销售量随着消费水平的提高而迅速攀升,四大盆花之一的红掌在规模化生产中存在分级标准掌控不统一、分级结果不稳定以及效率低下等问题,制约了红掌产品的规模化生产,影响了红掌的出品质量。该研究提出基于机器视觉技术的红掌分级检测方法,对90株红掌的水平和竖直方向图像采集,经过二值化等处理,从侧视轮廓、俯视轮廓及佛焰苞轮廓特征三方面获取红掌植株的高度、冠幅、佛焰苞片数、苞片横径4项指标的信息, 针对每一项指标提出检测方法。试验结果表明,该方法对植株高度测量误差小于5.4 mm;针对植株冠幅提出了当量直径测量方法,佛焰苞片数测量正确率可达98.9%,苞片横径相对误差最大为6.52%。针对试验所选90盆红掌分级成功率达到97.8%。研究表明,利用机器视觉技术能够很好地实现对红掌盆花的在线检测分级。     

基于多视角立体视觉的植株三维重建与精度评估

基于图像序列的植株三维结构重建是植物无损测量的重要方法之一。而对重建模型的精度评估方法大多基于视觉逼真程度和常规测量数据。该研究以精确的激光扫描三维模型为参照,采用豪斯多夫距离,从三维尺度上对基于图像序列的植株三维重建模型进行精度评估。同时,从植株表型参数(叶片长、宽、叶面积)方面,对植株三维重建模型进行精度评估。结果表明,基于图像序列的三维重建模型精度较高,豪斯多夫距离在0~10 mm之间,各试验植株豪斯多夫距离大多小于4.0 mm,各植株表型参数与其对照值的R2均大于0.95,且两者的无显著性差异(P0.05)。此植株三维结构重建方法能够应用于植物表型、基因育种、植物表型与环境互作等研究领域。     

基于鱼体特征点检测的淡水鱼种类识别

针对传统机器视觉技术对淡水鱼种类进行检测时特征提取过程复杂的问题,该研究提出了基于特征点检测的淡水鱼种类识别方法。以鳊、鳙、草鱼、鲢、鲤5种大宗淡水鱼为对象,构建了淡水鱼特征点检测数据集;以AlexNet模型为基础,通过减小卷积核尺寸、去除局部响应归一化、引入批量归一化、更换损失函数,构建了改进AlexNet模型用于特征点检测;并以特征点为依据提取特征值、构造特征向量,使用Fisher判别分析方法实现了淡水鱼的种类识别。试验结果表明：改进AlexNet模型在测试集上的归一化平均误差的均值为0.0099,阈值δ为0.02和0.03时的失败率F_0.02、F_0.03分别为2.50%和0.83%,具有较好的精准度和误差分布情况;基于该模型和Fisher判别分析的淡水鱼种类识别方法对5种淡水鱼的识别准确率为98.0%,单幅图像的平均识别时间为0.368 s,保证了时效性。由此可知,提出的改进AlexNet模型能实现淡水鱼的特征点检测并具有较高的精度,可为淡水鱼种类识别、尺寸检测、鱼体分割等提供条件,该方法可为淡水鱼自动化分类装置的研发奠定基础。     

基于机器视觉的鲐鱼鱼体定向排列输送装置设计与试验

针对传统鱼体头尾及腹背定向输送由人工操作完成,劳动强度大、生产效率低等问题,该研究探索了利用机器视觉技术结合输送装置实现鱼体头尾及腹背定向排列输送的方法。该研究以鲐鱼(Scomber japonicus)为研究对象,在对鱼体形态特征及物理特性检测的基础上,设计了鱼体提升装置、鱼体分离输送装置、鱼体头尾及腹背定向输送装置、鱼体返回输送装置、定向控制系统等部件组成鲐鱼鱼体定向排列输送装置;构建YOLOv5s目标检测模型对鲐鱼的头尾朝向和腹背朝向进行识别,并根据识别结果控制鱼体定向排列输送完成鲐鱼的头尾和腹背定向作业,检测模型在测试集上的精确率为99.76%,召回率为99.59%,平均检测精度值为99.5%;试制了鱼体定向排列输送装置样机,以单条鱼体提升成功率为评价指标,对不同输送速度下鱼体提升装置的输送效果进行试验;同时以鱼体的头尾定向成功率和腹背定向成功率作为评价指标,以鱼体提升装置输送速度、鱼体分离输送装置输送速度、鱼体头尾及腹背定向输送装置输送速度为试验因素,对鱼体定向排列输送装置的定向输送效果进行试验。试验结果表明：鱼体提升装置在不同输送速度下,都能有效实现鱼体单条分离并向上提升,且不存在鱼体重叠向上输送的情况;当鱼体提升装置输送速度为0.05 m/s、鱼体分离输送装置输送速度为0.45 m/s、鱼体头尾及腹背定向输送装置输送速度为0.60 m/s时,鲐鱼鱼体的头尾定向成功率平均为97.2%,腹背定向成功率平均为95.6%,鱼体定向输送速度可达15条/min。研究结果可为其他淡水鱼鱼体定向排列输送装置的研制提供参考。     

田间道路改进UNet分割方法

为了保证自动驾驶农机的安全行驶,需要对农田间道路进行高精度识别.该研究以北京市大兴区榆垡镇为研究地点,构建了农田间道路图像数据集,使用开源标注工具Labelme软件进行图像标注,以UNet为基本网络结构,针对分割过程中存在的道路边缘和远处道路分割效果较差等现象,提出了3个改进方向:在编码器网络中添加残差连接,增加网络复...     

基于机器视觉技术的淡水鱼品种识别

为了后续加工便利,需要对打捞上来的淡水鱼进行分类,而且分类是淡水鱼加工前处理的重要工序之一。为了实现淡水鱼的自动分类,该研究通过收集常见的4种淡水鱼240条为试验样本,分别为鲢鱼、鲫鱼、鳊鱼和鲤鱼。通过运用机器视觉技术采集各种淡水鱼的图像,并运用数字图像处理技术对图像进行处理,提取其各个颜色分量及长短轴之比等特征值,最后运用该特征值建立有关淡水鱼的品种识别模型。研究表明,通过该识别模型可以完全实现对鲢鱼、鲫鱼、鳊鱼和鲤鱼这4种淡水鱼的品种的识别,准确率达到96.67%。机器视觉技术可以快速准确对常见的淡水鱼进行品种识别,具有较强的实际应用价值。     

基于多尺度几何感知Transformer的植物点云补全网络

对植物幼苗进行三维重建,常存在叶片间的遮挡、摄像头视野限制等因素导致植物幼苗点云出现缺失的情况,影响了植物表型分析的准确度。为了能获得完整的植物点云,提出了基于多尺度几何感知Transformer（Multi-Scale Geometry-Aware Point Transformer,MGA-PT）的植物点云补全网络。该网络首先通过降采样特征提取模块对原始点云进行邻域特征提取;然后利用Transformer提取语义信息,引入多尺度几何感知模块提取不同尺度下的几何信息,加强对植株不同器官的特征提取能力;最后使用双路稠密点云生成模块分别对输入部分和预测部分进行细粒度生成,避免输入点云特征的丢失,保证稠密点云贴近实际分布。试验使用基于运动恢复结构的方法对植物幼苗进行三维重建,通过旋转与固定视点缺失构建数据集。试验结果表明,该补全网络表现出色,比目前主流的补全网络更优,对植株数据集补全结果的倒角距离为0.79×10-4 cm,地面移动距离为0.11 cm,F1分数为70.77%,且对不同形态、不同比例的缺失均能补全,体现网络具有稳定性与健壮性。该网络对叶类植物补全效果好,为植物幼苗点云补全提供了新思路。     

基于语义部位分割的条纹斑竹鲨鱼体运动姿态解析

条纹斑竹鲨具有较高的经济价值和医用研究价值.人工驯养对环境和温度等因素要求较高,时常出现大规模病死现象.利用视频图像量化分析鱼体运动行为,有助于进行异常识别和早期预警,将有效提高养殖养护水平.该研究针对人工驯养的条纹斑竹鲨鱼,提出一种基于深度神经网络的语义部位分割方法,并将分割结果应用于剖析条斑鲨鱼体运动姿态.首先,依...     

基于机器视觉技术的淡水鱼质量分级

为了便于淡水鱼后续加工,需要对其进行大小分级,而且分级是淡水鱼加工前处理的重要工序之一。该研究收集86条淡水鱼为试验样本,利用机器视觉技术获取淡水鱼样本图像,对样本图像进行灰度化、二值化、轮廓提取等预处理,获取长短轴、投影面积等特征值。通过试验研究,建立有关鱼的头部、腹部和尾部的长度以及质量关系,运用各部分所占总质量的比例对特征值面积进行一定的校正,最后通过回归分析建立鱼体质量的预测模型。试验结果为：鱼体质量与投影面积之间是高度相关,其决定系数R2为0.9878,并对质量预测模型进行验证,验证相对误差均值为3.89%,绝对误差均值为6.81 g。试验结果表明,利用机器视觉技术可以为淡水鱼质量分级方法提供参考。     

采用机器视觉和傅里叶频谱特征的循环水养殖鱼类摄食状态判别

为精准判别工厂化循环水养殖池中鱼类摄食行为动态,实现精准投喂,该研究提出一种基于傅里叶频谱特征提取并通过支持向量机分类的鱼类摄食行为判断方法.首先,对采集到的工厂化循环水养殖池中鱼群的摄食影像作水花前景提取,并从空域转化至频域;然后,在频域内构建环形滤波器,通过频谱滤波确定特征向量提取范围(更明显表征图像灰度变化剧烈程...     

基于机器视觉的板栗分级检测方法

为实现合格和缺陷板栗的分级,研究了1种基于BP神经网络与板栗图像特征的板栗分级方法。试验以罗田板栗为研究对象,提取的颜色及纹理等8个特征值,通过主成分分析提取相应的主成分得分向量构成模式识别的输入。利用BP神经网络方法建立了板栗分级模型。试验结果表明,在图像信息主成分因子数为3,中间层节点数为12时,建立的模型最佳,模型训练时的回判率为100%,预测时识别率达到了91.67%。研究结果表明基于机器视觉技术的针对缺陷板栗分级检测方法是可行的。     

基于机器视觉的植物群体生长参数反演方法

为实现植物群生长参数在线无损检测,采用机器视觉技术捕获植物群冠层图像,通过RGB空间超绿色-超红色指标(excess green minus excess red,ExG-ExR)、超绿色指标(excess green,ExG)和归一化差异指标(normalized difference indices,NDI)3种指标分割植物群冠层图像,提取植物群图像特征参数:覆盖率、冠层幅长和冠层幅宽,并结合人工测量植物群体参数:茎秆高度、茎直径、叶面数量、坐果数量和叶面指数(leaf area index,LAI)(拟合值),建立植物群5个生长参数的5种反演模型分别为覆盖率反演模型、冠层幅宽反演模型、冠层幅长反演模型、回归方程反演模型和均值反演模型。结果表明:采用ExG-ExR分割的植物群冠层区域与人工提取区域重合度大于99.5%,识别率大于98.2%,分割性能优于ExG+Otsu和NDI+Otsu分割方法。采用120幅反演模型验证图验证反演模型性能,结果表明植物群冠层覆盖率反演模型反演5个植物群生长参数时,其反演值与测量值间相关性决定系数大于0.958,性能优于冠层幅宽和幅长反演模型,而回归方程和均值反演模型在反演植物群5个生长参数时,都仅有2个参数反演性能优于覆盖率反演模型。茎秆高度、叶面数量、茎直径、坐果数量和LAI的反演模型反演值与测量值间线性相关决定系数最高分别为0.979、0.976、0.979、0.965和0.973,标准误差(standard error,SE)分别为10.55 cm、1.37、0.213 mm、0.672和0.055,其对应的反演模型分别为均值反演模型、覆盖率反演模型、覆盖率反演模型、覆盖率反演模型和均值反演模型。通过机器视觉技术及反演模型能够在线无损准确反演植物群生长参数,为温室环境调控及精准肥水一体灌溉控制系统提供具有代表性意义的决策依据。     

基于轮廓分割的草莓叶片三维建模

为精确构建原位草莓植株三维空间结构,以高架栽培模式生长环境下的草莓植株为研究对象,提出了一种基于多源图像轮廓分割的草莓植株结构形态三维重建算法。通过改进的多源图像融合算法,建立多源图像映射关系,融合预处理后的多源信息得到待分割强度图;计算待分割强度图矢量场卷积的局部中心,选出多目标的初始轮廓控制点,将参数的活动轮廓模型应用于待分割强度图像进行叶片的分割;采用标记的方法将分割轮廓映射至距离点云集,设计以单个叶片为单位的平面拟合选择机制,最终完成草莓三维模型的重建及显示。为验证该算法的有效性,将三维重建后的有效叶片数,平均单叶长度及叶片距离差作为评价指标,实验结果表明,有效叶片数正确率为85.6%,平均单叶长度模型正确计算率为88.4%,叶片距离差正确计算率为82.4%,研究结果可应用于原位草莓植株的空间位置测量,可为农业机器人局部视觉场景中植株空间结构的构建提供参考。