基于语义分割的非结构化田间道路场景识别

环境信息感知是智能农业装备系统自主导航作业的关键技术之一。农业田间道路复杂多变,快速准确地识别可通行区域,辨析障碍物类别,可为农业装备系统高效安全地进行路径规划和决策控制提供依据。该研究以非结构化农业田间道路场景为研究对象,根据环境对象动、静态属性进行类别划分,提出一种基于通道注意力结合多尺度特征融合的轻量化语义分割模型。首先采用Mobilenet V2轻量卷积神经网络提取图像特征,将混合扩张卷积融入特征提取网络最后2个阶段,在保证特征图分辨率的基础上增加感受野并保持信息的连续性与完整性;然后引入通道注意力模块对特征提取网络各阶段特征通道依据重要程度重新标定;最后通过空间金字塔池化模块将多尺度池化特征进行融合,获取更加有效的全局场景上下文信息,增强对复杂道路场景识别的准确性。语义分割试验表明,不同道路环境下本文模型可以对场景对象进行有效识别解析,像素准确率和平均像素准确率分别为94.85%、90.38%,具有准确率高、鲁棒性强的特点。基于相同测试集将本文模型与FCN-8S、SegNet、DeeplabV3+、BiseNet模型进行对比试验,本文模型的平均区域重合度为85.51%,检测速度达到8.19帧/s,参数数量为,相比于其他模型具有准确性高、推理速度快、参数量小等优点,能够较好地实现精度与速度的均衡。研究成果可为智能农业装备在非结构化道路环境下安全可靠运行提供技术参考。     

采用改进YoloV4模型检测复杂环境下马铃薯

为解决马铃薯联合收获机在作业过程中分级清选的问题,并在收获作业过程中实时监测评估收获状态,该研究提出一种在光照亮度变化大、土壤与薯块遮挡、机器振动以及尘土干扰等情况下对马玲薯进行识别检测并快速准确获取马铃薯数量以及损伤情况的机器学习模型。在卷积神经残差网络中引入轻量级注意力机制,改进YoloV4检测网络,并将YoloV4结构中的CSP-Darknet53网络替换为MobilenetV3网络,完成特征提取。试验结果表明,基于卷积神经网络的深度学习方法相比于传统Open-CV识别提高了马铃薯识别精度,相比于其他传统机器学习模型,MobilenetV3-YoloV4识别速度更快,马铃薯识别的全类平均准确率达到91.4%,在嵌入式设备上的传输速度为23.01帧/s,模型鲁棒性强,能够在各种环境下完成对正常马铃薯和机械损伤马铃薯的目标检测,可为马铃薯联合收获机智能清选以及智能收获提供技术支撑。     

注意力与多尺度特征融合的水培芥蓝花蕾检测

准确辨识水培芥蓝花蕾特征是区分其成熟度,实现及时采收的关键。该研究针对自然环境下不同品种与成熟度的水培芥蓝花蕾外形与尺度差异大、花蕾颜色与茎叶相近等问题,提出一种注意力与多尺度特征融合的Faster R-CNN水培芥蓝花蕾分类检测模型。采用InceptionV3的前37层作为基础特征提取网络,在其ReductionA、InceptionA和InceptionB模块后分别嵌入SENet模块,将基础特征提取网络的第2组至第4组卷积特征图通过FPN特征金字塔网络层分别进行叠加后作为特征图输出,依据花蕾目标框尺寸统计结果在各FPN特征图上设计不同锚点尺寸。对绿宝芥蓝、香港白花芥蓝及两个品种的混合数据集测试的平均精度均值mAP最高为96.5%,最低为95.9%,表明模型能实现不同品种水培芥蓝高准确率检测。消融试验结果表明,基础特征提取网络引入SENet或FPN模块对不同成熟度花蕾的检测准确率均有提升作用,同时融合SENet模块和FPN模块对未成熟花蕾检测的平均准确率AP为92.3%,对成熟花蕾检测的AP为98.2%,对过成熟花蕾检测的AP为97.9%,不同成熟度花蕾检测的mAP为96.1%,表明模型设计合理,能充分发挥各模块的优势。相比VGG16、ResNet50、ResNet101和InceptionV3网络,模型对不同成熟度花蕾检测的mAP分别提高了10.8%、8.3%、 6.9%和12.7%,检测性能具有较大提升。在召回率为80%时,模型对不同成熟度水培芥蓝花蕾检测的准确率均能保持在90%以上,具有较高的鲁棒性。该研究结果可为确定水培芥蓝采收期提供依据。     

基于中值点Hough变换玉米行检测的导航线提取方法

为解决机器视觉对早期玉米苗带在多环境变量下导航线提取耗时长、准确率低的问题,该研究提出了一种基于中值点Hough变换作物行检测的导航线提取算法。首先,改进了传统的2G-R-B算法,再结合中值滤波、最大类间方差法和形态学操作实现土壤背景与玉米苗带的分割。其次,通过均值法提取玉米苗带特征点,然后采用中值点Hough变换拟合垄间两侧玉米苗列线,最后将检测出的双侧玉米苗列线为导航基准线,利用夹角正切公式提取导航线。试验结果表明：改进的灰度化算法能够正确分割玉米苗带与土壤,处理一幅640×480像素彩色图像平均耗时小于160 ms,基于中值点Hough变换检测玉米苗列再提取导航线的最大误差为0.53°,相比于传统Hough变换时间上平均快62.9 ms,比最小二乘法平均精确度提高了7.12°,在农田早期玉米苗带多环境变量影响因素下导航线提取准确率均达92%以上,具有较强的可靠性和准确性。     

基于机器视觉的玉米果穗参数的图像测量方法

在玉米育种和品质研究中,经常需要对玉米的果穗长度、果穗宽度、穗行数、穗粒数等参数进行测量。该研究提出了一种基于机器视觉的玉米果穗参数图像测量方法。使用PC摄像头连续采集旋转台上的玉米果穗图像,经过图像处理,获得玉米穗的图像区域,进而得到玉米果穗的穗长和穗宽参数;通过对玉米果穗局部区域的x方向和y方向累计像素值曲线进行分析,提取出玉米穗行,获得每一穗行的穗粒数和穗行宽度;通过图像匹配,获得玉米果穗的穗行数。试验表明,使用该研究方法对玉米果穗的长度、宽度和穗行数的参数测量准确率可达98%以上,对穗行宽及总穗粒数测量准确率达95%以上,整穗的平均检测时间约102 s/穗。该研究实现了玉米果穗参数快速有效的自动检测,相对于目前采用的人工检测,大大提供检测效率,降低劳动强度,可应用于玉米千粒质量检测、产量预测、育种和品质分析等场合。     

利用机器视觉与近红外光谱技术的皮蛋无损检测与分级

为了对优质蛋、次品蛋和劣质蛋这3种皮蛋进行检测及分级,该文应用机器视觉结合近红外光谱技术,研究利用皮蛋凝胶品质无损检测的分级方法。首先采集皮蛋透射光图像,提取18个图像颜色特征值,然后将所提取的18维特征利用主成分分析(principal component analysis,PCA)进行降维,对PCA降维后的3个主成分建立遗传算法优化支持向量机(genetic algorithm-support vector machine,GA-SVM)分级模型,把皮蛋样本分为两大类:可食用蛋(优质蛋与次品蛋)与不可食用蛋(劣质蛋),劣质蛋测试集识别率为100%。然后在机器视觉分类结果的基础上,利用近红外光谱技术获取可食用蛋(优质蛋与次品蛋)的原始光谱,并进行多元散射矫正(multiplicative scatter correction,MSC),利用竞争性自适应重加权算法(competitive adaptive reweighted sampling,CARS)降维提取特征波长,基于支持向量机(support vector machine,SVM)对特征波长变量建立分级模型,区分出优质蛋与次品蛋,优质蛋测试集识别率为96.49%,次品蛋识别率为94.12%。研究结果表明:基于机器视觉和近红外光谱进行皮蛋凝胶品质无损检测分级是可行的。     

基于自监督学习的温室移动机器人位姿跟踪

为实现温室环境下机器人行进过程中的位置及姿态跟踪,该研究提出一种基于时序一致性约束的自监督位姿变换估计模型。模型用软遮罩,处理视频帧间静止造成的位姿预测值收缩现象,进一步用归一化遮罩,解决非刚体场景和目标遮挡问题。设计了一种星型扩张卷积,并基于该卷积,为模型构建自编码器。在采集自种植作物为番茄的日光温室视频数据上开展训练和测试试验。结果表明,与不采用遮罩处理的模型相比,采用软遮罩的模型,位置和姿态估计相对误差分别减少5.06个百分点和11.05个百分点,采用归一化遮罩的模型,这2项误差则分别减少4.15个百分点和3.86个百分点,2种遮罩均可显著提高模型精度;星型扩张卷积对降低模型误差是有效的,在网络参数不变的前提下,该卷积使姿态估计相对误差减少7.54个百分点;时序一致性约束使姿态估计均方根误差下降36.48%,每百帧累积姿态角误差降低54.75%,该约束可用于提高模型精度及稳定性;该研究的位置及姿态估计相对误差分别为8.29%和5.71%,与Monodepth2相比,减少了8.61%和6.83%。该研究可为温室移动机器人导航系统设计提供参考。     

基于里程信息融合的株间锄草刀定位数据优化方法

为提高株间锄草刀定位精度、降低机器视觉受外界因素的影响,该文提出里程信息融合机器视觉的方法对锄刀定位数据进行优化。通过分析定位数据校正和视觉滞后补偿的原理,设计了模糊逻辑校正器,通过模糊规则将模糊校正系统简化为单输入单输出形式,采用Mamdani模糊推理方法获得视觉数据可信度决策表,将可信度作为加权值生成校正锄刀定位数据,并提出采用实时里程信息作为视觉滞后补偿量的方法,给出补偿公式。田间刀苗距优化静态试验表明,视觉刀苗距误差为9.88 mm,优化后刀苗距误差为6.06 mm;动态试验表明,视觉数据出错率为4.8%～6.6%,刀苗距变化曲线显示,优化方法可有效过滤视觉坏点或不稳定的数据点,将视觉滞后纳入衡量标准,不同车速下动态优化后刀苗距平均误差为5.30～7.08 mm,较优化前降低了25%左右。研究结果表明,锄草刀定位数据优化方法可有效提高机器视觉静态和动态获取刀苗距的精度。该研究为提高株间锄草技术的锄刀定位精度提供了参考。     

基于视觉里程计和自然信标融合的移动机器人定位算法

针对未知室内环境下移动机器人的定位问题,提出了一种基于单目视觉和自然信标融合的移动机器人定位算法。该方法采用普通摄像头和全景摄像头结合的方式进行定位。采用普通摄像头提取天花板特征,进行视觉里程计定位。全景普通摄像头提取周边环境及天花板信息,采用Harris-SIFT构建自然信标库,并且进行自然信标检测与识别。在两者的基础上,移动机器人进行实时定位。利用自然信标定位时,提出方向滤波器结合视觉里程计和惯导系统估计旋转角度,利用自然信标求取定位特征点,两者结合进行定位。该方法有效地结合了相对定位的快速性和绝对定位的准确性。在室内环境进行试验,其中自然信标定位在x,y方向的平均误差分别为38.66和31.54 mm。相比视觉里程计而言,结合自然信标定位的平均误差分别减小了32.53%和68.68%。融合视觉里程计的自然信标定位运算速度相比仅靠自然信标定位而言提高了约6倍左右,同时与视觉里程计定位处于同一数量级。试验结果表明相对于视觉里程计而言,所提算法大大提高了定位精度,同时不影响算法的实时性。     

权重约束AdaBoost鱼眼识别及改进Hough圆变换瞳孔智能测量

针对传统鱼眼瞳孔直径测量方法耗时、耗力,且数据主观性强的问题,该文提出基于权重约束AdaBoost和改进Hough圆变换的鱼眼瞳孔直径智能测量方法。首先,利用工业相机采集实验板上的鱼图像,从正负鱼眼图像样本中训练出基于权重约束AdaBoost算法的鱼眼分类器;然后,采用该分类器对试验图像进行检测,将检测到的鱼眼局部图从整体图中分离出来;最后,采用改进的Hough圆变换检测出鱼眼的瞳孔,并计算得到瞳孔直径。对100条金鲳鱼进行试验,鱼眼分类精度达97.1%,瞳孔正确检测率达94.2%,相比改进前分别提升了1.7个百分点和10.5个百分点,与人工测量瞳孔直径值的平均偏差为6.5%,比改进前低了5.9个百分点,总的平均测量时间为324.371 ms,比改进前减少了10.707 ms。试验证明:该文提出的方法能够精确、实时、自动地测量出鱼眼瞳孔的直径,有效避免了传统测量方式的复杂性和测量数据的主观性,可为鱼体生长状况评估、良种选育提供重要参考。