面向温室移动机器人的无监督视觉里程估计方法

针对温室移动机器人自主作业过程中,对视觉里程信息的实际需求及视觉里程估计因缺少几何约束而易产生尺度不确定问题,提出一种基于无监督光流的视觉里程估计方法。根据双目视频局部图像的几何关系,构建了局部几何一致性约束及相应光流模型,优化调整了光流估计网络结构;在网络训练中,采用金字塔层间知识自蒸馏损失,解决层级光流场缺少监督信号的问题;以轮式移动机器人为试验平台,在种植番茄温室场景中开展相关试验。结果表明,与不采用局部几何一致性约束相比,采用该约束后,模型的帧间及双目图像间光流端点误差分别降低8.89%和8.96%;与不采用层间知识自蒸馏相比,采用该处理后,两误差则分别降低11.76%和11.45%;与基于现有光流模型的视觉里程估计相比,该方法在位姿跟踪中的相对位移误差降低了9.80%;与多网络联合训练的位姿估计方法相比,该误差降低了43.21%;该方法可获得场景稠密深度,深度估计相对误差为5.28%,在1 m范围内的位移平均绝对误差为3.6 cm,姿态平均绝对误差为1.3o,与现有基准方法相比,该方法提高了视觉里程估计精度。研究结果可为温室移动机器人视觉系统设计提供技术参考。     

基于自监督学习的番茄植株图像深度估计方法

深度估计是智能农机视觉系统实现三维场景重建和目标定位的关键。该文提出一种基于自监督学习的番茄植株图像深度估计网络模型,该模型直接应用双目图像作为输入来估计每个像素的深度。设计了3种面向通道分组卷积模块,并利用其构建卷积自编码器作为深度估计网络的主体结构。针对手工特征衡量2幅图像相似度不足的问题,引入卷积特征近似性损失作为损失函数的组成部分。结果表明:基于分组卷积模块的卷积自编码器能够有效提高深度估计网络的视差图精度;卷积特征近似性损失函数对提高番茄植株图像深度估计的精度具有显著作用,精度随着参与损失函数计算的卷积模块层数的增加而升高,但超过4层后,其对精度的进一步提升作用不再明显;当双目图像采样距离在9.0 m以内时,该文方法所估计的棋盘格角点距离均方根误差和平均绝对误差分别小于2.5和1.8 cm,在3.0 m以内时,则分别小于0.7和0.5 cm,模型计算速度为28.0帧/s,与已有研究相比,2种误差分别降低了33.1%和35.6%,计算速度提高了52.2%。该研究可为智能农机视觉系统设计提供参考。     

视觉导航农用车辆相对位姿测量新方法(英)

农田环境中农作物大多呈近似直线的行垄分布特点，农用车辆自主视觉导航时通常利用这些景物特征作为跟踪目标。提出了一种计算车辆相对于跟踪目标位姿的新型方法，首先分析了传统算法中存在的计算量大、忽视图像平面中各像素权重不同等缺陷，而后依据跟踪路径局部线性模型假设，详细地推导了算法过程。基于视觉导航原型车辆的试验结果表明，与人工测量值相比，横向距离和航向角的误差均值都等于零，标准差分别为3cm 和0.62deg。     

基于稠密自编码器的无监督番茄植株图像深度估计模型

深度信息获取是温室移动机器人实现自主作业的关键。该研究提出一种基于稠密卷积自编码器的无监督植株图像深度估计模型。针对因视角差异和遮挡而产生的像素消失问题,引入视差置信度预测,抑制图像重构损失产生的问题梯度,设计了基于可分卷积的稠密自编码器作为模型的深度神经网络。以深度估计误差、阈值精度等为判据,在番茄植株双目图像上开展训练和测试试验,结果表明,抑制问题梯度回传可显著提高深度估计精度,与问题梯度抑制前相比,估计深度的平均绝对误差和均方根误差分别降低了55.2%和33.0%,将网络预测的多尺度视差图接入编码器并将其上采样到输入图像尺寸后参与图像重构和损失计算的处理方式对提高预测精度是有效的,2种误差进一步降低了23.7%和27.5%;深度估计误差随空间点深度的减小而显著降低,当深度在9 m以内时,估计深度的平均绝对误差<14.1 cm,在3 m以内时,则<7 cm。与已有研究相比,该研究估计深度的平均相对误差和平均绝对误差分别降低了46.0%和26.0%。该研究可为温室移动机器人视觉系统设计提供参考。     

并联机器人串类水果抓取模型及抓取位姿计算

针对随机放置串类水果图像中主果梗和非主果梗间特征区别不明显、平面轮廓法获取的机器人抓取位姿信息较少的问题,该文构建了并联机器人串类水果三维抓取模型,并提出一种基于主果梗骨架和三维抓取模型的4-R(2-SS)并联机器人随机放置串类水果抓取位姿计算方法,以获取较高精度、包含较多信息的抓取位姿,进一步提高机器人对串类水果的抓取成功率。采用果粒和果梗区域的轮廓间距构建用于提取串类水果果梗轮廓的形态学图像分割法,并基于多维特征向量和高斯混合模型聚类算法提取主果梗;根据主果梗三维位姿和机器人夹持机构特征构建4种基于主果梗骨架的随机放置串类水果三维抓取模型,获取夹持机构的空间位置、绕Z轴的旋转角度以及手指开口宽度的抓取位姿信息。将提出的抓取位姿计算方法应用于课题组研制的4-R(2-SS)并联机器人串类水果机器视觉自动分拣系统进行试验验证。试验结果表明,相对于基于平面轮廓的抓取位姿获取方法,基于该文方法的有分支主果梗和无分支主果梗串类水果的抓取成功率分别提高14和12个百分点,平均抓取成功率提高13个百分点。该文提出的抓取位姿计算方法可有效提高4-R(2-SS)并联机器人机器视觉系统对随机放置串类水果抓取位姿的获取精度,有助于进一步实现串类水果的准确快速自动分拣。     

基于滑模变结构控制的温室喷药移动机器人路径跟踪

为解决作物种植密集,地面障碍与空间障碍并存等非结构化环境因素对温室喷药移动机器人路径跟踪运动控制精度的影响,在建立移动机器人运动学模型的基础上,设计一种基于指数趋近律的滑模变结构控制方法以保证系统对不确定参数及外界干扰的鲁棒性。与此同时,为有效解决滑模控制固有的抖振问题,提出一种加权增益趋近律算法,在该趋近律的积分项中引入负的加权值,可有效避免当系统状态不在滑模切换时的切换增益的增大,使得控制器输出量平滑,并利用Lyapunov函数证明了其稳定性,并采用该文所设计的基于加权积分增益趋近律的滑模控制器对喷药移动机器人进行路径跟踪控制。试验结果表明,该算法可以顺利消除横向偏差,使实际运动轨迹平稳跟随理想作业路线,避免在作业区域产生较严重的重喷和漏喷现象,其研究成果为温室作物实施精准喷药提供了依据。     

基于相机位姿恢复与神经辐射场理论的果树三维重建方法

针对传统立体视觉三维重建技术难以准确表征果树多尺度复杂表型细节的问题,该研究提出了一种基于相机位姿恢复技术与神经辐射场理论的果树三维重建方法,设计了一套适用于标准果园环境的果树图像采集设备和采集方案。首先,环绕拍摄果树全景视频并以抽帧的方式获取果树多视角图像;其次,使用运动结构恢复算法进行稀疏重建以计算果树图像位姿;然后,训练果树神经辐射场,将附有位姿的多视角果树图像进行光线投射法分层采样和位置编码后输入多层感知机,通过体积渲染监督训练过程以获取收敛且能反映果树真实形态的辐射场;最后,导出具有高精度与高表型细节的果树三维实景点云模型。试验表明,该研究构建的果树点云能准确表征从植株尺度的枝干、叶冠等宏观结构到器官尺度的果实、枝杈、叶片乃至叶柄、叶斑等微观结构。果树整体精度达到厘米级,其中胸径、果径等参数达到毫米级精度,尺度一致性误差不超过5%。相较于传统的立体视觉三维重建方法,重建时间缩短39.50%,树高、冠幅、胸径和地径4个树形参数的尺度一致性误差分别降低了77.06%、83.61%、45.47%和62.23%。该方法能构建具有高精度、高表型细节的果树点云模型,为数字果树技术的应用奠定基础。     

基于侧向光电圆弧阵列的温室路沿检测与导航方法

针对现有温室移动机器人沿边导航技术的精度与实时性不足等问题,提出了一种基于光电开关圆弧阵列的沿边导航方法.提出了基于圆弧阵列理想目标带原理的位姿检测与调控方法,并建立了基于光电圆弧阵列信号触发数与触发中心序号双指标的位姿检测模型,按照双指标的不同阈值进行车体位姿状态归类并触发相应调控轨迹程序,进而根据由该双指标数值计算得到的位姿给定各调控轨迹参数,实现实时的沿边导航.试验结果表明,在0.15 m/s速度内,小车的沿边位置与姿态偏差分别保持在-35 mm～+15 mm和-5°～+5°范围内,能够满足实际施药、搬运等作业的行走需求.同时小车的调控周期约为2m,实现了温室内低调控频度的沿边平顺导航,并且沿下沉路沿行走时,能够适应300 mm长的杂物.该方法为温室环境下的低成本快速沿边导航提供了新的技术思路.     

基于K-means算法的温室移动机器人导航路径识别

针对温室移动机器人机器视觉导航路径识别实时性差、受光照干扰影响严重等问题,首先,将HSI颜色空间3个分量进行分离,选取与光照信息无关且可以有效抑制噪声影响的色调分量H进行后续图像处理,以削弱光照对机器人视觉导航的不良影响;针对温室环境图像特有的颜色特征信息,引入K-means算法对图像进行聚类分割,将垄间道路信息与绿色作物信息各自聚类,再通过形态学腐蚀方法去除聚类后图像中存在的冗余、干扰信息,以获得完整的道路信息,与常用阈值分割方法相比,可降低因分割信息不明确而导致后续Hough变换进行直线拟合时需占据大量内存且计算量较大的问题,进而提高移动机器人路径识别的快速性,并适应温室作业机器人自主导航的高实时性要求。试验结果表明,该文方法在复杂背景与变光照条件下的温室作业环境中可大幅降低光照对机器人导航的影响,对于光照不均具有良好的鲁棒性,道路信息提取率可达95%。同时,其平均单幅图像处理时耗降低53.26%,可显著提高路径识别速度。该研究可为解决温室移动机器人机器视觉导航路径识别的鲁棒性及实时性问题提供参考。     

双激光雷达温室运输机器人导航系统研制

为解决机器人在温室环境下的自主导航问题,该研究研制了基于双激光雷达的温室运输机器人导航系统,实现温室环境下的地图构建、路径规划和定位导航。融合激光雷达与编码器信息,使用cartographer算法及时定位与地图构建。根据地图与检测点信息,采用Dijkstra算法规划全局路径,使用动态窗口算法规划局部路径,完成自主导航。试验表明,车载系统分别以0.2、0.5和0.8 m/s速度运行时,实际导航路径与目标路径的横向平均偏差小于13 cm,标准差小于5 cm;导航目标点处横向偏差、纵向偏差的平均值不超过9 cm,均方根误差不超过11.2 cm,标准差小于5 cm,航向偏差的平均值小于10°,均方根误差小于12°,标准差小于6°,满足机器人温室运输作业的导航精度需求。     

基于卷积神经网络的中国北方冬小麦遥感估产

针对传统的农作物估产方法过度依赖人工经验,以及实地采样成本高等问题。该研究使用MODIS数据构建了基于卷积神经网络(convolutional neural network,CNN)的冬小麦估产模型。对2006-2016年中国北方冬小麦核心区的60个地级市进行模型训练,鲁棒性检验以及估产误差空间特征分析。结果表明:1)估产模型在训练集和验证集的均方根误差(root mean squareerror,RMSE)分别为183.82kg/hm2、689.72 kg/hm2,决定系数(R2)分别为0.98、0.71。2)以同样的神经网络结构对2006-2016年估产样本分别作为验证集,训练11个独立模型的RMSE平均值是772.03 kg/hm2,证明算法具有较高的鲁棒性。3)2007、2012和2016年不同省份的估产结果表明,模型对北方冬小麦区的平原区估产精度较高,尤其是河北和山东2省(RMSE为500 kg/hm2)。该文构建的估产模型可以实现冬小麦单产的复杂拟合,可以应用于较大尺度(范围)冬小麦产量预报。     

基于三维姿态拟合的非接触式红鳍东方鲀全长精准估算方法

鱼类生物量无损测算是智能化水产养殖的重要环节,如何实现鱼体全长精准估算是该环节稳定运行的重要前提。该研究以红鳍东方鲀为对象,提出了一种鱼体全长精准估算方法,可在非接触情况下对自由游动的红鳍东方鲀进行精准的体长估算。首先,利用双目立体视觉技术对原始图像进行校正和立体匹配获得深度图像,并通过SOLOV2模型进行鱼体分割;然后,通过自主设计的独立分类器对图像进行高效分类,自动获取可用于全长估算的鱼类侧面图像,其分类准确率达95.3%;最后,耦合图像平面特征和深度信息,对鱼类进行三维姿态拟合,实现鱼类全长精准估算。结果表明,该方法全长估算的平均相对误差为2.67%,标准差为9.45%,且全长估算值与质量表现出良好相关性（R2=0.88）。该研究将为鱼类生物量无损测算提供关键技术支撑,对水产养殖的信息化管理、鱼类生长状况评估、投饵控制等具有重要意义。     

基于串行BP网络的农业机器人视觉导航控制(英）

农业机器人视觉导航系统可引导其自身在田间自主行走,为此,必须充分有效地利用导航参数。将反馈和预视参数应用于农业机器人视觉导航系统实现导航。将当前ROI窗口划分为上下区域以获取预视导航信息和当前导航信息。根据预视导航参数、当前导航参数和反馈导航参数,利用串行BP神经网络训练并调整分配神经元间的权值和阈值,确保得到正确的输出。依据串行BP网络对系统控制算法进行测试,取得了满意的结果。农业机器人实际行走路线与理想路线横坐标的最大反馈位置偏差为-0.069 m,最大预视位置偏差为-0.043 m,最大反馈角度偏差为-3.5度,最大预视角度偏差-2度。试验结果表明,该方法能获取较高精度的导航参数。     

基于卷积神经网络的田间多簇猕猴桃图像识别方法

为实现田间条件下快速、准确地识别多簇猕猴桃果实,该文根据猕猴桃的棚架式栽培模式,采用竖直向上获取果实图像的拍摄方式,提出一种基于Le Net卷积神经网络的深度学习模型进行多簇猕猴桃果实图像的识别方法。该文构建的卷积神经网络通过批量归一化方法,以Re LU为激活函数,Max-pooling为下采样方法,并采用Softmax回归分类器,对卷积神经网络结构进行优化。通过对100幅田间多簇猕猴桃图像的识别,试验结果表明:该识别方法对遮挡果实、重叠果实、相邻果实和独立果实的识别率分别为78.97%、83.11%、91.01%和94.78%。通过与5种现有算法进行对比试验,该文算法相对相同环境下的识别方法提高了5.73个百分点,且识别速度达到了0.27 s/个,识别速度较其他算法速度最快。证明了该文算法对田间猕猴桃图像具有较高的识别率和实时性,表明卷积神经网络在田间果实识别方面具有良好的应用前景。     

面向海洋牧场智能化建设的海珍品实时检测方法

海珍品检测对海洋牧场的智能化建设至关重要,在实时性和准确性方面仍有待提高.该研究提出一种改进的YOLOv3海珍品检测方法.利用深度可分离卷积替代YOLOv3中的标准卷积,得到一个轻量化网络模型DSC-YOLO(Depthwise Separable Convolution-YOLO);在数据预处理方面,采用图像增强方法...     

采用复合知识蒸馏算法的黑皮鸡枞菌图像分级方法

为解决黑皮鸡枞菌品质分选速度慢、精度低等问题,该研究提出了一种基于复合知识蒸馏算法的鸡枞菌分级检测方法。采用4 800根黑皮鸡枞菌（共分4级,每级1 200根）图像对教师模型（Resnet50）进行预训练,然后截留教师模型的前25层输出并对学生模型（Resnet18）前9层卷积模型进行参数训练,最后将经过预训练的学生模型的前9层卷积模型与其后半部分拼接,进行整体模型知识蒸馏。经过复合蒸馏的Resnet18识别精度为96.89%,识别单幅图像所用时间为0.032 s。通过对比发现,该研究提出的复合知识蒸馏算法相比Resnet50识别单幅图像所用时间缩短68.93%,相比未经过知识蒸馏及经过单次知识蒸馏的Resnet18模型,精度分别提升了0.97个百分点和0.52个百分点。结果表明,该研究提出的复合知识蒸馏算法可在不增加运行时间的前提下,使小模型的准确率逼近大型模型训练的准确率,研究结果可为鸡枞菌品质分级生产线提供技术支持。