基于语义分割网络的植保机器人视觉伺服控制方法

为实现稳定可靠的植保机器人视觉伺服控制,提出了一种基于语义分割网络的作物行特征检测方法。基于语义分割网络ESNet实现农田场景图像像素级带状区域检测,并利用最小二乘算法拟合得到每条行作物线特征;在此基础上通过设计一种主导航线提取算法获取导航路径,并利用卡尔曼滤波对主导航线几何参数进行平滑处理,有效抑制了不平整地面导致的机器人运动颠簸与视觉图像测量噪声引起的导航参数波动。继而构建机器人前轮转向、后轮差速的阿克曼运动学模型;在图像空间坐标下设计纯追踪控制器实现植保机器人的伺服运动控制。大田环境下的现场实验结果为：总体横向偏差为0.092m,验证了本文方法的有效性。     

基于自适应深度学习的数控机床运行状态预测方法

针对机床状态动态标签及差异化分布数据下的预测适应性差与准确度低问题,结合时序特征关系和模型融合方法,建立自适应混合深度学习模型进行机床状态预测.首先,通过融合最小近邻分类器,设计一种基于权值累积的自适应更新法则,建立具有数据自适应性的状态预测模型.在此基础上,提出一种基于中心损失函数的特征距离度量优化策略,构建综合决策...     

基于表面凹凸性的羊胴体点云分割方法

羊胴体自动化分割对于提高羊屠宰加工企业生产效率有重要意义。为实现将羊胴体点云精准高效地分割为多分体,研究了一种基于表面凹凸性的羊胴体点云分割方法。以倒挂状态下的巴美肉羊胴体为研究对象,利用三维激光扫描仪获取羊胴体点云。首先,对羊胴体点云进行预处理,去除离群点噪声和采用体素滤波的方法进行下采样;并将羊胴体点云超体素化,以获取超体素邻接图;然后,对超体素邻接图中相邻点云的公共边进行凹凸性判断,将凹边凸边赋予不同权重;并由得分评估函数计算不同权重点云的得分,将结果与参数S_min作比较;最后,根据比较结果确定分割区域,完成对羊胴体点云的分割。试验结果表明：羊胴体点云分割的平均精确度、平均召回率、平均F1值和平均总体准确率分别为92.3%、91.3%、91.8%、92.1%。各分体的平均分割精确度分别为92.7%、90.7%、92.6%、93.2%、92.5%、92.2%,各分体的平均分割召回率分别为86.0%、93.2%、92.8%、91.6%、90.9%、93.4%,处理单只羊胴体点云的平均时长为18.82 s。通过处理多分体组合点云以及多体型羊胴体点云判断本文方法的适...     

基于Mask R-CNN模型的葡萄藤关键结构分割方法

剪枝点的精确识别与定位是实现葡萄藤冬季剪枝智能化的基础,葡萄藤关键结构的分割是用于推理精确剪枝点的重要前提。针对现有分割方法受背景影响较大致使葡萄藤各关键结构损失和剪枝点识别与定位不准确的问题,提出一种基于Mask R-CNN的葡萄藤关键结构分割方法,建立葡萄藤修剪模型以及各关键结构数据集。通过主干特征提取网络和分割性能的对比试验,得出最优的Mask R-CNN模型结构并验证其拟合与泛化能力以及在不同自然背景下的分割性能。结果表明,以ResNet 101+FPN为主干特征提取网络的Mask R-CNN模型具有较好的拟合与泛化能力,相较于对照组模型准确率分别提升7.33%和8.89%,召回率分别提升9.32%和9.26%,平均精度均值分别提升12.69%和12.63%,其能够克服各类自然种植背景因素,分割目标边缘完整,葡萄藤各关键结构之间连接关系正确。     

基于深度学习的群猪图像实例分割方法

群养饲喂模式下猪群有聚集在一起的习性,特别是躺卧时,当使用机器视觉跟踪监测猪只时,图像中存在猪体粘连,导致分割困难,成为实现群猪视觉追踪和监测的瓶颈。根据实例分割原理,把猪群中的猪只看作一个实例,在深度卷积神经网络基础上建立Pig Net网络,对群猪图像尤其是对粘连猪体进行实例分割,实现独立猪体的分辨和定位。Pig Net网络采用44层卷积层作为主干网络,经区域候选网络(Region proposal networks,RPN)提取感兴趣区域(ROI),并和主干网络前向传播的特征图共享给感兴趣区域对齐层(Region of interest align,ROIAlign),分支通过双线性插值计算目标空间,三分支并行输出ROI目标的类别、回归框和掩模。Mask分支采用平均二值交叉熵损失函数计算独立猪体的目标掩模损失。连续28 d采集6头9. 6 kg左右大白仔猪图像,抽取前7 d内各不同时段、不同行为模式群养猪图像2 500幅作为训练集和验证集,训练集和验证集的比例为4∶1。结果表明,Pig Net网络模型在训练集上总分割准确率达86. 15%,在验证集上准确率达85. 40%。本文算法对不同形态、粘连严重的群猪图像能够准确分割出独立的猪个体目标。将本文算法与Mask R-CNN模型及其改进模型进行对比,准确率比Mask RCNN模型高11. 40个百分点,单幅图像处理时间为2. 12 s,比Mask R-CNN模型短30 ms。     

基于深度语义分割的无人机多光谱遥感作物分类方法

为精准获取农田作物种植分布信息以满足农业精细化管理需求,基于DeepLab V3+深度语义分割网络提出了一种面向无人机多光谱遥感影像的农田作物分类方法.通过修改输入层结构、融合多光谱信息和植被指数先验信息、并采用Swish激活函数优化模型,使网络在响应值为负时仍能反向传播.基于2018-2019年连续2年内蒙古自治区河...     

基于深度学习的无人机土地覆盖图像分割方法

编制土地覆盖图需要包含精准类别划分的土地覆盖数据,传统获取方法成本高、工程量大,且效果不佳。提出一种面向无人机航拍图像的语义分割方法,用于分割不同类型的土地区域并分类,从而获取土地覆盖数据。首先,按照最新国家标准,对包含多种土地利用类型的航拍图像进行像素级标注,建立无人机高分辨率复杂土地覆盖图像数据集。然后,在语义分割模型DeepLab V3+的基础上进行改进,主要包括:将原始主干网络Xception+替换为深度残差网络ResNet+;引入联合上采样模块,增强编码器的信息传递能力;调整扩张卷积空间金字塔池化模块的扩张率,并移除该模块的全局池化连接;改进解码器,使其融合更多浅层特征。最后在本文数据集上训练和测试模型。实验结果表明,本文提出的方法在测试集上像素准确率和平均交并比分别为95. 06%和81. 22%,相比原始模型分别提升了14. 55个百分点和25. 49个百分点,并且优于常用的语义分割模型FCN-8S和PSPNet模型。该方法能够得到精度更高的土地覆盖数据,满足编制精细土地覆盖图的需要。     

基于深度学习的群猪分割方法

【目的】实时监控猪舍内猪只状态以及在出栏前对猪只进行计数满足“动物福利化”养殖需求,而实现实时监控与计数的前提条件之一是对图像进行分割。【方法】图像分割方式有传统阈值分割以及引入深度学习概念的语义分割和实例分割。课题组介绍了语义分割的DeepLab V3+模型,作为语义分割中较晚出现的模型,DeepLab V3+模型在分割精度上相较于之前的模型有了巨大的提升,但分割速度仍较慢,无法满足实时监控的需求。基于此,课题组提出用Mobilenet V2主干网络替代原有Xception网络来改进模型,并引入了通道注意力机制以及空间注意力机制,然后分别利用原始模型和改进后的模型进行了试验。【结果】在精度上,改进后的V2模型稍弱于原始模型,加入注意力机制后的模型又优于V2模型0.48%而弱于原始模型2.97%,但在响应速度上,改进后的模型速度提升了38.77%。在分割效果上,三个模型的差异不大。【结论】相较于原始模型,改进后的模型精度略有下降,但是响应速度大幅提升,从而大大提高了模型分割的速度,满足了猪舍监控分割速度快的需求。     

基于实例分割的白羽肉鸡体质量估测方法

针对白羽肉鸡体质量测量自动化水平低、易造成肉鸡应激的问题,提出一种结合深度学习的非接触式白羽肉鸡体质量估测方法.利用Mask R-CNN和YOLACT(You only look at coefficients)两种实例分割算法获取白羽肉鸡位置与覆盖掩膜,并进行效果对比;采用自适应掩膜随机提取白羽肉鸡身体部分边缘点,并...     

基于自适应神经模糊网络的果蔬抓取力控制

运用自适应神经模糊推理系统设计了农业机器人果蔬抓取力智能控制器。以当前抓取力和滑觉传感器信号的小波变换细节系数作为控制器的输入,末端执行器两指闭合距离作为控制器的输出。基于减法聚类建立模糊推理模型,通过调整聚类半径来优选模糊规则数。给出了训练样本数据集采集方法,并应用梯度下降与最小二乘混合训练算法辨识了控制器的前件参数和结论参数。对所设计的控制器进行了实验验证,结果表明该控制器能够适应果蔬质量、表面摩擦特性等方面的差异。抓取力超调量得到了限制,最大值小于0.8 N,可以避免给抓取对象造成机械损伤。     

基于改进VGGNet的羊个体疼痛识别方法

针对目前人工识别羊个体疼痛过程中存在的经验要求高、识别准确率低、消耗成本高、延误疾病治疗等问题,引入当前主流图像分类网络VGGNet(Visual geometry group network)对有疼痛和无疼痛的羊脸表情进行识别,提出一种基于改进VGGNet的羊脸痛苦表情识别算法,改进后的网络为STVGGNet(Spatial transformer visual geometry group network)。该算法将空间变换网络引入VGGNet,通过空间变换网络增强对羊脸痛苦表情特征区域的关注程度,提高对羊脸痛苦表情的识别准确率。本文对原有的羊脸表情数据集进行了扩充,新增887幅羊脸表情图像。但是新的数据集图像数量仍然较少,所以本文利用ImageNet数据集进行迁移学习,微调后用来自动分类有痛苦和无痛苦的羊脸表情。对羊面部表情数据集的实验结果表明,使用STVGGNet实现的最佳训练准确率为99.95%,最佳验证准确率为96.06%,分别比VGGNet高0.15、0.99个百分点。因此,本文采用的模型在羊脸痛苦表情识别中有非常好的识别效果并且具有较强的鲁棒性,为畜牧业中羊的疾病检测智...     

基于改进VGGNet的羊个体疼痛识别方法

针对目前人工识别羊个体疼痛过程中存在的经验要求高、识别准确率低、消耗成本高、延误疾病治疗等问题,引入当前主流图像分类网络VGGNet（Visual geometry group network）对有疼痛和无疼痛的羊脸表情进行识别,提出一种基于改进VGGNet的羊脸痛苦表情识别算法,改进后的网络为STVGGNet（Spatial transformer visual geometry group network）。该算法将空间变换网络引入VGGNet,通过空间变换网络增强对羊脸痛苦表情特征区域的关注程度,提高对羊脸痛苦表情的识别准确率。本文对原有的羊脸表情数据集进行了扩充,新增887幅羊脸表情图像。但是新的数据集图像数量仍然较少,所以本文利用ImageNet数据集进行迁移学习,微调后用来自动分类有痛苦和无痛苦的羊脸表情。对羊面部表情数据集的实验结果表明,使用STVGGNet实现的最佳训练准确率为99.95%,最佳验证准确率为96.06%,分别比VGGNet高0.15、0.99个百分点。因此,本文采用的模型在羊脸痛苦表情识别中有非常好的识别效果并且具有较强的鲁棒性,为畜牧业中羊的疾病检测智能化发展提供了技术支撑。     

基于生成对抗网络与ICNet的羊骨架图像实时语义分割

研究了羊骨架图像生成技术与基于ICNet的羊骨架图像实时语义分割方法。通过DCGAN、SinGAN、BigGAN 3种生成对抗网络生成图像效果对比,优选BigGAN作为羊骨架图像生成网络,扩充了羊骨架图像数据量。在此基础上,将生成图像与原始图像建立组合数据集,引入迁移学习训练ICNet,并保存最优模型,获取该模型对羊骨架脊椎、肋部、颈部的分割精度、MIoU以及单幅图像平均处理时间,并以此作为羊骨架图像语义分割效果的评判标准。结果表明,最优模型对羊骨架3部位分割精度和MIoU分别为93.68%、96.37%、89.77%和85.85%、90.64%、75.77%,单幅图像平均处理时间为87 ms。通过模拟不同光照条件下羊骨架图像来判断ICNet的泛化能力,通过与常用的U Net、DeepLabV3、PSPNet、Fast SCNN 4种图像语义分割模型进行对比来验证ICNet综合分割能力,通过对比中分辨率下不同分支权重的网络分割精度来寻求最优权值。结果表明,ICNet与前3种模型的分割精度、MIoU相差不大,但处理时间分别缩短了72.98%、40.82%、88.86%;虽然Fast SCNN单幅图像处理时间较ICNet缩短了43.68%,但MIoU降低了4.5个百分点,且当中分辨率分支权重为0.42时,ICNet分割精度达到最高。研究表明本文方法具有较高的分割精度、良好的实时性和一定的泛化能力,综合分割能力较优。     

基于Faster-RCNN的肉鸡击晕状态检测方法

为了准确识别屠宰加工中肉鸡的击晕状态,提出了一种基于快速区域卷积神经网络的肉鸡击晕状态检测方法。对输入图像进行归一化处理,通过卷积神经网络（VGG16）提取肉鸡的卷积特征图,利用区域建议网络提取预测框,在卷积特征图上采用非极大值抑制算法去除重复表述的预测框;将所得的各预测框映射到卷积特征图上,得到预测框在卷积特征图上的候选区域,将其输入感兴趣区域池化层;通过感兴趣区域池化层将大小不一的候选区域进行池化操作、得到统一的输出数据,最后通过全连接层与柔性最大值分类器,输出各击晕类别的概率和预测框的坐标。将2319个样本图像按2∶1的比例随机分为训练集与测试集,对模型进行训练与实验验证。结果表明,本文建立的基于Faster-RCNN的肉鸡击晕状态分类模型对773个测试集肉鸡样本击晕状态分类的总准确率达到96.51%,对肉鸡击晕状态的预测速度可达每小时37000只,基本满足肉鸡屠宰生产线要求。