基于视触觉与深度学习的猕猴桃无损硬度检测方法

硬度是确定猕猴桃成熟度的重要指标之一,对其贮藏周期与销售节点均具有重要指导意义。针对现阶段缺乏使用简易、成本低且精度高的猕猴桃无损硬度检测方法的问题,提出了一种基于视触觉与深度学习的猕猴桃硬度检测方法,通过分析柔性触觉传感层与猕猴桃接触时的形变,获取猕猴桃的动态触觉信息,并据此推断其硬度。以树莓派开发板为机电控制平台,制作了猕猴桃视触觉序列图像采集装置,并对装置按压猕猴桃间隔3h后接触面果肉与非接触面果肉的CIELAB颜色分量平均数进行差异显著性检验,随后采集了猕猴桃视触觉序列图像数据集600组,分别搭建了CNN网络、CNN-LSTM迁移学习网络、CNN-LSTM联合学习网络对视触觉序列图像进行分析及硬度预测。研究结果表明,接触面果肉与非接触面果肉颜色L*、a*、b*三通道分量下平均值无显著差异;深度学习模型LSTM引入长时和短时信息可以动态关联CNN提取的单帧图像特征,从而有效推断猕猴桃硬度,其中CNN-LSTM联合学习模型预测效果最优,其均方根误差(RMSE)、平均绝对误差(MAE)、决定系数R2分别为 1.611N、1.360N、0.856,优于现阶段光谱技术检测猕猴桃硬度的结果,随后将模型嵌入树莓派中制作了猕猴桃硬度自动检测装置,可实现短时间内猕猴桃硬度的较为准确检测。因此,结合视触觉传感方法与联合学习模型可以实现对单个猕猴桃硬度的准确无损测量。     

基于视频跟踪算法的果园猕猴桃产量实时预估

对猕猴桃产量的准确预估有利于合理安排后续采摘与运输工序,因此开发智能化的产量实时预估工具非常重要。针对大棚培育的猕猴桃矮化密植、分布范围广等特点,本研究利用果园履带小车采集视频,结合人工标注,建立猕猴桃检测和跟踪的数据集。考虑到自制数据集中猕猴桃占比小及密集分布的特点,本文提出使用YOLO v7模型加上Soft-NMS来检测每一帧图像内的猕猴桃。在卡尔曼滤波器预测的结果上,引入VGG16网络对猕猴桃进行特征提取,并结合匈牙利算法完成帧间目标的匹配。最后采用基于YOLO v7+DeepSort跟踪算法的ID计数方法对猕猴桃进行产量估计。实验结果表明,改进的YOLO v7模型在猕猴桃检测数据集上表现良好,检测的F1值为90.09%。猕猴桃跟踪数据集中使用的跟踪算法平均准确率为89.87%,每个目标正确匹配的精确率为82.34%,大型视频跟踪速度为20.19 f/s。在环境影响较小的条件下,ID计数准确率为97.49%。该方法可为猕猴桃果园智能化管理中的估产、采收规划等提供技术支撑。     

基于X-ray和RGB图像融合的实蝇侵染柑橘无损检测

实蝇侵染柑橘流入市场会造成巨大的经济损失,因此需要在商品化处理阶段对其全面筛除。针对柑橘在实蝇侵染早期没有明显外部特征,人工抽样检测效率低、筛除难的问题,探索了在生产线上同时搭载农业X光机与RGB相机进行无损检测的可行性,提出了基于X-ray(X光)和RGB图像的多模态数据融合方法,建立了CNN-LSTM检测模型,实现了实蝇侵染柑橘高精度无损检测。模拟了柑橘在生产线上滚动并被拍摄6幅X-ray和RGB序列图像的过程,构建了实蝇侵染柑橘的多源数据集,融合了不同模态的实蝇侵染特征信息,提升了实蝇侵染柑橘检测模型的检测能力,并对比了ResNet18-LSTM、GoogleNet-LSTM、SqueezeNet-LSTM、MobileNetV2-LSTM轻量化检测模型,验证了多模态数据融合方法的有效性。研究结果表明,提出的多模态数据融合实蝇侵染柑橘方法比单模态检测方法检测性能更加优异,其中ResNet18-LSTM检测准确率最高,多模态的图像融合和特征融合方法检测准确率分别达到97.3%和95.7%,单模态X-ray和RGB检测方法准确率分别为93.2%和89.3%。本研究可为实蝇侵染柑橘在线...