基于视触觉与深度学习的猕猴桃无损硬度检测方法

硬度是确定猕猴桃成熟度的重要指标之一,对其贮藏周期与销售节点均具有重要指导意义。针对现阶段缺乏使用简易、成本低且精度高的猕猴桃无损硬度检测方法的问题,提出了一种基于视触觉与深度学习的猕猴桃硬度检测方法,通过分析柔性触觉传感层与猕猴桃接触时的形变,获取猕猴桃的动态触觉信息,并据此推断其硬度。以树莓派开发板为机电控制平台,制作了猕猴桃视触觉序列图像采集装置,并对装置按压猕猴桃间隔3h后接触面果肉与非接触面果肉的CIELAB颜色分量平均数进行差异显著性检验,随后采集了猕猴桃视触觉序列图像数据集600组,分别搭建了CNN网络、CNN-LSTM迁移学习网络、CNN-LSTM联合学习网络对视触觉序列图像进行分析及硬度预测。研究结果表明,接触面果肉与非接触面果肉颜色L*、a*、b*三通道分量下平均值无显著差异;深度学习模型LSTM引入长时和短时信息可以动态关联CNN提取的单帧图像特征,从而有效推断猕猴桃硬度,其中CNN-LSTM联合学习模型预测效果最优,其均方根误差(RMSE)、平均绝对误差(MAE)、决定系数R2分别为 1.611N、1.360N、0.856,优于现阶段光谱技术检测猕猴桃硬度的结果,随后将模型嵌入树莓派中制作了猕猴桃硬度自动检测装置,可实现短时间内猕猴桃硬度的较为准确检测。因此,结合视触觉传感方法与联合学习模型可以实现对单个猕猴桃硬度的准确无损测量。     

基于X-ray和RGB图像融合的实蝇侵染柑橘无损检测

实蝇侵染柑橘流入市场会造成巨大的经济损失,因此需要在商品化处理阶段对其全面筛除。针对柑橘在实蝇侵染早期没有明显外部特征,人工抽样检测效率低、筛除难的问题,探索了在生产线上同时搭载农业X光机与RGB相机进行无损检测的可行性,提出了基于X-ray(X光)和RGB图像的多模态数据融合方法,建立了CNN-LSTM检测模型,实现了实蝇侵染柑橘高精度无损检测。模拟了柑橘在生产线上滚动并被拍摄6幅X-ray和RGB序列图像的过程,构建了实蝇侵染柑橘的多源数据集,融合了不同模态的实蝇侵染特征信息,提升了实蝇侵染柑橘检测模型的检测能力,并对比了ResNet18-LSTM、GoogleNet-LSTM、SqueezeNet-LSTM、MobileNetV2-LSTM轻量化检测模型,验证了多模态数据融合方法的有效性。研究结果表明,提出的多模态数据融合实蝇侵染柑橘方法比单模态检测方法检测性能更加优异,其中ResNet18-LSTM检测准确率最高,多模态的图像融合和特征融合方法检测准确率分别达到97.3%和95.7%,单模态X-ray和RGB检测方法准确率分别为93.2%和89.3%。本研究可为实蝇侵染柑橘在线...     

基于CNN-Transformer的视觉缺陷柑橘分选方法

针对产线分拣缺陷柑橘费时费力等问题,以柑橘加工生产线输送机上随机旋转的柑橘果实为研究对象,开发了一种基于卷积神经网络（CNN）的检测算法Mobile-citrus,用于检测和暂时分类缺陷果实,并采用Tracker-citrus跟踪算法来记录其路径上的分类信息,通过跟踪的历史信息识别柑橘的真实类别。结果显示,跟踪精度达到98.4%,分类精度达到92.8%。同时还应用基于Transformer的轨迹预测算法对果实的未来路径进行了预测,平均轨迹预测误差达到最低2.98个像素,可用于指导机器人手臂分选缺陷柑橘。试验结果表明,所提出的基于CNN-Transformer的缺陷柑橘视觉分选系统,可直接应用在柑橘加工生产线上实现快速在线分选。