基于视触觉与深度学习的猕猴桃无损硬度检测方法

硬度是确定猕猴桃成熟度的重要指标之一，对其贮藏周期与销售节点均具有重要指导意义。针对现阶段缺乏使用简易、成本低且精度高的猕猴桃无损硬度检测方法的问题，提出了一种基于视触觉与深度学习的猕猴桃硬度检测方法，通过分析柔性触觉传感层与猕猴桃接触时的形变，获取猕猴桃的动态触觉信息，并据此推断其硬度。以树莓派开发板为机电控制平台，制作了猕猴桃视触觉序列图像采集装置，并对装置按压猕猴桃间隔3h后接触面果肉与非接触面果肉的CIELAB颜色分量平均数进行差异显著性检验，随后采集了猕猴桃视触觉序列图像数据集600组，分别搭建了CNN网络、CNN-LSTM迁移学习网络、CNN-LSTM联合学习网络对视触觉序列图像进行分析及硬度预测。研究结果表明，接触面果肉与非接触面果肉颜色L*、a*、b*三通道分量下平均值无显著差异；深度学习模型LSTM引入长时和短时信息可以动态关联CNN提取的单帧图像特征，从而有效推断猕猴桃硬度，其中CNN-LSTM联合学习模型预测效果最优，其均方根误差(RMSE)、平均绝对误差(MAE)、决定系数R2分别为 1.611N、1.360N、0.856，优于现阶段光谱技术检测猕猴桃硬度的结果，随后将模型嵌入树莓派中制作了猕猴桃硬度自动检测装置，可实现短时间内猕猴桃硬度的较为准确检测。因此，结合视触觉传感方法与联合学习模型可以实现对单个猕猴桃硬度的准确无损测量。

Non-destructive Firmness Testing of Kiwifruit Based on Visioned-based Tactile Sensor and Fusion Learning