基于双目视觉技术的曲面测量方法

介绍了一种基于视觉技术的非接触式曲面测量方法,该方法根据双目立体成像原理,以数学形态学及计算机图形图像学为理论基础,利用数字图像处理技术,采用常规设备实现曲面的测量.通过对已知曲面(圆柱表面)进行测量以及误差分析,得出该测量方法的精度为0.30mm,验证了此方法的可行性.     

采摘机器人视觉伺服控制系统设计

分析了采摘机器人目标位置与机器人关节角度之间的运动学关系,给出了两者之间的坐标变换公式.根据伺服控制特点,在机器人伺服控制中引入模糊PID控制方法,利用模糊控制策略在线自适应整定PID参数,提高了控制系统的动、静态性能.仿真和实验结果验证了设计的合理性和有效性.     

基于线性拟合改良视觉伺服的无人机跟踪控制算法

针对传统视觉伺服（IBVS）无人机跟随系统精度低、滞后性、运动不稳定、脱离后难再定位等问题,提出一种通过线性拟合预测目标的改良视觉伺服控制算法,使得整套系统稳定性更好,准确性也更高,运动不再抖动,跟随位置效果更好,快速性得到提高,滞后问题得以改善。对从视觉获得的定位坐标进行线性拟合,根据线性拟合的目标运动轨迹,计算下一步目标速度、加速度,实现预测目标下一时刻位置信息。对自身无人机做预测飞行,消除因采集信号、计算处理导致无人机滞后于目标的飞行,实现精度更高的跟随。     

番茄枝叶修剪机械手视觉伺服控制系统研究

为解决番茄枝叶修剪机械手无法准确找到番茄侧枝修剪点的问题,保证番茄枝叶修剪机械手工作效率,提出基于不同边缘类型的番茄侧枝特征点识别方法。在粒子群算法优化的神经网络(PSO-BP)的基础上设计“眼在手上”视觉伺服控制系统。通过对番茄植株横纵边缘分割,分别进行横向边缘和纵向边缘的提取,用阈值分割除去番茄叶片的短边缘,并记录其交点横纵坐标,限制交点分别在横向边缘的上边缘和下边缘,得到对偶的番茄侧枝点。试验结果表明,所设计的视觉伺服系统能成功的识别番茄侧枝点,仿真试验测试得到图像特征的实际值和期望值误差在3~5个像素之间,五自由度的机械手能在4 s内移动到期望位置,为农业修剪枝叶机器人进一步研究提供参考。     

面向采摘机器人的视觉伺服控制技术研究进展

在新型农业生产模式下,采摘机器人成为智能农业装备的重要组成部分。在非结构环境下,视觉伺服控制以获得作业环境信息量大、鲁棒性强等优势成为采摘机器人的关键技术。结合3种经典视觉伺服控制方法的研究进展和原理,对比总结了各种控制方法的优缺点和研究重点,并就其中一些关键问题分析了解决方法,同时提出对采摘机器人适应性强的视觉伺服控制技术,并对技术发展趋势进行了展望。      

基于高动态范围成像的温室番茄植株图像色彩矫正方法

针对温室番茄智能化管理视觉信息稳定获取的需要,研究了基于高动态范围成像技术的番茄植株图像色彩矫正方法,以克服复杂自然光照条件对作业对象色彩稳定呈现的客观限制。鉴于温室内光照时空波动和复杂背景辐射强度突变导致图像色彩失真,提出了融合多曝光强度图像的摄像机辐射响应模型标定方法;分别提取曝光时间为0.01、0.05、0.08、0.10ms的4幅图像离散像素点的Y通道亮度信息,求解特定视场下像素点亮度与曝光度的函数关系,在此基础上以低曝光度图像亮度为参考,估计摄像机全局视场的辐射强度;采用S曲线函数压缩高动态范围图像数据,将视场辐射强度映射为图像亮度,实现对低曝光图像的色彩矫正重构;最后,通过现场试验对色彩矫正方法进行验证,试验结果表明,不同场景和时段的番茄植株图像的灰度信息量、离散程度和清晰度均得到改善,图像灰度信息熵、标准方差和平均梯度平均提高16.87%、9.81%和19.49%。本研究可为农业复杂光照条件下作业对象图像色彩信息的获取研究提供参考。     

基于立体视觉技术的多种农田障碍物检测方法

从摄像机标定、图像获取、双目校正、立体匹配、深度计算等方面研究多种农田障碍物检测方法,分别用Bouguet算法进行立体校正、用区域匹配方法获取视差图、用三角测量方法计算障碍物的深度,获取了不同环境下的5种障碍物及其位置信息,并使用计算机视觉函数库OpenCV,提高了算法的实时性。试验表明:障碍物与摄像机的距离小于2 000 mm时,准确识别率在96%以上,深度的绝对误差在±30 mm内(即相对误差在1.5%以下),且完成一次障碍物检测的时间小于100 ms。     

番茄收获机器人视觉系统标定的研究

番茄收获机器人在番茄收获中是靠其视觉系统来获得目标位置信息的,而在定位过程中,首先遇到的就是摄像机的标定问题。为此,主要研究了番茄收获机器人双目视觉系统的标定,标定出了番茄收获机器人双目视觉系统的内部参数和外部参数,为番茄收获机器人双目定位系统提供了系统参数。     

基于双目立体视觉的植株生长状态无损监测方法的研究

基于双目立体视觉的植物生长状态无损测量方法研究,能快速地对植株生长进行无损监测,尤其能准确测量倾斜生长的植株高度,对于农业工程研究有重要意义。本研究在实验室搭建计算机双目立体视觉平台,对大豆植株生长进行无损监测。由于植物的形态与生长条件限制,双相机光轴与基线的夹角未能构成最佳双目测量系统,因此本研究对双目立体视觉平台本身的精度进行了校验。利用VC＋＋6.0编制的图像分析处理软件,结合界跟踪算法与斜率计算对植株的顶芽进行识别,能取得很好的效果。研究表明,实验表明双目立体视觉可应用于植物无损监测,具有广阔的应用前景。     

基于实例分割的番茄串视觉定位与采摘姿态估算方法

准确识别定位采摘点,根据果梗方向,确定合适的采摘姿态,是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂,果实颜色、形状各异,果梗姿态多样,叶子藤枝干扰等因素,降低了采摘点识别准确率和采摘成功率。针对这个问题,考虑番茄串生长特性,提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制,保证番茄串和果梗感兴趣区域(Region of interest, ROI)、掩膜质量和可靠性,实现果梗粗分割;通过果梗掩膜信息和ROI位置关系匹配可采摘果梗,基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割;再通过果梗深度信息填补法与深度信息融合,精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态,并根据果梗姿态确定适合采摘的末端执行器姿态,引导机械臂完成采摘。研究和大量现场试验结果表明,提出的方法在复杂采摘环境中具有较高的定位精度和稳定性,对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1 280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素...     

基于语义分割网络的植保机器人视觉伺服控制方法

为实现稳定可靠的植保机器人视觉伺服控制,提出了一种基于语义分割网络的作物行特征检测方法。基于语义分割网络ESNet实现农田场景图像像素级带状区域检测,并利用最小二乘算法拟合得到每条行作物线特征;在此基础上通过设计一种主导航线提取算法获取导航路径,并利用卡尔曼滤波对主导航线几何参数进行平滑处理,有效抑制了不平整地面导致的机器人运动颠簸与视觉图像测量噪声引起的导航参数波动。继而构建机器人前轮转向、后轮差速的阿克曼运动学模型;在图像空间坐标下设计纯追踪控制器实现植保机器人的伺服运动控制。大田环境下的现场实验结果为：总体横向偏差为0.092m,验证了本文方法的有效性。     

采摘机器人选择性作业信息获取研究——基于无标定视觉伺服系统

以采摘机器人采摘作业为研究对象,以选择性采摘成熟果蔬为研究目标,基于无标定视觉伺服系统,结合果蔬成熟特性判断目标果实是否适合采摘,设计了一套以MSP430F149为核心的智能检测控制系统,可以实时处理相机采集到的图像,并选择性采摘符合要求的果实。本文重点研究了视觉伺服原理与模型、果实成熟度判断、选择性作业信息获取,以及系统的硬软件设计,并对文中设计研究的系统进行了可行性验证。试验结果表明:该无标定视觉伺服系统判断准确,能够较大程度提高机器人的可靠性与稳定性,应用前景宽广。     

基于视触觉感知的番茄尺寸和姿态解析方法

针对传统农业机器人抓取过程中视觉识别番茄果实尺寸和姿态存在枝叶遮挡的问题,提出了一种基于视触觉感知的番茄尺寸和姿态解析方法。在果实抓取过程中通过视触觉传感器得到果实外轮廓接触局部点云信息,然后通过相机参数标定以及各手指关节变换矩阵,将不同传感器坐标系下的点云信息变换到同一基坐标系下,进而通过点云改进PCA算法和ICP算法解析抓取果实的尺寸和姿态信息。为了评估所提出解析方法的性能,在实验室环境下进行了番茄尺寸和姿态检测试验。通过游标卡尺测量和深度相机扫描分别获得番茄果实尺寸和姿态的真实值,并与本文方法解析结果进行对比。检测试验结果表明,本文方法获得的番茄横向尺寸和纵向尺寸平均相对误差分别为8.66%和11.08%,番茄果轴与视场投影面的水平夹角和垂直偏转角平均相对误差分别为10.03%和14.02%。本文方法解析的番茄果实尺寸与姿态信息,可应用于番茄果实抓取过程中的姿态调控,从而提高番茄果实抓取采摘的可靠性。     

基于视觉导航和RBF的移动采摘机器人路径规划研究

为了提高采摘机器人自主导航和路径规划能力,提出了基于计算机视觉路径规划和RBF神经网络自适应逼近算法的导航方法。使用图像分割、平滑处理和边缘检测技术,根据图像像素灰度值确定了导航线的位置,利用逐行扫描的方法得到了导航离散点。路径规划和跟踪使用RBF神经网络逼近算法,通过逼近误差和权值控制路径跟踪的精度,系统响应的执行端使用液压伺服系统,提高了机器人自主导航的精度。以黄瓜采摘作为研究对象,在日光温室对机器人采摘作业进行了测试,通过测试得到了RBF神经网络的路径跟踪误差曲线。测试结果表明:机器人可以很好地逼近跟踪规划路径,其计算精度较高,跟踪效果较好。     

基于3D视觉的番茄授粉花朵定位方法

为了给设施番茄授粉机器人授粉提供可靠的定位技术,提出了一种基于3D视觉的番茄花朵定位方法。采用RGB-D结构光相机快速获取温室内番茄植株的彩色图和深度图信息,通过YOLO v4 (You only look once)神经网络对植株上番茄花束进行目标检测,并提取出授粉花束在图像中的二维区域;使用主动对齐方式结合PCL进行彩色图像和深度图像的粗对齐,利用区域内色系单视角线性遍历方法对提取的花束区域进行精配准,获得番茄花束的空间高精度点云信息;再使用统计滤波法剔除点云信息离群点后,结合双向均值法计算花束3D box的授粉质心坐标。定位试验结果表明,该方法在温室环境中能成功对花束进行识别定位,神经网络平均检测精度达97.67%,完成单幅图像花束提取时间为14.95ms,算法获取授粉质心坐标的平均时间约为300ms。后期在温室内验证,在花束被遮挡小于80%时,算法能够对番茄花朵进行精准定位,并成功执行授粉动作,为番茄授粉机器人提供了一种新的授粉点定位方法。     

计算机视觉技术在番茄损伤区域自动检测中的应用

农产品品质检测与分级是流通和加工过程中的一个重要环节,其检测与分级水平不仅直接关系到人民的健康,而且还是国际、国内农产品市场竞争的重要因素。为此,研究了图像处理的去除噪声、图像分割、图像增强等多种低层处理的方法,建立用区域增长法进行番茄表面缺陷区域检测,实验证明番茄损伤检测的准确率不低于90%。     

电液手控器型遥操作机器人力反馈控制策略

针对现有电动力反馈操纵装置存在刚度小、力效果不明显的问题,设计了电液伺服力反馈手控器。该手控器在水平方向上具有X、Y两个旋转自由度,每个自由度采用单独的伺服阀控液压马达驱动,空间运动互不干涉。综合传统的力反射伺服型和并列型双向伺服控制算法的优点,提出力/位置偏差复合型主从双向控制策略。以液压手控器为主手,四自由度工程机器人为从手,进行主从遥操作力反馈双向伺服试验研究。验证了力/位置偏差复合型控制算法能有效提高系统响应的快速性和稳定性。     

基于LightGBM和处方数据的番茄病害诊断方法

为高效地挖掘植物病害处方数据并辅助精准诊断,以番茄病毒病、番茄晚疫病、番茄灰霉病3种病害为研究对象,构建基于贝叶斯优化LightGBM的番茄病害智能诊断模型,探索作物病害处方数据挖掘及其精准诊断。重点对处方原数据（文本数据标签和One-hot编码等）进行预处理,以基于Wrapper的递归特征消除法进一步提取作物病害处方数据的特征;利用基于LightGBM算法构建番茄病害诊断模型,并与K近邻（KNN）、决策树（DT）、支持向量机（SVM）、随机森林（RF）、梯度提升决策树（GDBT）、AdaBoost和XGBoost常见机器学习模型运行结果进行比较分析并进行优化;设计基于LightGBM模型的Android手机端植物医生病害诊断APP。实验结果表明,基于贝叶斯优化的LightGBM模型综合诊断准确率可达到89.11%,比其他7种机器学习模型的诊断准确率平均高3.65个百分点;同时特征选择后的LightGBM模型在保证模型准确率的基础上降低了前期数据收集难度,模型综合准确率提高至89.34%,其中番茄病毒病的诊断精确度和F1值均达到96%以上,运行时间减少了47.73%;最后通过番茄叶霉病和番茄早疫病两种病害对本文模型进行了泛化能力测试,实验结果表明该模型具有较强的泛化能力和实用性。基于LightGBM模型设计的APP可以实现用户人群友好的交互式可视化且满足实际诊断需求。