番茄收获机器人视觉系统标定的研究

番茄收获机器人在番茄收获中是靠其视觉系统来获得目标位置信息的,而在定位过程中,首先遇到的就是摄像机的标定问题。为此,主要研究了番茄收获机器人双目视觉系统的标定,标定出了番茄收获机器人双目视觉系统的内部参数和外部参数,为番茄收获机器人双目定位系统提供了系统参数。     

基于语义信息的SLAM特征提取方法研究

视觉SLAM技术是无人驾驶技术中的关键一环,可以为无人车提供环境地图信息以及精确的位置信息。直接使用传统的特征提取算法而不加改进,不利于视觉SLAM系统的位姿解算。基于语义分割对视觉SLAM技术中特征提取的环节进行了优化,使其特征点分布更加均匀,有利于无人车进行更加准确的位姿估计,并设计实验对方法的有效性进行了验证。实验结果表明：采用改进的方法有利于视觉SLAM系统进行更准确的定位和地图构建。     

不同LED光质对番茄幼苗生长特性的影响

为保证设施番茄周年生产的壮苗供给,研究了人工气候环境下不同光质处理对番茄幼苗不同时期内生长特性的影响,以确定培育番茄壮苗的最佳人工光源。试验采用LED为光源,选取红蓝比分别为3(RB3/1)、5(RB5/1)、7(RB7/1)和白光(W)4个处理对番茄幼苗进行为期28 d的照射,光周期为12 h/12 h,自然光照射为对照,并利用综合评价方法分析不同LED光质对番茄幼苗不同时期内生长特性的影响。试验结果表明:光质对番茄苗期下胚轴、叶面积和根冠比的影响极显著(P0.01);生长初期光质对幼苗生长株高、茎粗、根数、根长、生物量、壮苗指数和G值的影响不显著,而后变为显著(P0.05),且不同时期内光质对各项指标的影响存在差异;依据不同生长时期各项指标的综合评价结果,确定番茄苗期较优光照组合为出芽后两周内采用红蓝比为RB7/1光质,而后采用白光LED光质进行照射;红蓝比为RB3/1的光质不适宜单独作为照射光源用于培育番茄壮苗。     

基于3D视觉的番茄授粉花朵定位方法

为了给设施番茄授粉机器人授粉提供可靠的定位技术,提出了一种基于3D视觉的番茄花朵定位方法。采用RGB-D结构光相机快速获取温室内番茄植株的彩色图和深度图信息,通过YOLO v4 (You only look once)神经网络对植株上番茄花束进行目标检测,并提取出授粉花束在图像中的二维区域;使用主动对齐方式结合PCL进行彩色图像和深度图像的粗对齐,利用区域内色系单视角线性遍历方法对提取的花束区域进行精配准,获得番茄花束的空间高精度点云信息;再使用统计滤波法剔除点云信息离群点后,结合双向均值法计算花束3D box的授粉质心坐标。定位试验结果表明,该方法在温室环境中能成功对花束进行识别定位,神经网络平均检测精度达97.67%,完成单幅图像花束提取时间为14.95ms,算法获取授粉质心坐标的平均时间约为300ms。后期在温室内验证,在花束被遮挡小于80%时,算法能够对番茄花朵进行精准定位,并成功执行授粉动作,为番茄授粉机器人提供了一种新的授粉点定位方法。     

3PTT-2R串并联数控机床动力学耦合特性研究

为较好地保证机床动力学特性和在复杂曲面加工过程中有较好的加工精度,基于机构运动和受力规律,针对设计的3并联2串联混合型数控机床进行动力学耦合问题研究。提出了一种联合应用凯恩方程及拉格朗日方程的动力学解耦方法。建立了机床串联及并联部分完整的动力学耦合模型并确定了耦合因素。进行了复杂曲面零件的动力学耦合仿真,仿真结果表明:建立的动力学耦合模型是正确且可行的,符合运动学及受力规律。进行了复杂曲面零件的切削加工实验,机床运行平稳且速度较快,无较大奇异位置及耦合误差。表面粗糙度结果反映了机床的运动精度,干涉条纹证明了机床受力均匀。实验结果表明理论分析正确,该研究方法和过程不仅能够真实、主动和有效地解决机床动力学耦合问题,而且可为后续机床精确伺服控制提供基础。     

基于YUV颜色模型的番茄收获机器人图像分割方法

在研究番茄收获机器人对目标图像分割识别时,经常由于采集的图像受光照影响以及分割识别算法的计算复杂性而影响到识别的准确性和实时性.通过比较RGB、HSI、YUV等颜色模型的特点,从理论上分析了YUV颜色模型应用于收获机器人视觉系统的可行性,提出了一种基于YUV颜色模型的成熟番茄分割方法.同时综合实验及经验确定了成熟的红色番茄在RGB、HSI、YUV颜色模型中阈值范围,采用直接确定色差阈值的双阈值分割算法识别成熟番茄,并对3种颜色模型在不同的光照条件下的分割识别效果进行实验对比.实验结果证实,将基于YUV颜色模型成熟番茄分割方法应用于番茄收获机器人视觉识别系统,能很好地解决其鲁棒性和实时性问题.     

基于计算机视觉的农田残膜定位研究

介绍利用计算机单目视觉技术对农田残膜进行定位的方法。通过图像处理对残膜目标区域进行识别;利用最小外接矩形法确定残膜目标区域的形心,并基于形心点特征将识别后的残膜图像与原图像形心坐标进行匹配;最后对这两种坐标进行最小二乘拟合,获取匹配函数。结果表明,该方法所确定的残膜形心位置的偏差被控制在1.2cm以内,说明单目视觉技术可以较准确地定位农田中残膜的位置。     

非结构环境中扰动葡萄采摘点的视觉定位技术

非结构环境下采摘机器人对扰动葡萄采摘点的视觉识别定位有实际应用价值。首先基于"挠性杆-铰链-刚性杆-质量球"模型对葡萄串形态进行分析,将其扰动状态分解为XOY和YOZ 2个平面的类单摆运动,对扰动葡萄进行视频拍摄,通过对视频中多帧葡萄图像进行Otsu阈值分割得到果实和果梗,并计算出各帧图像中葡萄串的质心;对各帧图像的葡萄串质心进行曲线拟合,计算出葡萄类单摆运动的周期与摆角,从而确定当前扰动葡萄是否适合视觉定位;对可实现视觉定位的扰动葡萄,选取类单摆中间位置质心点对应的葡萄图像,对葡萄串上方矩形区域进行Canny边缘检测,再利用霍夫直线拟合结合角度约束法实现扰动葡萄采摘点的定位。视觉定位试验结果表明:自然环境中不同光照下扰动葡萄采摘点的视觉定位准确率达80%以上,为采摘机器人应用于实际生产提供了理论基础。     

基于实例分割的番茄串视觉定位与采摘姿态估算方法

准确识别定位采摘点，根据果梗方向，确定合适的采摘姿态，是机器人实现高效、无损采摘的关键。由于番茄串的采摘背景复杂，果实颜色、形状各异，果梗姿态多样，叶子藤枝干扰等因素，降低了采摘点识别准确率和采摘成功率。针对这个问题，考虑番茄串生长特性，提出基于实例分割的番茄串视觉定位与采摘姿态估算方法。首先基于YOLACT实例分割算法的实例特征标准化和掩膜评分机制，保证番茄串和果梗感兴趣区域(Region of interest, ROI)、掩膜质量和可靠性，实现果梗粗分割；通过果梗掩膜信息和ROI位置关系匹配可采摘果梗，基于细化算法、膨胀操作和果梗形态特征实现果梗精细分割；再通过果梗深度信息填补法与深度信息融合，精确定位采摘点坐标。然后利用果梗几何特征、八邻域端点检测算法识别果梗关键点预测果梗姿态，并根据果梗姿态确定适合采摘的末端执行器姿态，引导机械臂完成采摘。研究和大量现场试验结果表明，提出的方法在复杂采摘环境中具有较高的定位精度和稳定性，对4个品种的番茄串采摘点平均识别成功率为98.07%,图像分辨率为1 280像素×720像素时算法处理速率达到21 f/s,采摘点图像坐标最大定位误差为3像素...     

驾驶人眼睛定位及特征提取算法研究

为进一步提高驾驶人眼睛状态检测对环境、头部姿态的适应性和鲁棒性,提出一种基于主动红外成像和双目立体视觉技术的眼睛定位和特征提取的方法。对采集的3名驾驶人脸部红外图像平滑处理算法、阈值分割算法进行了对比研究,得出适于驾驶人眼睛状态检测的实时算法。在驾驶人脸部区域定位的基础上,采用连通区域标记法对眼睛区域进行精确定位,通过最小二乘椭圆拟合算法获取瞳孔位置,使用Harris角点检测获取普尔钦光斑位置。研究表明:该方法能有效对驾驶人眼睛进行定位,并准确提取相关特征信息。     

农业田间害虫实时检测系统的硬件设计

介绍了农业田间害虫实时检测系统的硬件组成,即诱集致昏缓冲机构、分散传送机构、均匀光照系统和图像采集系统。诱集致昏缓冲机构可自动诱集和致昏田间害虫,并以合适的速度落入指定的位置;分散传送机构能自动调整害虫姿态,并使害虫平稳送入CCD视区;光照系统可为CCD摄像机的视区提供均匀和恒定的无影光照;图像采集系统可实时采集害虫的序列图像信息并送至计算机内存进行处理。通过现场试验,验证了该系统是可行性的。     

基于机器视觉的储粮害虫智能检测系统硬件设计

介绍了基于机器视觉的储粮害虫智能检测系统的硬件组成，该系统主要取样传送机构，均匀光照室和视觉系统3部分组成，取样传送机构可吸取任意检测点的粮食样本，并自动单层呈现给视觉检测系统，光照室可为CCD摄像机的视区提供均匀，恒定的无影光照；视觉系统可实时采集粮食样本的序列图像信息，并由计算机进行处理与识别，现场试验验证了该系统的可行性。     

打结嘴缠绳故障分析与曲面形态改进设计

针对打结嘴绕扣过程出现的缠绳故障问题,应用虚拟打结方法,分析夹绳盘搭绳点位置与打结嘴凸台倾角对绕扣与钳咬动作的影响,得出夹绳盘搭绳点偏差是打结嘴发生缠绳故障的主要因素,减小打结嘴凸台倾角有利于避免打结嘴缠绳故障。通过受力分析建立捆绳不沿打结嘴凸台曲面向上滑动的临界条件,获得改进的打结嘴凸台倾角。基于边界相似与B样条曲面造型方法重构打结嘴凸台曲面,获得改进的打结嘴模型。600次打结试验表明,凸台倾角50°的打结嘴模型具有更好限制捆绳沿打结嘴凸台曲面上滑的效果,能有效防止打结嘴缠绳故障发生,提高打结器的打结可靠性,可为打结嘴的改进设计提供参考。60°凸台倾角的打结嘴绕扣,夹绳盘搭绳点偏差应控制在±3°之内,而50°凸台倾角的打结嘴允许夹绳盘搭绳点偏差范围在[-4.5°,3°],可为夹绳盘搭绳点位置控制提供参考。     

计算机视觉系统下缺素番茄叶片彩色图像研究

基于计算机视觉系统分析研究缺素番茄叶片的色彩图像,可以准确提取出缺素番茄叶片色彩图像的特征。对当前缺素番茄叶片色彩图像特征提取中,可以运用计算机视觉,优化设计图像处理软件,依据番茄叶片颜色特征来完成缺素番茄叶片的识别。实验表明:基于计算机视觉系统,优化设计缺素番茄叶片色彩图像特征提取软件,可提升缺素番茄叶片色彩图像分析精度(提升32.0%),准确判断提取缺素番茄叶片图像的特征。基于计算机视觉系统,进行缺素番茄叶片的色彩图像特征提取,有效提高了缺素番茄叶片色彩图像分析精度,可在实践中推广应用该技术。     

西红柿采摘机器人视觉系统的研究

针对果实采摘机器人果实识别率低的问题,设计了一组用于西红柿识别和定位的双目立体视觉系统,为机器人的采摘作业提供更有利的条件。为此,采用Bumblebee双目立体视觉系统,基于成熟果实与植株颜色特征的差异进行图像分割,来识别成熟的西红柿;在完成相机标定、特征点提取和特征点匹配的基础上,通过三维空间定位获取果实的三维坐标。实验结果表明:该系统果实识别的整个过程平均耗时150ms,对成熟西红柿的识别率达到99%,测试误差在10mm以内,能够较好地满足西红柿采摘工作的要求。     

基于计算机视觉的苹果自动分级系统硬件开发

介绍了一种基于计算机视觉的新型苹果实时分级试验系统的硬件组成,该系统主要由输送机构、视觉系统及均匀照明室３部分组成。输送机构可把苹果４个表面快速呈现给视觉检测系统;视觉系统可同时采集苹果在可见光和近红外光谱范围内的图像信息并送至计算机内存进行处理;照明系统为ＣＣＤ摄像机的视区提供均匀、恒定的光照。初步试验表明了该系统的可行性,其辅助机构的实时分级算法有待于进一步研究。     

番茄采摘机器人非颜色编码化目标识别算法研究

为了实现番茄采摘机器人在非结构化环境下对目标番茄的准确识别,提出了一种基于非颜色编码的番茄识别算法。通过Haar-like特征及其编码的方法,结合AdaBoost深度学习算法可以获得用于识别成熟番茄的分类器;并研究了Haar-like特征类型和AdaBoost学习训练次数对分类器性能的影响。所得强分类器对测试集中的番茄进行在线识别试验。试验结果表明,测试集中93.3%的成熟番茄能够被正确识别;同时该分类器还对光照变化、果实粘连以及枝叶遮挡等干扰具有较强的自适应性和鲁棒性,满足采摘机器人对目标识别的技术要求。     

基于计算机视觉的储粮活虫检测系统硬件设计

设计了基于可见光-近红外计算机视觉的储粮活虫检测系统,该系统主要由粮虫自动分离子系统、粮虫传输子系统、光照箱、图像采集子系统4部分组成。粮虫自动分离子系统可从粮食样本中快速、有效地分离出粮虫,并进行自动除尘;粮虫传输子系统可准确接收筛下物,并输送采集盒到图像视觉采集部分的正下方以供图像采集;光照箱可为采集盒中的筛下物提供均匀的可见光-近红外波段的漫反射光;图像采集子系统可同时采集筛下物的近红外图像和可见光图像。系统对危害严重的9类储粮活虫的筛分率达到96.06%。实验验证了该系统的可行性。     

河套灌区加工型番茄膜下滴灌技术研究

试验设计采用9个水分处理,探讨对加工型番茄产量的影响,从而寻求最佳的膜下滴灌灌溉制度。结果表明,随着灌溉定额和滴水次数的增加,产量随之增加,但在番茄需水敏感期(开花期、结果期)滴水次数过少,会严重影响产量。建议试验区加工型番茄膜下滴灌灌溉制度为:滴水10~12次,灌溉定额2 100~3 000 m3/hm2。