基于Census变换的双目视觉作物行识别方法

针对基于双目视觉技术的作物行识别算法在复杂农田环境下,立体匹配精度低、图像处理速度慢等问题,该文提出了一种基于Census变换的作物行识别算法。该方法运用改进的超绿-超红方法灰度化图像,以提取绿色作物行特征;采用最小核值相似算子检测作物行特征角点,以准确描述作物行轮廓信息;运用基于Census变换的立体匹配方法计算角点对应的最优视差,并根据平行双目视觉定位原理计算角点的空间坐标;根据作物行生长高度及种植规律,通过高程及宽度阈值提取有效的作物行特征点并检测作物行数量;运用主成分分析法拟合作物行中心线。采用无干扰、阴影、杂草及地头环境下的棉田视频对算法进行对比试验。试验结果表明,对于该文算法,在非地头环境下,作物行中心线的正确识别率不小于92.58%,平均偏差角度的绝对值不大于1.166°、偏差角度的标准差不大于2.628°;图像处理时间的平均值不大于0.293 s、标准差不大于0.025 s,能够满足田间导航作业的定位精度及实时性要求。     

高分辨率卫星立体影像对的图割匹配算法

针对高分辨率卫星立体像对自动匹配中同名特征点难以选取,导致视差图较低的问题,引入在计算机领域取得成功应用的图割匹配算法,将立体匹配问题转换为全局能量函数的最小化问题,并进行改进,构建简化的网络求解最小割,实现能量函数的最小化,得到较为准确的视差图,实现卫星立体像对的匹配。该文选取EROS-B卫星立体像对进行试验,结果证明改进的图割立体匹配算法生成视差图的均方根误差是传统基于相关系数的区域匹配算法生成视差图的均方根误差的1/3,且算法运行时间比传统的图割立体匹配算法的运行时间缩短了85.2%。该研究可为基于卫星立体像对构建高精度数字高程模型提供前提条件。     

采用双目视觉和自适应Kalman滤波的作物行识别与跟踪

针对传统作物行识别方法在相邻图像间的识别结果偏差较大,作物行的定位精度和稳定性低等问题,该研究提出一种基于双目视觉和自适应Kalman滤波技术的作物行识别与跟踪方法。对于作物行识别,首先建立图像预处理算法,基于改进的超绿-超红模型和最大类间方差法分割植被灰度特征;建立作物行特征提取算法,基于特征点检测技术和双目视差测距方法计算植被角点特征的三维坐标,根据三维阈值提取作物行特征点,进而建立作物行中心线检测算法,建立基于主成分分析的直线拟合模型,根据作物行特征点的频数统计规律检测作物行冠层中心线。对于作物行跟踪,建立跟踪目标规划模型,提取位于图像中央区域的作物行作为跟踪目标;建立目标状态方程,基于自适应Kalman滤波技术构建作物行中心线跟踪模型。以棉花图像开展试验研究,图像数据包括阴影、杂草、地头等田间场景。试验结果表明,该研究方法的作物行识别准确度、精度和速度均较高,识别正确率约为92.36%,平均航向偏差为0.31°、标准差为2.55°,平均识别速度约80.25 ms/帧;经目标跟踪后,航向角和横向位置估计的标准差分别为2.62°和0.043 m、较无跟踪状态分别减小22.94%和10.42%,作物行中心线的方位估计精度进一步提高。研究成果可为导航系统提供连续、稳定的作物行导引参数。     

基于图像特征点粒子群聚类算法的麦田作物行检测

为了快速准确地提取麦田作物行中心线,提出了基于图像特征点粒子群聚类算法的麦田作物行检测。首先,对自然光照下获取的彩色图像运用"过绿颜色因子图像灰度化"、"Otsu图像二值化"、"左右边缘中间线检测提取作物行特征点算法"3步对图像进行预处理。然后,根据农田作物行中心线周围区域的特征点到该直线的距离均小于某一距离阈值的特征,运用粒子群优化算法对每一作物行的特征点分别进行聚类。最后,对每一类的特征点用最小二乘法进行直线拟合获取麦田作物行中心线。试验结果表明,该算法可以对作物断行、杂草、土块等复杂农田环境下的图像进行有效地作物行检测,识别率达95%,识别误差小于3°。与标准Hough算法相比,运行速率提升了一倍。该文可为实现农业机器人田间作业提供参考。     

基于EM-PCNN的果园苹果异源图像配准方法

针对果园环境下双目采集系统采集的飞行时间（Time of Flight,ToF）与可见光异源图像间匹配精度差的问题,该研究提出一种基于局部峰值的目标显著区域提取策略及最大期望算法的脉冲耦合神经网络分割的ToF与可见光果园苹果图像配准方法。首先,利用高斯差函数计算可见光图像中显著性区域,对可见光图像的红绿分量进行预处理;然后,以图像局部灰度值的二维正态分布作为目标分量,使用Otsu提取具有固定阈值的前景作为局部峰值提取策略,对ToF与可见光图像初步筛选特征区域,利用最大期望算法改进脉冲耦合神经网络（Pulse Coupled Neural Network,PCNN）动态阈值,使用局部图像梯度计算链接强度计算链接强度,利用图像区域方差改进终止条件,提出一种基于最大期望的脉冲耦合神经网络（Pulse Coupled Neural Network based on Expectation Maximization,EM-PCNN）算法对预选区域进行精细化分割;接着计算连通区域不变矩,利用不变矩特征原理寻找目标中心同名点,进一步筛选特征区域;最后,同名点进行随机抽样一致算法（Random Sample Consensus,RANSAC）提纯,将提纯后的同名点坐标代入变换模型计算模型参数,完成配准。在不同光照条件下均方根误差达3.05～4.75,配准点达3～5。EM-PCNN算法对两组ToF置信图像分割的准确率分别为96.62%和73.84%。试验结果表明该方法对双目采集系统采集的ToF与可见光异源果园苹果图像可实现较好配准效果,且对图像平移、旋转、缩放均具有可抗性。研究结果对ToF与可见光异源图像在果园环境下自动配准提供了技术参考。     

基于模糊C均值聚类的作物病害叶片图像分割方法研究

为提高作物病害图像的分割效果,根据作物病害图像的特点,提出了一种基于模糊C均值聚类算法(FCM)的作物病害图像自适应分割方法.该方法将像素的灰度与其邻域均值作为FCM的输入特征,变换FCM的隶属度函数使其包含图像的局部邻域特性;通过聚类有效性验证分析和试验确定模糊C均值聚类算法(FCM)的最优聚类数、模糊加权指数.运用该方法对棉花病害叶片图像进行分割.结果表明:该方法能较好将病斑部分和正常部分分割开,平均分割误差率小于5%,对作物病害图像的分割处理非常有效.     

猪舍图像局部亮度调整方法

针对猪舍视频监控场景中常常遭遇局部亮度不均衡而引起后继图像分析困难问题,提出一种图像自适应局部亮度调整法(ALLA)。首先为避免物体色度的干扰,原图像转换为YCbCr模型后,只利用亮度Y分量图像,根据最大类间方差(Ostu)将Y图像分为明暗二区;其次针对过亮和过暗的局部区域采用正弦函数进行非线性反向调整灰度值;最后,为评价处理后图像质量,提取测试图和基准图中的猪只对象轮廓边缘像素成对梯度值,通过假设检验判断二者差的集合均值是否存在明显变化。选择了典型3种猪舍环境图像,一种光线柔和,图像亮度质量较为理想;另外两种夜晚圈栏灯光和白天阳光导致景物本色出现偏差,即在光照强度高的局部区域灰度值低,反之则高。试验采用ALLA处理后的测试图像,测试PSNR(峰值信噪比)值均在31～78之间,表明没有引起图像质量显著下降;采用我们设计的假设检验方法,表明在显著性水平(α=0.95)时,测试图较之于标准灰度化图像有显著改变,因此,有利于后继的猪只目标分割工作。     

基于轮廓分割的草莓叶片三维建模

为精确构建原位草莓植株三维空间结构,以高架栽培模式生长环境下的草莓植株为研究对象,提出了一种基于多源图像轮廓分割的草莓植株结构形态三维重建算法。通过改进的多源图像融合算法,建立多源图像映射关系,融合预处理后的多源信息得到待分割强度图;计算待分割强度图矢量场卷积的局部中心,选出多目标的初始轮廓控制点,将参数的活动轮廓模型应用于待分割强度图像进行叶片的分割;采用标记的方法将分割轮廓映射至距离点云集,设计以单个叶片为单位的平面拟合选择机制,最终完成草莓三维模型的重建及显示。为验证该算法的有效性,将三维重建后的有效叶片数,平均单叶长度及叶片距离差作为评价指标,实验结果表明,有效叶片数正确率为85.6%,平均单叶长度模型正确计算率为88.4%,叶片距离差正确计算率为82.4%,研究结果可应用于原位草莓植株的空间位置测量,可为农业机器人局部视觉场景中植株空间结构的构建提供参考。     

基于剪切波变换和无人机麦田图像的区域杂草识别方法

区域杂草的识别有利于植保作业中的除草剂精准喷施。现有图像处理技术主要针对行间和株间杂草,而传统的图像采集与分析设备对苗期麦田杂草的识别存在一定局限性,难以满足非人工的区域性喷洒农药等作业需求。由于麦田区域中的麦苗和杂草具有形态和颜色区分度差的特点,传统的图像识别方法难以有效识别。针对此问题,该文提出利用剪切波变换对无人机麦田区域图像中杂草进行识别。该方法利用其自身的方向敏感性以及在纹理识别中的方向无关性,根据麦田区域图像在杂草较多的部分叶片纹理杂乱,反之则纹理相对规则的特点,处理得到不同尺度和不同方向下小麦与杂草的剪切波系数。然后针对小麦和杂草剪切波系数的不同特征,对剪切波系数矩阵进行归一化处理,同时对其均值和方差进行了统计分析,得到麦苗和杂草剪切波系数图中竖直锥第二尺度所有系数均值的区分值约为0.07,第二尺度各个方向的均方差均值的区分值约为0.08。通过对含杂草麦苗区域图像以及麦苗区域图像的验证,准确率为69.2%,效果优于传统的灰度共生矩阵方法。此外,该文对无人机拍摄区域图采用分块的方法,实现了对非麦苗区域的有效标识。由此可见,剪切波变换方法能够为基于低空植保无人机喷洒农药中的区域杂草识别提供参考。     

基于模糊C均值聚类的牛肉图像中脂肪和肌肉区域分割技术

介绍了一种自适应分割牛肉眼肌切面图像中脂肪和肌肉区域的图像处理技术。通过CCD摄像头获取以黑色平板为背景的牛肉眼肌切面彩色RGB图像。先根据彩色图像R分量的灰度直方图，利用最大方差自动取阀值法(OSTU)把黑色背景与整块牛肉图像分割开来；接着把处理后的图像变成灰度图像，用模糊C均值聚类算法(FCM)计算出牛肉脂肪像素和肌肉像素灰度值的聚类中心，以各个像素点灰度值与两个聚类中之间的绝对值距离来区分出图像中的脂肪和肌肉像素。结果表明，FCM方法是分割肌肉和脂肪区域的有效方法。     

基于立体视觉的动态鱼体尺寸测量

获取渔业养殖鱼类生长态势的人工测量方法费时费力，且影响鱼的正常生长。为了实现水下鱼体信息动态感知和快速无损检测，该研究提出立体视觉下动态鱼体尺寸测量方法。通过双目立体视觉技术获取三维信息，再通过Mask-RCNN（Mask Region Convolution Neural Network）网络进行鱼体检测与精细分割，最后生成鱼表面的三维点云数据，计算得到自由活动下多条鱼的外形尺寸。试验结果表明，长度和宽度的平均相对误差分别在5%和9%左右。该研究满足了水产养殖环境下进行可视化管理、无接触测量鱼体尺寸的需要，可以为养殖过程中分级饲养和合理投饵提供参考依据。     

车辆智能障碍物检测方法及其农业应用研究进展

农业机械自动导航技术的应用可提升作业的精度和安全性,而障碍物检测是其中的重要环节。该文按照传感技术的不同进行分类,从单一传感器检测技术到多传感器融合技术,对车辆智能障碍物检测方法及其农业应用的研究进展进行了综述。其中单一传感器检测技术包括超声波检测技术、激光雷达检测技术和机器视觉检测技术,超声波检测技术受障碍物表面情况影响、激光雷达检测技术成本太高、机器视觉检测技术算法复杂耗时长,均无法满足复杂农田环境需求;多传感器融合技术则可以融合单一检测技术的优点,该文概述了视觉检测技术与激光雷达检测技术融合、视觉技术与超声波技术融合以及融合了深度和彩色图像信息的Kinect传感器检测技术的应用情况。最后,总结现有技术存在的问题,并对未来的研究内容进行了展望,包括新型装置和新算法引入及原有传统方法的改进两个方面。     

基于自监督学习的番茄植株图像深度估计方法

深度估计是智能农机视觉系统实现三维场景重建和目标定位的关键。该文提出一种基于自监督学习的番茄植株图像深度估计网络模型,该模型直接应用双目图像作为输入来估计每个像素的深度。设计了3种面向通道分组卷积模块,并利用其构建卷积自编码器作为深度估计网络的主体结构。针对手工特征衡量2幅图像相似度不足的问题,引入卷积特征近似性损失作为损失函数的组成部分。结果表明:基于分组卷积模块的卷积自编码器能够有效提高深度估计网络的视差图精度;卷积特征近似性损失函数对提高番茄植株图像深度估计的精度具有显著作用,精度随着参与损失函数计算的卷积模块层数的增加而升高,但超过4层后,其对精度的进一步提升作用不再明显;当双目图像采样距离在9.0 m以内时,该文方法所估计的棋盘格角点距离均方根误差和平均绝对误差分别小于2.5和1.8 cm,在3.0 m以内时,则分别小于0.7和0.5 cm,模型计算速度为28.0帧/s,与已有研究相比,2种误差分别降低了33.1%和35.6%,计算速度提高了52.2%。该研究可为智能农机视觉系统设计提供参考。     

基于双目立体视觉的机械手移栽穴盘定位方法

为了解决自动化机械手移栽过程中穴盘放置偏斜和底部局部"凸起"而引起的移栽效果不理想的问题,为机械手提供穴盘精准坐标,对穴盘准确定位方法进行研究。首先,根据机械手移栽特点提出穴盘定位总体方法及图像获取手段。其次,利用单目相机获取的图像采用像素标记法和Radon变换法计算穴盘中心坐标和角度,完成穴盘平面定位。再次,对双目相机获取的图像采用SIFT(scale invariant feature transform)特征匹配的算法获得匹配点对坐标,并提出区域整合匹配点的方法。最后,利用整合的区域双目匹配点坐标配合相机标定结果重建匹配点的三维世界坐标,并且与穴盘平面定位结果相结合完成穴盘空间位置重构。试验结果表明,提出的穴盘定位方法能够真实地恢复穴盘空间姿态,中心像素横纵坐标相对误差分别在(-7,+7)和(-6,+7)像素内,角度检测值与实测值相对误差值在(-0.51°,+0.53°)内,利用SIFT特征匹配算法匹配双目图像,在2×4区域内对8对整合匹配点进行三维世界坐标重建,其中7个坐标的三个维度与测量值相对误差在2 mm内,1个坐标与测量值相对误差为4.6 mm内。该方法所应用的算法成熟,可以满足机械手移栽实际应用处理要求。     

基于双目立体视觉技术的玉米叶片三维重建

玉米叶片的三维形态特征是衡量叶片生物学特性的重要指标,为了能够简捷、快速、准确的获得叶片的三维形态,该研究以两个位置相对固定的摄像机组成双目立体视觉系统,采用平面模板法标定摄像机内外参数,照射结构光测量玉米叶片边缘与叶脉点的三维坐标,对稀疏离散点进行Cardinal样条插值,三角面片化插值点重建出部分叶片三维曲面,旋转平移各部分三维曲面拼接成完整的叶片。试验结果表明该文所提出的方法不仅能够准确的重建玉米叶片三维结构,同时具有无损、非接触、自动化程度高等优势。     

基于Kinect V3的单株作物自动化三维重建与验证

为高效、精确地对单株作物进行三维重建,以点云方式无损测量作物表型信息,该研究提出一种基于Kinect V3深度相机的三维重建系统。使用步进电机搭建了一个旋转台,并将旋转台面设计成多颜色同心圆,利用同心圆计算平面法向量及圆心两特征信息,用于点云水平校准以及获取点云间的旋转平移矩阵;将Kinect V3采集的多视角点云变换到同一坐标系下,并结合裁剪迭代最近点（Trimmed Iterative Closest Point,TrICP）算法实现了多视角点云的粗配准与精配准,完成了作物三维重建。为检验该研究的三维重建效果,选取菜心、黄瓜苗为试验对象,与多视图立体视觉-运动恢复结构（Multi-View Stereo and Structure From Motion,MVS-SFM）算法重建点云进行对比,并提取叶面积参数与人工测量值进行比较。结果表明,两种方法下重建后的菜心点云间平均距离误差为0.59 cm,黄瓜苗点云间平均距离误差为0.67 cm,具有较高的相似度,而相较于MVS-SFM算法,该研究提出的方法的重建速度提高了约90%;该研究提出的方法所重建点云,菜心叶面积提取与标准参考值相对误差均值为5.88%,均方根误差为3.83 cm2,黄瓜苗叶面积提取与标准参考值相对误差均值别为6.50%,均方根误差为2.08 cm2,都显现出较高的准确性。该研究提出的方法能对单株作物进行快速三维重建,能有效提取叶面积参数,可为作物育种、栽培和农业生产提供高效技术手段和数据支持。     

基于相机位姿恢复与神经辐射场理论的果树三维重建方法

针对传统立体视觉三维重建技术难以准确表征果树多尺度复杂表型细节的问题，该研究提出了一种基于相机位姿恢复技术与神经辐射场理论的果树三维重建方法，设计了一套适用于标准果园环境的果树图像采集设备和采集方案。首先，环绕拍摄果树全景视频并以抽帧的方式获取果树多视角图像；其次，使用运动结构恢复算法进行稀疏重建以计算果树图像位姿；然后，训练果树神经辐射场，将附有位姿的多视角果树图像进行光线投射法分层采样和位置编码后输入多层感知机，通过体积渲染监督训练过程以获取收敛且能反映果树真实形态的辐射场；最后，导出具有高精度与高表型细节的果树三维实景点云模型。试验表明，该研究构建的果树点云能准确表征从植株尺度的枝干、叶冠等宏观结构到器官尺度的果实、枝杈、叶片乃至叶柄、叶斑等微观结构。果树整体精度达到厘米级，其中胸径、果径等参数达到毫米级精度，尺度一致性误差不超过5%。相较于传统的立体视觉三维重建方法，重建时间缩短39.50%，树高、冠幅、胸径和地径4个树形参数的尺度一致性误差分别降低了77.06%、83.61%、45.47%和62.23%。该方法能构建具有高精度、高表型细节的果树点云模型，为数字果树技术的应用奠定基础。     

基于Unity 3D的中国古代农耕虚拟场景智能展示平台

中国传统农耕文化与精耕细作的农业精神是中国古代农业长期居于世界领先地位的关键因素。目前传播方式的限制阻碍了农耕文化与精神的传播和发展,鉴于此,提出一种结合虚拟现实技术开发虚拟农耕场景智能展示平台的方法。该研究提出的模型交互控制观察算法,精确地实现了模型的旋转与缩放查看;针对目前虚拟场景路径漫游中漫游物体角度不能变化的问题,提出一种物体朝向变化的虚拟场景漫游算法,使得路径虚拟漫游更贴合人的浏览角度。该研究基于Unity3D平台,采用3d Max建模工具,以C#为脚本语言设计并开发虚拟农耕场景智能展示平台。试验结果表明:虚拟农耕场景融合了交互与漫游技术,可还原古代农耕场景,宣传介绍典型生产技艺,为文化的展示提供参考。