基于深度掩码的玉米植株图像分割模型

随着深度学习技术在植物表型检测领域的应用,有监督深度学习逐渐成为植物表型信息的提取与分析的主要方法。但由于植物结构复杂、细节特征多,人工标注的成本和质量问题已成为制约技术发展的瓶颈。该研究针对玉米苗期植株图像分割问题提出一种基于深度掩码的卷积神经网络（Depth Mask Convolutional Neural Network,DM-CNN）,将深度图像自动转换深度掩码图像,并替代人工标注样本完成图像分割网络训练。试验结果表明,在相同的网络训练参数下,通过测试DM-CNN得到的平均交并比为59.13%,平均召回率为65.78%,均优于人工标注样本对应的分割结果（平均交并比为58.49%,平均召回率为64.85%）;此外,在训练样本中加入10%室外玉米苗期图像后,DM-CNN对室外测试集的平均像素精度可以达到84.54%,证明DM-CNN具有良好的泛化能力。该研究可为高通量、高精度的玉米苗期表型信息获取提供低成本解决方案及技术支持。     

基于深度图像和BP神经网络的肉鸡体质量估测模型

针对现阶段肉鸡称重复杂、福利降低问题,提出了一种基于深度图像的肉鸡体质量估测模型建立方法。该方法首先对深度图像进行图像预处理,再利用数值积分法提取出目标特征,并结合BP神经网络,实现群体肉鸡的体质量估测。估测结果与实际测量结果进行对比,研究结果表明两者的均方根误差为0.048,平均相对误差为3.3%,绝对误差在0.001 0~0.068 2 kg范围内,最优拟合度为0.994 3,具有较好的推广应用价值。该方法较为准确的估测出肉鸡体质量,并为用机器视觉的方法估测肉鸡生长发育规律提供了新的思路。     

基于K-means和近邻回归算法的Kinect植株深度图像修复

针对Kinect传感器应用于农业植株检测产生的图像噪声问题,特别是由光线以及传感器自身局限导致的匹配图像目标植株数据的缺失,提出一种基于K-means和近邻回归算法的植株深度检测图像修复方法。首先对Kinect传感器获取的彩色RGB图像进行阈值分割预处理提取植株目标区域,再利用K-means聚类算法去除背景噪声,使得植株目标区域轮廓更加清晰;然后基于配准的彩色图像和深度图像,对获取的深度图像中可疑像素点的深度数据采取近邻回归算法进行修复,再将修复后的深度图像与目标分割后的彩色图像进行植株区域的匹配,并进行二次近邻回归算法修正错误的深度数据,最后获取目标植株深度信息的检测图像。试验结果证明,采用RGB阈值分割和K-means聚类算法植株目标区域分割误差均值为12.33%,比单一RGB阈值分割和K-means聚类分割误差降低了12.12和41.48个百分点;同时结合聚类后的彩色图像对深度数据进行两次近邻回归算法修复深度数据,能够提高深度数据边缘的清晰度,单帧深度数据空洞点进行修复数据的准确度提高。该研究结果可为农业植株检测、植株三维重构、精准对靶喷雾等提供参考。     

基于深度和彩色双信息特征源的Kinect植物图像拼接

图像拼接对制作全景图具有重要作用,传统SIFT(scale-invariant feature transform)图像拼接方法受光照不均匀或风吹影响,存在错位和缺失等情况。针对这一问题,该文提出一种基于Kinect彩色和深度双信息特征源的图像拼接方法。首先对获取的植株彩色图像采用SIFT算法进行特征点提取和特征点匹配,利用Kinect收集到的植株深度数据去除误匹配,采用RANSAC算法寻找投影变换矩阵,最后通过最佳缝合线算法进行图像融合。室内和室外试验结果表明,该文基于Kinect彩色和深度双信息特征源的图像拼接方法能够有效克服光照、风吹等环境因素的影响,避免了图像缺失、亮暗差异、重影等拼接错误,该文方法图像拼接时间较短,平均匹配准确率达96.0%,较传统SIFT图像拼接方法平均准确率提高了5.9%。     

基于射线轮廓点匹配的生猪红外与可见光图像自动配准

为研究生猪多源图像特征提取方法及生猪体表温度与生猪异常的关系特征,该文提出一种基于射线轮廓特征点匹配的红外与可见光图像自动配准方法。采用红外热像仪,同时采集相同猪舍场景的可见光图像和红外热图像,以红外热图像中生猪区域质心为中心间隔均匀角度构建辅助射线,提取射线与边缘轮廓交点构建匹配特征点集,通过计算不同尺度变换因子下特征点集间的加权部分Hausdorff距离作为测度,引入RPROP算法进行迭代加速,实现了可见光图像和红外热图像的快速自动配准。试验中,应用该文算法对50对红外和光学图像进行了测试,所提出自动配准方法配准成功率达到94%,平均配准误差小于1像素,试验结果表明自动配准效果达到或超过手动配准的效果,为进一步研究生猪多源图像异常特征提取奠定基础。     

生猪轮廓红外与光学图像的融合算法

该文针对生猪红外热图像和光学图像的融合,提出一种基于非子采样轮廓波的图像融合算法。在图像多尺度、多方向分解的基础上,设计了基于邻域平均能量和邻域方差的低频子带系数加权融合规则,以及基于邻域能量最大的带通系数融合规则。针对亮度-色度-饱和度变换法(intensity-hue-saturation transform,IHS)、小波变换法(discrete wavelet transform,DWT)、轮廓波变换法(contourlet transform,CT)等融合方法以及非子采样轮廓波变换(nonsubsampled contourlet transform,NSCT)域下不同融合规则进行了对比试验,试验结果表明该文算法具有较好的融合效果。定量融合评价指标中,平均梯度指标高于IHS、DWT、CT等方法25%以上,边缘信息保持指标高于其他3种方法23%以上。该文方法的提出对于改善生猪异常视觉监测中的前景轮廓提取具有较大意义;同时,对进一步开展猪体部位区域温度特征提取,建立生猪多源特征融合的计算机视觉异常监测系统,提高生猪异常预警可靠性具有积极意义。     

基于颜色和深度信息融合的目标识别方法

传统的机器视觉采用二维RGB图像,难以满足三维视觉检测的要求,深度图像能直接反映物体表面的三维特征,正逐渐受到重视。该文提出的方案将RGB和深度信息相结合,分割出物体所在区域,并利用梯度方向直方图(HOG, histograms of oriented gradients)分别提取RGB图像和深度图像特征信息。在分类算法上,该文采用k最邻近节点算法（k-NN）对特征进行筛选,识别出目标物体。试验结果表明,综合利用深度信息和RGB信息,识别准确率很高,此方案能够对物体和手势进行很好识别。     

基于改进HRNet的单幅图像苹果果树深度估计方法

针对苹果自动采收获取深度信息的实际需求,以及目前单幅图像深度估计算法存在的空间分辨率低和边缘模糊问题,提出一种基于改进高分辨率网络（High-Resoultion Net, HRNet）的单幅图像苹果果树深度估计模型。首先基于HRNet构建多分支并行的编码器网络,提取多尺度特征,并通过引入密集连接机制强化特征传递过程中的连续性;为了减少冗余特征造成的噪声干扰,使用卷积注意力模块在通道及像素层级对融合特征进行重标定,强化特征图结构信息。在解码器网络中,使用条纹细化模块自适应地优化特征图的边界细节信息,突出边缘特征,改善边缘模糊问题,最后经上采样生成深度图。在NYU Depth V2公共数据集和果树深度数据集上进行试验。试验结果表明,引入密集连接机制,添加卷积注意力模块、条纹细化模块均能提升模型性能。提出的改进HRNet网络在果树深度数据集上的平均相对误差、均方根误差、对数平均误差、深度边缘准确误差和边缘完整性误差分别为0.123、0.547、0.051、3.90和10.59,在1.25、1.252、1.253阈值下的准确率分别达到了0.850、0.975、0.993;在主观视觉上,改进HRNet网络生成的深度图有清晰的边缘以及较多的纹理细节。该方法在客观指标和主观效果上均有良好的表现。     

基于彩色和深度信息结合K-means聚类算法快速拼接植株图像

图像拼接可以建立宽视角的高分辨率图像,对实现农业智能化有重要作用。基于Kinect传感器的图像拼接方法利用彩色和深度双源信息,能够有效避免图像缺失、亮暗差异、重影等拼接错误,但是存在拼接时间较长和目标植株不明显等情况。针对这一问题,该文提出一种基于Kinect传感器彩色和深度信息的目标植株图像快速拼接方法。首先用K-means聚类算法和植株深度信息提取彩色图像中有效植株区域,再采用SURF(speeded up robust features)算法进行特征点提取,利用相似性度量进行特征点匹配并根据植株深度数据去除误匹配,由RANSAC(randomsampleconsensus)算法寻找投影变换矩阵,最后采用基于缝合线算法的多分辨率图像融合方法进行拼接。室内外试验结果表明:该文图像拼接方法更能突显出目标植株且极大缩短了拼接时间,该方法图像拼接时间只需3.52 s(室内)和7.11 s(室外),较基于深度和彩色双信息特征源的Kinect植物图像拼接方法时间缩短了8.62 s(室内)和38.56 s(室外),且平均匹配准确率达96.8%。该文拼接后图像信息熵、清晰度、互信息、空间频率平均分别为6.34、50.36、11.70、11.28,图像质量较传统方法均有提高。该研究可为监测农业植株生长状态、精确喷洒药物提供参考。     

基于小波分解的油菜多光谱图像与深度图像数据融合方法

将多源数据融合分析可以降低单一图像造成的误判读,利用多源数据之间的冗余部分进行配准,利用互补信息完成融合,能够提高数据的信息量和可靠性。该文利用近地面遥感模拟平台分别获取油菜的多光谱图像和深度图像,将2种图像进行配准和融合。该文分别针对多光谱图像和光程差深度图像的成像特点,进行相机内外参计算与图像矫正。采用 SIFT（scale invariant feature transform）算法计算2源图像上的 SIFT 点,并依据关键点描述子进行匹配,之后通过关键点位置计算仿射变换矩阵对图像进行缩放、平移和旋转,从而实现变换后图像的配准。分别对 harr,Db2,Db4,Sym2, Sym4,Bior2.2,Bior2.4,Coif2,Coif 等9种小波基融合后的结果计算其相应的交叉熵、峰值信噪比和互信息量等5个参量进行评价,得出小波基 harr 和 sym4融合效果较好,各项指标均衡性较好。用 haar 小波基对配准后图像在3、4、5、6层分解融合,通过观察得出在多光谱与深度图像融合中第3层小波分解和第4层分解的融合效果较好。最终将深度图像的高程数据归一化之后进行植株三维构建,得到三维点云并进行可视化。     

基于机器视觉的猪体质量估测模型比较与优化

基于机器视觉的猪体质量估测模型较多,但模型缺乏在实用性、准确性的对比,最佳模型没有定论。该文总结了已有的估测算法,基于79组背部图像面积、实际面积、体长、体宽、体高、臀宽、臀高数据,使用线性回归、幂回归、二次回归、主成分线性回归、RBF(radial basis function,径向基函数)神经网络等方法,重建了13种体质量估测模型,并比较了13种模型的估测精度。结果表明,基于体长、体宽、体高、臀宽和臀高的线性回归模型具有较好的估测精度,估测值与真值的相关系数达到了0.996。利用主成分法去掉体尺的共线性,利用曲线回归解决残差不均匀问题,更加符合猪体质量增长趋势,结果表明基于主成分的幂回归模型具有较高的相关系数和较低的标准估计误差,对于97组数据的估测平均相对误差为2.02%。使用猪场实测24组数据验证模型,估测质量与测量值相关系数为0.97,估测平均相对误差为2.26%,标准差为1.78%,优于基于面积和面积体高结合的估测模型,平均绝对误差为2.08 kg,优于面积体高结合方法的平均绝对误差。试验证明使用多个体尺的主成分幂回归体质量估测模型较为精确,可用于机器视觉估测猪体质量的应用中。     

基于生猪外形特征图像的瘦肉率估测方法

为实现生猪瘦肉率的快速无损检测,以机器视觉为主要技术,通过生猪的外形特征图像进行瘦肉率估测,为饲养者与收购者提供生猪品级的决策依据。采用MATLAB为开发工具,通过图形用户界面(graphical user interface,GUI)实现软件操作界面,以生猪的侧面及背面图像为研究对象,利用图像处理技术从目标中提取体长、体高、胸深、腹长、臀宽、腰宽等数据,以这些体尺的比例(胸深体高比、臀宽体长比、臀宽腰宽比、腹长体长比)为参数,通过径向基函数(radial basis function,RBF)神经网络进行瘦肉率估测。该文分别对7组生猪外形图像进行处理,4项比例指标的平均估测准确率分别为92.90%、92.44%、95.17%、96.51%,瘦肉率的平均估测准确率为94.35%。结果表明,该文所构造的基于生猪外形特征图像的瘦肉率估测方法工作效率高,成本低,可用于估测生猪瘦肉率。     

基于K-means聚类的植物叶片图像叶脉提取

植物的叶片是植物最基本、最主要的生命活动场所。叶脉的提取与分析对叶片和整株植物结构的分析有一定的应用价值。该文提出一种基于K-means聚类(clustering)的叶脉提取算法。该算法首先对叶片图像的HSI彩色空间中的I信息进行K-means聚类处理,根据聚类的结果提取叶片边界,并将叶片图像分为受光均匀和受光不均匀的2类。对于受光均匀的叶片图像在聚类结果中直接提取叶脉,而受光不均匀的叶片图像则需去除部分叶肉后再进行一次K-means聚类提取叶脉。结果表明:该算法能有效地降低叶脉提取的错分率。     

基于探索性分析的的荔枝果及结果母枝颜色特征分析与识别

从复杂背景中识别成熟荔枝串中的荔枝果及结果母枝,获取结果母枝上的采摘点是机器人视觉定位与识别的难点,荔枝果、结果母枝与叶子各部位图像颜色特征分析与识别成为研究重点。首先针对荔枝果与结果母枝的特点、光照与环境的特殊性及不确定性,提出了探索性分析与荔枝图像识别的融合方法,对荔枝果与结果母枝进行了图像分类与统计的探索性分析,并给出了荔枝图像数据的探索性分析流程图;其次,根据荔枝不同部位颜色均值分布的特点,设计了荔枝果、结果母枝及叶子在6种色彩模型下的颜色均值分布箱线图,通过图形启示的数据分析与探索,给出了基于YCbCr色彩空间的Cr单通道图的荔枝各部位分类识别的视觉模型,分析表明Cr分量值在0.5～0.54能去除叶子和侧枝等复杂背景,实现荔枝串中的荔枝果与结果母枝的分割。最后,以60组不同光照条件的180幅自然环境下采集的荔枝图像为试验测试对象,用颜色特征的视觉模型结合阈值分割方法有效地识别了成熟荔枝串与荔枝果,荔枝串与荔枝果的平均识别率分别为91.67%和95.00%。用探索性分析与图像运算相结合的方法成功地提取了结果母枝(识别率为86.67%),并用计算出的采摘点进行视觉定位的仿真。试验和仿真结果表明视觉模型及其方法能对荔枝不同部位进行有效识别。