基于Kinect传感器的无接触式母猪体况评分方法

为了提高母猪的繁殖性能,减少传统方法给动物和估测人员带来的不利影响,该研究提出了一种可应用于实际生产中的准确、无接触式的母猪体况评分(body condition scoring,BCS)方法。试验使用Kinect传感器获取108组母猪臀股的三维图像,选取48组图像进行分析处理,计算出臀部的高宽比、臀股面积及曲率半径。试验结果表明:母猪臀部的高宽比、臀股面积和曲率半径与背膘厚度的相关系数分别为0.567、0.502、0.951;以曲率半径作为主要参数建立母猪体况估测模型。取剩余60组图像进行验证,估测模型计算结果与经验方法评估结果差异较小,准确率达到91.7%;结果表明,基于三维重构技术的Kinect传感器能够实现母猪在饲养管理过程中对体况的无接触式检测。     

基于机器视觉的猪体质量估测模型比较与优化

基于机器视觉的猪体质量估测模型较多,但模型缺乏在实用性、准确性的对比,最佳模型没有定论。该文总结了已有的估测算法,基于79组背部图像面积、实际面积、体长、体宽、体高、臀宽、臀高数据,使用线性回归、幂回归、二次回归、主成分线性回归、RBF(radial basis function,径向基函数)神经网络等方法,重建了13种体质量估测模型,并比较了13种模型的估测精度。结果表明,基于体长、体宽、体高、臀宽和臀高的线性回归模型具有较好的估测精度,估测值与真值的相关系数达到了0.996。利用主成分法去掉体尺的共线性,利用曲线回归解决残差不均匀问题,更加符合猪体质量增长趋势,结果表明基于主成分的幂回归模型具有较高的相关系数和较低的标准估计误差,对于97组数据的估测平均相对误差为2.02%。使用猪场实测24组数据验证模型,估测质量与测量值相关系数为0.97,估测平均相对误差为2.26%,标准差为1.78%,优于基于面积和面积体高结合的估测模型,平均绝对误差为2.08 kg,优于面积体高结合方法的平均绝对误差。试验证明使用多个体尺的主成分幂回归体质量估测模型较为精确,可用于机器视觉估测猪体质量的应用中。     

基于生猪外形特征图像的瘦肉率估测方法

为实现生猪瘦肉率的快速无损检测,以机器视觉为主要技术,通过生猪的外形特征图像进行瘦肉率估测,为饲养者与收购者提供生猪品级的决策依据。采用MATLAB为开发工具,通过图形用户界面(graphical user interface,GUI)实现软件操作界面,以生猪的侧面及背面图像为研究对象,利用图像处理技术从目标中提取体长、体高、胸深、腹长、臀宽、腰宽等数据,以这些体尺的比例(胸深体高比、臀宽体长比、臀宽腰宽比、腹长体长比)为参数,通过径向基函数(radial basis function,RBF)神经网络进行瘦肉率估测。该文分别对7组生猪外形图像进行处理,4项比例指标的平均估测准确率分别为92.90%、92.44%、95.17%、96.51%,瘦肉率的平均估测准确率为94.35%。结果表明,该文所构造的基于生猪外形特征图像的瘦肉率估测方法工作效率高,成本低,可用于估测生猪瘦肉率。     

基于双侧图像识别的单株苹果树产量估测模型

利用普通数码相机获取成熟期苹果树图像进行产量估测,具有成本低、操作简单等特点,其关键是估测模型的建立。该文分别按东南和西北2个方向获取富士苹果成熟期的40株果树的80幅图像,通过果实特征提取,获取东南方向识别出的图斑数量（参数1）、西北方向识别出的图斑数量（参数2）、东南方向识别出的图斑像素面积（参数3）、西北识别出的图斑像素面积（参数4）,分别以识别出的4个参数及双方向图斑数量之和（参数5）、双方向图斑像素面积之和（参数6）共6个参数为自变量,以获取的单株产量信息为因变量,以奇数组20株果树为建模数据集建立线性回归模型。结果表明以参数5构建的产量估测模型的决定系数R2最高为0.81,相对均方根差（NRMSE）值最低为0.11,说明以该参数构建的模型其估测效果最好;进一步利用以参数5构建的估测模型对偶数组20株果树进行验证,其NRMSE值为0.16,估测结果较好,但也存在估测产量较大波动的情况。深入讨论引起估测偏差的情况,后期研究应重点提高逆光、弱光照条件下的成熟期苹果的识别率,及解决由于单果因遮挡被分离而被识别为多果的情况和多果因重叠被识别为单果的情况,以提高识别效果,进而提高产量模型估测效果。     

生猪肉产量预测的非接触实时在线机器视觉系统

为了准确估测生猪肉产量,该文提出了一种自动提取生猪活体特征的方法,建立了生猪肉产量预测算法。首先,基于自主研发的生猪肉产量预测的机器视觉系统装置实时采集54头活体大白猪的俯视图和侧视图,然后根据图像处理技术对所得的图像进行分析,提取生猪的体长、胸宽、臀宽、体高等体尺参数值;同时通过称量装置获得每头猪的活体质量。其次,将54头生猪样品按2∶1的比例分为校正集和验证集,基于体长、胸宽、臀宽、体高和体质量5个特征参数分别利用多元线性回归法(multiple linear regression,MLR)和偏最小二乘回归法(partial least-squares regression,PLSR)建立不同的肉产量预测模型,通过比较各预测模型的估测精度、相关系数等,确定最佳预测模型。分析结果表明,5个参数中体质量对肉产量预测的权重最大;偏最小二乘回归方法的预测结果较好,最佳预测模型的预测相关系数为0.95,预测误差为3.09 kg。试验结果证实,在检测系统中使用基于生猪的体尺参数和体质量建立的偏最小二乘回归预测模型可快速准确预测生猪肉产量,适于实际生产应用。     

基于机器视觉的肉鸡胴体淤血检测技术

肉鸡胴体淤血是一种品质异常现象,给屠宰企业带来较大的经济损失。建立胴体淤血的快速、准确识别技术是产业当前的迫切需求。该研究利用自行设计搭建的肉鸡胴体图像采集装置,研发了一种快速识别胴体淤血的技术方法。采用三方位视觉采集（搭载三光源）系统,实现视场对肉鸡胴体的全覆盖。采用基于全局RGB阈值分割提取出图像的14个特征参数,采用主成分分析降维后得到7个主成分,结合遗传算法训练支持向量机模型。然后基于滑动窗口分割胴体子图像,人工将子图像分为四类并提取出颜色矩信息,结合遗传算法训练支持向量机模型并采用相似性度量对模型分类结果进行修正。发现正视图和侧视图中基于7个主成分的支持向量机模型中,分类准确率分别为86.0%和89.8%,预测时间为0.006 s,RGB阈值分割淤血的效果不理想;基于局部颜色矩支持向量机模型中,分类准确率分别为98.3%和97.9%,预测时间为0.001 s。在测试样本上,结合欧氏距离进行相似性度量对模型分类结果修正后,淤血的识别召回率得到提升,误报率和漏报率降低。该研究提出的基于胴体子图像局部颜色矩信息训练支持向量机模型结合相似性度量方法,可以弥补全局RGB阈值分割淤血的不足,有效识别胴体淤血,为工厂进行胴体淤血的实时检测提供参考。     

基于三维姿态拟合的非接触式红鳍东方鲀全长精准估算方法

鱼类生物量无损测算是智能化水产养殖的重要环节,如何实现鱼体全长精准估算是该环节稳定运行的重要前提。该研究以红鳍东方鲀为对象,提出了一种鱼体全长精准估算方法,可在非接触情况下对自由游动的红鳍东方鲀进行精准的体长估算。首先,利用双目立体视觉技术对原始图像进行校正和立体匹配获得深度图像,并通过SOLOV2模型进行鱼体分割;然后,通过自主设计的独立分类器对图像进行高效分类,自动获取可用于全长估算的鱼类侧面图像,其分类准确率达95.3%;最后,耦合图像平面特征和深度信息,对鱼类进行三维姿态拟合,实现鱼类全长精准估算。结果表明,该方法全长估算的平均相对误差为2.67%,标准差为9.45%,且全长估算值与质量表现出良好相关性（R2=0.88）。该研究将为鱼类生物量无损测算提供关键技术支撑,对水产养殖的信息化管理、鱼类生长状况评估、投饵控制等具有重要意义。     

基于深度学习多源数据融合的生菜表型参数估算方法

生菜外部表型参数的无损、高精度估算对全天候生长监测意义重大。为提高生菜表型参数估算模型泛化性能,以基质培生菜为研究对象,提出了基于深度学习的融合二维RGB图像和深度（Depth）图像的生菜表型参数（湿质量、干质量、株高、直径、叶面积）高精度估算方法。采集4个生菜品种生长全过程的表型参数数据集,包含RGB图像、深度图像和人工测量的表型参数,共388个样本。对RGB图像和深度图像进行背景分割和数据归一化,输入构建的深度学习多源数据融合模型对5种表型参数进行同步回归训练。试验表明,该研究方法对5种表型参数的估算决定系数均高于0.94,平均绝对百分比误差均低于8%,而传统特征提取+机器学习方法对部分表型参数估算的平均绝对百分比误差高达13%以上,表明该研究估算方法具有较高的精度。消融试验表明融合RGB和深度图像的深度学习模型优于仅使用单源图像的模型,尤其在株高、直径和叶面积的估算上。对生菜不同品种和不同生长阶段的估算结果表明该模型适用于不同颜色、形状的生菜品种,亦对不同生长阶段、不同植株大小的生菜具有一定的适应性。因此,该研究提出的基于深度学习多源数据融合模型的生菜表型参数估算方法性能优异,对设施蔬菜生长监测和产量预估有重要的应用价值。     

基于解模糊算法的蚕蛹图像恢复及雌雄识别

在利用机器视觉技术识别雌雄蚕蛹过程中,因蛹体为非规则椭球体所带来的空间变化模糊造成蚕蛹图像中大量细节结构特征信息丢失,这极大地降低了雌雄蚕蛹识别的准确率。针对此问题,该文提出了一种将复杂的空间变化模糊图像恢复问题化为多个简单的空间模糊图像求解的策略。首先根据蚕蛹图像的模糊图谱将图像划分为多个具有相似程度模糊的子图像区域;再利用 Lucy Richardson 方法对各子图像区域分别进行非盲反卷积解模糊;最后将恢复的各子图像进行拼合并使用双边滤波方法消除图像拼合误差,保证图像信息准确融合。试验结果表明,该算法性能与目前所公认最优的 Shen 方法相比,能够得到更好的蚕蛹图像视觉质量,蚕蛹图像质量的定量评估指标——总变差均值（TVM）平均提高了22.8%,因此,该文方法具有更优的性能,能够有效消除空间变化模糊影响,恢复出更多的蚕蛹图像细节结构特征。利用基于霍夫变换理论的形状匹配算法对处理前和处理后的400颗蚕蛹成像图像进行了雌雄识别试验研究,试验结果表明,相对于原始未处理的蚕蛹图像,经该文方法处理后的蚕蛹图像,雌雄蚕蛹识别率提高了40.5百分点。该文方法对西葫芦、南瓜等类非规则椭球体果蔬图像也能够进行有效的图像质量改善,这充分显示了该文方法的广泛适应性。     

基于语义部位分割的条纹斑竹鲨鱼体运动姿态解析

条纹斑竹鲨具有较高的经济价值和医用研究价值。人工驯养对环境和温度等因素要求较高,时常出现大规模病死现象。利用视频图像量化分析鱼体运动行为,有助于进行异常识别和早期预警,将有效提高养殖养护水平。该研究针对人工驯养的条纹斑竹鲨鱼,提出一种基于深度神经网络的语义部位分割方法,并将分割结果应用于剖析条斑鲨鱼体运动姿态。首先,依据条斑鲨形态特征将其划分为7个可视的身体组成构件(头部、右胸鳍、左胸鳍、右腹鳍、左腹鳍、躯干、尾巴);再对全景养殖监控视频中抽取的476幅条斑鲨子图进行各部位的像素级标记,通过数据增强到1 944幅建立鱼体语义部位数据集,其中训练集为1166幅图像,测试集为778幅图像;然后,在语义分割网络模型基础上进行深度学习训练,使用深度学习框架对网络参数进行微调使得网络训练结果达到最优。最后,利用语义部位分割结果定位躯干和鱼头质心建立随体坐标,通过随体坐标的方向变化判明鱼体动作姿态。基于FCN-8s和Segnet两种深度网络模型进行了鱼体部位分割的对比试验,测试结果表明基于Segnet网络的分割方法在头部、右胸鳍、左胸鳍、右腹鳍、左腹鳍、躯干、尾巴部位的准确度分别高出FCN-8s深度网络1.50,4.70,6.95,6.56,6.01,0.85,0.84个百分点。语义部位分割结果能够有效判别条斑鲨鱼体目标的动作姿态,可为鱼体异常行为识别和进一步开展面向条斑鲨的动物行为学试验提供技术参考。     

基于彩色和深度信息结合K-means聚类算法快速拼接植株图像

图像拼接可以建立宽视角的高分辨率图像,对实现农业智能化有重要作用。基于Kinect传感器的图像拼接方法利用彩色和深度双源信息,能够有效避免图像缺失、亮暗差异、重影等拼接错误,但是存在拼接时间较长和目标植株不明显等情况。针对这一问题,该文提出一种基于Kinect传感器彩色和深度信息的目标植株图像快速拼接方法。首先用K-means聚类算法和植株深度信息提取彩色图像中有效植株区域,再采用SURF(speeded up robust features)算法进行特征点提取,利用相似性度量进行特征点匹配并根据植株深度数据去除误匹配,由RANSAC(randomsampleconsensus)算法寻找投影变换矩阵,最后采用基于缝合线算法的多分辨率图像融合方法进行拼接。室内外试验结果表明:该文图像拼接方法更能突显出目标植株且极大缩短了拼接时间,该方法图像拼接时间只需3.52 s(室内)和7.11 s(室外),较基于深度和彩色双信息特征源的Kinect植物图像拼接方法时间缩短了8.62 s(室内)和38.56 s(室外),且平均匹配准确率达96.8%。该文拼接后图像信息熵、清晰度、互信息、空间频率平均分别为6.34、50.36、11.70、11.28,图像质量较传统方法均有提高。该研究可为监测农业植株生长状态、精确喷洒药物提供参考。     

基于深度和彩色双信息特征源的Kinect植物图像拼接

图像拼接对制作全景图具有重要作用,传统SIFT(scale-invariant feature transform)图像拼接方法受光照不均匀或风吹影响,存在错位和缺失等情况。针对这一问题,该文提出一种基于Kinect彩色和深度双信息特征源的图像拼接方法。首先对获取的植株彩色图像采用SIFT算法进行特征点提取和特征点匹配,利用Kinect收集到的植株深度数据去除误匹配,采用RANSAC算法寻找投影变换矩阵,最后通过最佳缝合线算法进行图像融合。室内和室外试验结果表明,该文基于Kinect彩色和深度双信息特征源的图像拼接方法能够有效克服光照、风吹等环境因素的影响,避免了图像缺失、亮暗差异、重影等拼接错误,该文方法图像拼接时间较短,平均匹配准确率达96.0%,较传统SIFT图像拼接方法平均准确率提高了5.9%。     

基于稠密自编码器的无监督番茄植株图像深度估计模型

深度信息获取是温室移动机器人实现自主作业的关键。该研究提出一种基于稠密卷积自编码器的无监督植株图像深度估计模型。针对因视角差异和遮挡而产生的像素消失问题,引入视差置信度预测,抑制图像重构损失产生的问题梯度,设计了基于可分卷积的稠密自编码器作为模型的深度神经网络。以深度估计误差、阈值精度等为判据,在番茄植株双目图像上开展训练和测试试验,结果表明,抑制问题梯度回传可显著提高深度估计精度,与问题梯度抑制前相比,估计深度的平均绝对误差和均方根误差分别降低了55.2%和33.0%,将网络预测的多尺度视差图接入编码器并将其上采样到输入图像尺寸后参与图像重构和损失计算的处理方式对提高预测精度是有效的,2种误差进一步降低了23.7%和27.5%;深度估计误差随空间点深度的减小而显著降低,当深度在9 m以内时,估计深度的平均绝对误差<14.1 cm,在3 m以内时,则<7 cm。与已有研究相比,该研究估计深度的平均相对误差和平均绝对误差分别降低了46.0%和26.0%。该研究可为温室移动机器人视觉系统设计提供参考。     

基于改进K-means聚类算法的大田麦穗自动计数

单位种植面积的小麦麦穗数量是评估小麦产量和小麦种植密度的一个重要参量。为了实现高效、自动地麦穗计数,该文提出了基于改进K-means的小麦麦穗计数方法。该方法建立从图像低层颜色特征到图像中包含麦穗的一个直接分类关系,从而不需要再对图像进行分割或检测。以颜色特征聚类为基础的这种方法能够估计麦穗在空间局部区域中数量,并且在不需要训练的情况下更具有可扩展性。统计试验结果表明,该文算法能够适应不同光照环境,麦穗计数的准确率达到94.69%,超过了传统基于图像颜色特征和纹理特征分割的麦穗计数方法 93.1%的准确率。     

基于自监督学习的番茄植株图像深度估计方法

深度估计是智能农机视觉系统实现三维场景重建和目标定位的关键。该文提出一种基于自监督学习的番茄植株图像深度估计网络模型,该模型直接应用双目图像作为输入来估计每个像素的深度。设计了3种面向通道分组卷积模块,并利用其构建卷积自编码器作为深度估计网络的主体结构。针对手工特征衡量2幅图像相似度不足的问题,引入卷积特征近似性损失作为损失函数的组成部分。结果表明:基于分组卷积模块的卷积自编码器能够有效提高深度估计网络的视差图精度;卷积特征近似性损失函数对提高番茄植株图像深度估计的精度具有显著作用,精度随着参与损失函数计算的卷积模块层数的增加而升高,但超过4层后,其对精度的进一步提升作用不再明显;当双目图像采样距离在9.0 m以内时,该文方法所估计的棋盘格角点距离均方根误差和平均绝对误差分别小于2.5和1.8 cm,在3.0 m以内时,则分别小于0.7和0.5 cm,模型计算速度为28.0帧/s,与已有研究相比,2种误差分别降低了33.1%和35.6%,计算速度提高了52.2%。该研究可为智能农机视觉系统设计提供参考。     

基于K-means和近邻回归算法的Kinect植株深度图像修复

针对Kinect传感器应用于农业植株检测产生的图像噪声问题,特别是由光线以及传感器自身局限导致的匹配图像目标植株数据的缺失,提出一种基于K-means和近邻回归算法的植株深度检测图像修复方法。首先对Kinect传感器获取的彩色RGB图像进行阈值分割预处理提取植株目标区域,再利用K-means聚类算法去除背景噪声,使得植株目标区域轮廓更加清晰;然后基于配准的彩色图像和深度图像,对获取的深度图像中可疑像素点的深度数据采取近邻回归算法进行修复,再将修复后的深度图像与目标分割后的彩色图像进行植株区域的匹配,并进行二次近邻回归算法修正错误的深度数据,最后获取目标植株深度信息的检测图像。试验结果证明,采用RGB阈值分割和K-means聚类算法植株目标区域分割误差均值为12.33%,比单一RGB阈值分割和K-means聚类分割误差降低了12.12和41.48个百分点;同时结合聚类后的彩色图像对深度数据进行两次近邻回归算法修复深度数据,能够提高深度数据边缘的清晰度,单帧深度数据空洞点进行修复数据的准确度提高。该研究结果可为农业植株检测、植株三维重构、精准对靶喷雾等提供参考。     

基于三维点云的田间香蕉吸芽形态参数获取

针对传统的香蕉吸芽形态参数手工测量方法效率低下、人为主观性强等问题,提出了基于三维点云的田间香蕉吸芽形态参数信息提取方法,并针对吸芽茎秆直径小,普通测量算法误差大的问题,使用曲面平滑和圆柱拟合算法提高了茎粗测量精度和准确性。使用Kinect V2、PMD CamBoard pico flexx、ZED双目视觉相机和Velodyne 16线激光雷达 4种深度传感器采集不同尺寸的香蕉吸芽点云,对比了不同深度传感器对于香蕉吸芽点云采集的效果和提取表型参数的精度。基于点云库开发了香蕉点云处理和表型参数提取算法,对从两侧获取的香蕉点云进行配准,提取了香蕉吸芽的株高、茎粗和叶面积参数。Kinect V2取得了最优的点云重建效果和表型参数获取精度,与人工测量值相比,测得株高、茎粗和叶面积的平均绝对百分比误差分别为4.79%、9.20%、16.59%,均方根误差分别为5.46 cm、4.44 mm、197.8 cm2,决定系数分别为0.96、0.87、0.92。研究表明,Kinect V2和该文的形态参数提取方法适用于香蕉吸芽的形态参数获取,可以为果园管理提供一种快速、准确的香蕉吸芽株高、茎粗和叶面积形态参数测量方案。     

畜禽行为及生理信息的无损监测技术研究进展

畜禽信息主要包括动物健康信息、行为信息、情绪信息。禽畜养殖中,准确高效监测畜禽信息有助于分析动物的生理、健康和福利状况,及时发现生病或异常个体,以减少经济损失和保障动物福利。目前畜禽养殖中主要依靠人工观察方式获取畜禽信息,主观性强且精度低;或者在饲养过程中采用一些将装置植入动物体内或对动物进行手术的监测手段,造成动物应激反应,有损动物福利。无损监测技术可以有效减少人力,降低观察者对动物的影响,减少监测过程中对动物造成的损伤与应激反应,提高动物福利。随着信息技术的进步,畜禽信息无损监测技术也在不断发展。该文阐述了畜禽养殖中传感器监测、图像监测及声音监测3种无损监测技术在获取畜禽信息方面的研究与应用现状,并分析3种无损监测技术的优劣。传感器监测技术发展较其他2种技术相对更加成熟,应用也更加广泛,可用来监测动物饮食、行为姿态等,但适合动物穿戴、可长期高效工作的传感器节点技术有待突破;图像监测技术利用前景提取、模式识别等方法对动物图像进行分析,可进行动物行为识别、质量估计等,对动物影响最小。但目前算法还不成熟,装置受环境干扰较大,因此应用有限;声音监测技术起步较晚,受限于环境噪声的影响,识别正确率较低,但在动物行为监测、疾病预警、情绪识别、饮食监测等方面均有较好的应用前景。该文还展望了畜禽信息无损监测技术未来精准、高效、智能、经济的发展趋势。