基于K-SVD和正交匹配追踪稀疏表示的稻飞虱图像分类方法

针对当前稻飞虱图像分类研究中存在图像识别速度慢、分类精度低的不足,该文提出一种基于K-SVD和正交匹配追踪(orthogonal matching pursuit, OMP)稀疏表示的稻飞虱图像分类方法。首先,根据稻飞虱的趋光性特点,使用团队自主研发的野外昆虫图像采集装置自动获取稻田害虫图像;然后,利用K-SVD算法对稻飞虱图像特征的过完备字典进行更新构造,结合OMP算法对原始输入图像的特征信号进行稀疏表示;最后,通过求解输入图像的重构误差对昆虫图像进行分类。在相同的试验条件下,与传统的图像分类算法(SVM、BP神经网络)进行比较。实验结果表明,该文提出的基于K-SVD和OMP算法的稻飞虱图像稀疏表示分类方法可对稻飞虱与非稻飞虱进行快速准确的分类,分类速度达到6.0帧/s,平均分类精度达到93.7%。与SVM和BP神经网络相比,分类速度分别提高了5和5.5帧/s;分类精度分别提高了15.7和28.2个百分点,为稻飞虱的防治预警工作提供了信息与技术支持。     

基于稀疏表示的大米品种识别

为了实现机器视觉准确判别大米品种,提出了一种基于稀疏表示的大米品种识别方法。以长江米、圆江米、粳米、泰国香米、红香米和黑米等6种大米籽粒图像作为研究对象,采用颜色和形态结构参数表示单个籽粒。每种大米随机选取50粒作为训练样本,200粒作为测试样本。所有训练样本组成稀疏表示方法的数据词典,对每一个测试样本,计算其在数据词典上的投影,将具有最小投影误差的类作为测试样本所属的品种。最后将提出的方法与BP网络和SVM的识别结果做了对比和分析。试验结果表明,提出的方法对于6个大米品种的综合识别准确率为99.6%,获得了最好的分类效果。为大米品种的识别提供了一种新的有效方案。     

基于改进Faster R-CNN识别深度视频图像哺乳母猪姿态

猪舍场景下,昼夜交替光线变化、热灯光照影响,及仔猪与母猪的粘连等因素,给全天候哺乳母猪姿态自动识别带来很大困难。该文以深度视频图像为数据源,提出基于改进Faster R-CNN的哺乳母猪姿态识别算法。将残差结构引入ZF网络,设计ZF-D2R网络,以提高识别精度并保持实时性;将Center Loss监督信号引入Faster R-CNN训练中,以增强类内特征的内聚性,提升识别精度。对28栏猪的视频图像抽取站立、坐立、俯卧、腹卧和侧卧5类姿态共计7 541张图像作为训练集,另取5类姿态的5 000张图像作为测试集。该文提出的改进模型在测试集上对哺乳母猪的站立、坐立、俯卧、腹卧和侧卧5类姿态的识别平均准确率分别达到96.73%、94.62%、86.28%、89.57%和99.04%,5类姿态的平均准确率均值达到93.25%。在识别精度上,比ZF网络和层数更深的VGG16网络的平均准确率均值分别提高了3.86和1.24个百分点。识别速度为0.058 s/帧,比VGG16网络速度提高了0.034 s。该文方法在提高识别精度的同时保证了实时性,可为全天候母猪行为识别提供技术参考。     

基于稀疏编码金字塔模型的农田害虫图像识别

相较于一般物体的图像,农作物害虫图像因具有复杂的农田环境背景,分类与识别更加困难。为提高害虫图像识别的准确率,该文提出一种基于图像稀疏编码与空间金字塔模型相结合的害虫图像表示与识别方法。该方法利用大量非标注的自然图像块构造过完备学习字典,并运用该学习字典实现对害虫图像的多空间稀疏表示。与此同时,结合多核学习,该文设计了一种害虫图像识别算法。通过对35种害虫的识别,试验结果表明：在相同方法下,该文所提特征提取方法可使平均识别精度提高9.5百分点;此外,进一步通过对221种昆虫及20种蝴蝶的识别,试验结果表明：与传统方法相比较,该文所提方法使得平均识别精度提高14.1百分点。     

基于Lucas-Kanade稀疏光流算法的奶牛呼吸行为检测

奶牛呼吸行为的智能检测对于奶牛疾病的自动诊断及奶牛精准养殖具有重要意义。该研究基于Lucas-Kanade稀疏光流算法,提出了一种适合于非结构化养殖环境的无接触式单目标奶牛呼吸行为检测方法。通过在HSV颜色空间完成奶牛目标的提取,然后通过Canny算子和掩模操作完成奶牛所有花斑边界的检测,再利用Lucas-Kanade稀疏光流算法计算提取奶牛花斑边界光流,最后根据视频序列帧中花斑边界平均光流的方向变化规律实现奶牛呼吸行为的检测。为了验证本研究算法的有效性,利用不同环境下获取的105段共计25 200帧数据进行了测试,并与基于整体Lucas-Kanade光流法、整体Horn-Schunck光流法和基于花斑边界的Horn-Schunck光流法进行了对比验证。试验结果表明,该研究算法的帧处理耗时在0.10～0.13 s之间,在试验视频上的平均运行时间为14.14 s。奶牛呼吸行为检测的准确率为83.33%～100%之间,平均准确率为98.58%。平均运行时间较基于整体Lucas-Kanade光流法的呼吸行为检测方法慢1.60 s,较Horn-Schunck整体光流的呼吸行为检测方法快7.30 s,较基于花斑边界的Horn-Schunck光流法快9.16 s。呼吸行为检测的平均准确率分别高于3种方法 1.91、2.36、1.26个百分点。研究结果表明,通过Lucas-Kanade光流法检测奶牛花斑边界平均光流方向变化实现奶牛呼吸行为检测是可行的,该研究可为奶牛热应激行为的自动监测及其他与呼吸相关疾病的远程诊断提供参考。     

基于边界脊线识别的群养猪黏连图像分割方法

猪体图像的前景分割和黏连猪体的分离是实现群养猪数量自动盘点和猪只个体行为智能识别的关键。为实现群养猪黏连图像的自动分割,该文采用决策树分割算法提取视频图像帧的猪体前景区域,计算各连通区域的复杂度,根据复杂度确定黏连猪体区域,利用标记符控制的分水岭分割算法处理黏连猪体图像,检测待选的边界脊线,通过检验待选边界脊线的分割效果和形状特征(包括线性度和Harris拐点数目),识别出猪体黏连分割线,实现黏连猪体的分离。结果表明,决策树分割算法(decision-tree-based segmentation model,DTSM)能够有效地去除复杂背景,前景分割效果良好。黏连猪体分离结果显示,基于边界脊线识别的黏连猪体分离准确率达到了89.4%,并较好地保留了猪体轮廓。通过计算分割后猪体连通区域的中心点,并对中心点进行德洛内剖分,初步实现了猪只的定位和栏内分布的可视化。6 min的监控视频处理结果显示,该文方法各帧图像的盘点平均误差为0.58,盘点准确率为98.33%,能够正确统计出栏内猪只数量。该研究可为实现基于监控视频的群养猪自动盘点和个体行为识别提供新的技术手段。     

群养猪侵略性行为的深度学习识别方法

为了解决因传统机器视觉和图像处理方法的局限性以及复杂的猪体姿态和猪舍环境导致对群养猪侵略性行为识别的有效性、准确率较低的问题,该文基于深度学习的方法,提出使用3DCONV的群养猪侵略性行为识别算法-3DConvNet。分3个批次采集18头9.6 kg左右的大白仔猪视频图像,选用第一批次中包含28 d内各个时段的撕咬、撞击、追逐、踩踏4大类,咬耳、咬尾、咬身、头撞头、头撞身、追逐以及踩踏7小类侵略性行为以及吃食、饮水、休息等非侵略性行为共计740段(27114帧)视频作为训练集和验证集,训练集和验证集比例为3:1。结果表明,3DConvNet网络模型在训练集上的识别准确度达96.78%,在验证集上识别准确度达95.70%。该文算法模型对于不同训练集批次的猪只以及不良照明条件下依然能准确识别侵略性行为,算法模型泛化性能良好。与C3D模型进行对比,该文提出的网络模型准确率高出43.47个百分点,单帧图像处理时间为0.50 s,可满足实时检测的要求。研究结果可为猪场养殖环境中针对猪只侵略性行为检测提供参考。     

基于姿态与时序特征的猪只行为识别方法

生猪行为监测是生猪养殖管理过程中的一个重要环节。该研究提出了基于姿态与时序特征的猪只行为识别方法。首先采集和标注猪栏内猪只图像，分别构建了猪只目标检测数据集、猪只关键点数据集和猪只行为识别数据集；利用构建的数据集，分别训练了基于YOLOv5s的猪只检测模型、基于轻量化OpenPose算法的猪只姿态估计模型和基于ST-GCN算法的猪只行为识别模型，并搭建了猪只行为识别系统。经测试，文中训练的YOLOv5s猪只检测模型mAP（mean Average Precision）最高达到0.995，姿态估计模型平均精度和平均召回率达到93%以上，基于ST-GCN的猪只行为识别模型的平均准确率为86.67%。文中构建的猪只行为识别系统中基于LibTorch推理猪只检测模型和猪只姿态估计模型的单帧推理耗时分别约为14和65 ms，单只猪行为识别推理耗时约为8 ms，每提取200帧连续姿态进行一次行为识别推理，平均17 s更新一次行为识别结果。证明提出的基于姿态与时序特征的猪只行为识别方法具有一定可行性，为群养猪场景下的猪只行为识别提供了思路。     

基于光流法的鱼群摄食状态细粒度分类算法

对鱼群摄食状态的细粒度分类有利于更精细地描述鱼群的摄食行为。该研究基于工厂化的循环养殖池环境提出了一种利用光流法进行特征提取的鱼群摄食状态细粒度分类算法。算法对鱼群的巡游视频进行摄食状态分类,首先通过光流法提取视频内鱼群的帧间运动特征,其次构建了一个帧间运动特征分类网络对该特征进行细粒度分类,最后基于投票策略确定视频的最终类别。试验结果表明,该研究算法在投票阈值设置为50%的情况下,视频准确率达98.7%;在投票阈值设置为80%的情况下,视频准确率为91.4%。在不同的投票阈值设置下,该算法的视频准确率始终保持在90%以上,说明其分类鲁棒性较强。相较于实验室养殖环境,基于工厂化养殖环境对鱼群的摄食状态所展开的算法研究实际应用性更强,可为精细描述鱼群摄食行为,实现精准投饵自动控制提供参考。     

基于自动Hough变换累加阈值的蔬菜作物行提取方法研究

为解决机器视觉对生菜和绿甘蓝两种作物在整个生长时期内多环境变量对作物行识别影响的问题,同时提高机器视觉作物行识别算法的有效性,该文提出了一种基于自动Hough变换累加阈值的多作物行提取算法。首先,选用Lab颜色空间中与光照无关a分量对绿色作物进行提取,通过最优自适应阈值进行图像分割,并采用先闭后开形态学运算对杂草和作物边缘进行滤波。其次,采用双阈值分段垂直投影法对作物行特征点进行提取,通过对亮度投影视图中的目标像素占比阈值和噪声判断阈值设置,实现特征点位置判断和杂草噪声过滤,并对相邻特征点进行优化,剔除部分干扰特征。最后,采用Hough变化对特征点进行直线拟合,将不同Hough变换累加阈值获得的拟合直线映射到累加平面上,通过K-means聚类将累加平面数据聚类为与作物行数相同的类数,根据相机成像的透视原理提出基于聚类质心距离差和组内方差的最优累加阈值获取方法,将最优累加阈值下累加平面中的聚类质心作为识别出的真实作物行线。温室和田间试验表明,针对不同生长时期的生菜和绿甘蓝作物,该文算法均可有效识别出作物行线,最优阈值算法耗时小于1.5 s,作物行提取平均耗时为0.2 s,在田间和温室中作物行的平均识别准确率分别为94.6%、97.1%,识别准确率为100%的占比分别为86.7%和93.3%。研究结果为解决多环境变量影响因素下的算法鲁棒性和适用性问题提供依据。     

基于多特征软概率级联的场景级土地利用分类方法

为实现高分辨率遥感影像特征的有效组织优化,以及提高特征的可判别性,该文提出了基于中层特征学习的多特征软概率级联模型实现场景级土地利用分类。首先,提取影像的密集尺度不变转换特征(dense scale invariant feature transform,DSIFT)、光谱特征(spectral feature,SF)以及局部二值模式特征(local binary pattern,LBP)作为低层特征;然后由局部约束线性编码(locality-constraint linear coding,LLC)分别对DSIFT特征、SF特征以及LBP特征进行稀疏编码得到3种低层特征的稀疏系数,并结合空间金字塔匹配(spatial pyramidal matching,SPM)模型、最大空间平滑方法对稀疏系数进行优化,获得影像的中层特征表达;最后,利用SVM分类器,分别对3种低层特征的中层特征表达进行分类,并分别计算3种低层特征分类的软概率,级联3种特征的软概率将其作为图像最终的特征表达,利用SVM分类器进行第2次分类得到最终分类结果。采用UC-Merced Land Use数据集对该方法进行了验证,试验结果表明:1)该方法总体精度达到88.6%,相较于传统稀疏编码空间金字塔匹配(sparse coding and spatial pyramidal matching,Sc SPM),局部约束线性编码(locality-constraint linear coding,LLC)等分类方法,总体精度分别提高了12.7%,9.9%;2)相较于提取单一低层特征的场景分类方法,该文算法更有利于实现对影像中复杂且不易区分的地物的表达,可有效提高土地利用分类精度。     

改进Mask R-CNN的真实环境下鱼体语义分割

鱼体语义分割是实现鱼体三维建模和语义点云、计算鱼体生长信息的基础。为了提高复杂环境下鱼体语义分割精度,该研究提出了SA-Mask R-CNN模型,即融合SimAM注意力机制的Mask R-CNN。在残差网络的每一层引入注意力机制,利用能量函数为每一个神经元分配三维权重,以加强对鱼体关键特征的提取;使用二次迁移学习方法对模型进行训练,即首先利用COCO数据集预训练模型在Open Images DatasetV6鱼类图像数据集完成第一次迁移学习,然后在自建数据集上完成第二次迁移学习,利用具有相似特征空间的2个数据集进行迁移学习,在一定程度上缓解了图像质量不佳的情况下鱼体语义分割精度不高的问题。在具有真实养殖环境特点的自建数据集上进行性能测试,结果表明,SA-Mask R-CNN网络结合二次迁移学习方法的交并比达93.82%,综合评价指标达96.04%,分割效果优于SegNet和U-Net++,较引入SENet和CBAM注意力模块的Mask R-CNN交并比分别提升了1.79个百分点和0.33个百分点,综合评价指标分别提升了2.03个百分点和0.38个百分点,模型参数量分别减小了4.7和5MB。研究结果可为鱼体点云计算提供参考。     

耦合全局与局部特征的苹果叶部病害识别模型

为充分利用苹果叶部病害图像类间差异小且类内差异大的特点,该研究基于全局与局部特征的交互式耦合对特征提取方法进行了优化,设计出一种苹果叶部病害识别模型。首先,在全局特征提取分支设计了一个注意力融合模块,以融合通道和空间上的信息而增强卷积提取到的特征图,并由增强后的特征图生成全局特征以及注意力激活图;然后,在局部特征提取分支,利用注意力激活图的引导,设计了一个裁剪模块对原图像进行裁剪,以得到可能包含病害信息的图像块且嵌入生成局部特征;最后,通过设计多头交叉注意力特征耦合模块,实现全局特征和局部特征的双向交叉耦合。基于苹果病害图像数据集的试验结果表明,将全局与局部特征进行交互耦合能有效提升模型对苹果叶部病害图像的特征提取能力,其识别准确率可达到98.23%,且较之单纯的局部或全局特征提取分支,准确率分别提高了3.39与4.61个百分点,所提模型可用于实现自然场景下的苹果叶部病害自动识别。     

基于水下机器视觉的大西洋鲑摄食行为分类

根据鱼群摄食行为状态进行水产养殖精准投喂控制,是有效提高饵料利用率降低水体污染的关键技术。目前,大多数基于机器视觉的鱼类摄食行为研究都是在实验室对真实养殖环境进行模拟并采用水上摄像机获取数据,由于光照条件和养殖环境的影响,该数据无法反映大西洋鲑在实际生产状况下的摄食行为,因此应用范围有限。为解决此问题,该研究提出一种基于真实工厂化养殖环境的鱼类摄食行为分类算法。该算法使用水下观测方式并采用视频序列作为样本,首先利用变分自动编码器对视频序列样本进行逐帧编码以产生所有帧对应的高斯均值和方差向量,分别联立所有均值和方差向量得到均值特征矩阵和方差特征矩阵。然后将特征矩阵输入到卷积神经网络中,实现对鱼群的摄食行为分类。试验结果表明,在真实的工厂化养殖环境下,该研究所提出的方法综合准确率达到了89%,与已有的基于单张图像的鱼类摄食行为分类方法相比,综合准确率提高了14个百分点,召回率提高了15个百分点。研究结果可为基于鱼类摄食行为的鱼饵精准投喂控制提供参考。     

融合2D-3D卷积特征识别哺乳母猪姿态转换

母猪姿态转换影响仔猪存活率,且动作幅度与持续时间存在差异,准确识别难度大。该研究提出一种融合2D-3D卷积特征的卷积网络(2D+3D-CNet,2D+3D Convolutional Network)识别深度图像母猪姿态转换。以视频段为输入,引入注意力机制SE模块和3D空洞卷积,以提升3D卷积网络姿态转换的时空特征提取能力,用2D卷积提取母猪的空间特征;经特征融合后,动作识别分支输出母猪转换概率,姿态分类分支输出4类姿态概率,结合这两个输出结果识别8类姿态转换,减少了人工标注数据集的工作量;最后设计动作分数,优化母猪姿态转换的时间定位。在测试集上,2D+3D-CNet姿态转换识别精度为97.95%、召回率为91.67%、测试速度为14.39帧/s,精度、召回率和时间定位精度均高于YOWO、FRCNN-HMM和MOC-D方法。该研究结果实现了母猪姿态转换高精度识别。     

结合非子采样轮廓变换和形态收缩算子的多源遥感影像配准

针对多源遥感影像自动配准中难以提取大量同名特征点的问题,提出了一种结合非子采样轮廓变换和形态收缩算子的自动配准算法。结合非子采样轮廓变换和形态收缩算子的特征提取算法能够克服角度和尺度偏差,在多方向、多尺度空间精确提取强边缘上的关键结构特征点;基于低频波段的归一化互信息匹配算法和三角形一致检验算法能够提取到大量高可靠性的同名特征点对,保证了多源遥感影像的高精度配准。文中选取角度和尺度偏差显著的SPOT-5(P)和ASTER影像组合进行试验,结果证明以上算法能够检测到大量分布均匀的同名特征点对,配准模型精度趋近于1个像元。该研究可为多源遥感数据的融合和目标识别提供前提条件。     

利用融合高度与单目图像特征的支持向量机模型识别杂草

除草是保证农作物高产的必要工作。针对机械化除草和智能喷药中存在的杂草识别问题,以2~5叶苗期玉米及杂草为研究对象,进行了融合高度特征与单目图像特征的杂草识别方法研究。首先从单目图像中提取16个形态特征和2个纹理特征;然后基于双目图像,提出了针对植株的高度特征提取方法,所得高度特征与实际测量值间误差在±12 mm以内;利用max-min ant system算法对形态特征进行优化选择,将形态特征减少到6个,有效减少数据量62.5%,并与纹理和高度特征进行融合;将2~5叶玉米幼苗的可除草期划分为3个阶段,分别构建融合高度特征与单目图像特征的SVM识别模型,并与相应不含高度特征模型进行对比。经测试,3个阶段模型的识别准确率分别为96.67%,100%,98.33%;平均识别准确率达98.33%。不含高度特征模型的识别准确率分别为93.33%,91.67%,95%;平均识别准确率为93.33%。结果表明,融合高度特征与单目图像特征的SVM识别模型优于不含高度特征模型,平均识别准确率提高了5百分点。该方法实现了高准确率的杂草识别,研究结果为农业精确除草的发展提供参考。