基于Spark的支持向量机在小麦病害图像识别中的应用

为了提高小麦病害图像分类的效率,提出了一种基于Spark的并行式支持向量机算法。首先对小麦病害图像进行滤波去噪、灰度压缩等处理,利用灰度共生矩阵、不变矩阵等从颜色、纹理和形状3个方面提取49个特征向量;然后通过数据集的切分和并行框架的支持,将大数据并行处理技术Spark与支持向量机结合,运用Scala语言实现了串行支持向量机算法的并行化,并将其应用于小麦病害图像识别。针对小麦锈病和白粉病的图像分类测试结果表明,当测试图像分别是2 600、3 900、5 120张时,该算法对锈病的分类精度依次是76.03%、81.18%、77.82%,对白粉病的分类精度依次是83.27%、85.91%、83.14%,比串行支持向量机分类精度有所提升。分类时间依次是13 928.0、18 506.1、24 897.2 ms,明显低于串行支持向量机的分类时间。改进的算法实现了小麦病害分类精度的小幅度提升,明显提高了处理速度,具有较快的学习收敛速率。     

基于HBase的农作物病虫害数据存储系统的研究与实现

农作物病虫害数据具有多源、异构和海量等特征,传统的数据存储方法和系统存在存储效率低和扩展性弱等问题。针对这些问题,本文设计与实现了一种基于HBase的农作物病虫害数据存储系统,并将其应用于山东省小麦和玉米病虫害数据存储中。该系统能够对病虫害数据进行持久化存储,对多源异构数据进行统一管理,对新型数据可扩展性强,弥补了传统关系数据库的不足,为大数据环境下的小麦和玉米病虫害数据存储提供了新方法。