基于计算机视觉的水稻三维重建方法

利用多幅多角度的拍摄方法对二维图像进行采集,通过数字化处理得到单株水稻各视角侧面投影及轮廓图像。然后使用基于计算机视觉的三维重建方法,构造单株水稻的可视立体包络,从而得到单株水稻的三维立体像素模型。使用移动立方体算法对单株水稻立体像素模型进行外围表面重建,最后得到单株水稻三维重建模型。     

基于计算机视觉的三维重建技术综述

计算机视觉三维重建技术现在所拥有的种类非常多,并且还处于飞速发展阶段。这其中,从多年研究运动恢复结构法,并取得突出成果的单目视觉三维重建技术,是计算机视觉三维重建技术的非常重要的一个组成部分,主要对从运动恢复结构法的实际应用和发展加以陈述并研究其未来的发展方向,来综述几个比较有代表性的三维重建技术。     

基于双目机器视觉的菠萝自动采收机设计

由于菠萝植株和菠萝果实结构的特殊性,目前国内大部分菠萝采摘主要以人工为主,机械化水平较低,采摘工作效率较低,工作环境较差,对手、手臂等身体部位有较大的伤害。设计了一种基于双目视觉的自动菠萝采收机,主要由分行器、行走装置、双目视觉系统、采摘装置、输送装置、收集装置、控制系统和电源供给装置组成,对双目视觉定位系统和主要机械部件进行了介绍,使用SolidWorks软件对采收机进行三维建模,并对其进行了经济效益分析。实践表明,该菠萝自动采收机能满足采摘需求,效率较高,经济效益较好。     

基于双目立体视觉的重叠柑橘空间定位

果实的精准识别和定位是智能采摘面临的难题之一。基于双目立体视觉,提出了一种针对户外重叠柑橘的三维空间定位方法。首先,从双目左右图像中提取重叠柑橘果实轮廓并进行高斯平滑,通过曲率分析,找出异常的轮廓像素点;其次,依次连接相邻两个异常像素点,分析该线段上的像素点到柑橘轮廓的距离,在相邻两正常线段的交点处完成重叠柑橘轮廓分割,并通过寻找异常线段剔除对应的非柑橘轮廓像素点;再者,采用最小二乘椭圆拟合方法重建柑橘目标轮廓,并获取柑橘的中心;最后,根据双目极线约束和图像相似度,对重叠柑橘中心点进行匹配,并基于视差原理计算柑橘中心的深度值及三维空间坐标,确定重叠柑橘的遮挡关系。户外实验结果表明,所提出的方法定位误差为6.38 mm,满足柑橘采摘机器人户外采摘作业的定位精度要求。     

基于双目立体视觉的草坪植株高度测量

计算机视觉现已被广泛应用于诸多农业领域,有助于精准农业的发展,提高劳动生产效率。针对坐骑式零转弯半径(ZTR)割草机刀盘高度无级调节问题,利用双目立体视觉对草坪植株高度进行测量可推动其智能化发展。首先对地毯草灰度图像中的V分量进行图像增强、形态学处理、阈值分割等预处理提取出植株图像。本研究提出一种结合高通滤波与Foerstner的特征点检测算法,对提取后的植株图像进行特征点检测,该方法可有效去除伪角点,准确率在98%以上。利用双目标确定后的参数对左右2幅图像进行角点匹配,选取z轴方向数值最小的3个点构造假想地面并最终计算植株均高。结果表明,该高度测量系统可识别测量不同草种,且总体相对误差为1.5%,有效地提高了测量精度且适用范围较广。     

基于双目立体视觉的重叠柑橘空间定位

果实的精准识别和定位是智能采摘面临的难题之一。基于双目立体视觉,提出了一种针对户外重叠柑橘的三维空间定位方法。首先,从双目左右图像中提取重叠柑橘果实轮廓并进行高斯平滑,通过曲率分析,找出异常的轮廓像素点;其次,依次连接相邻两个异常像素点,分析该线段上的像素点到柑橘轮廓的距离,在相邻两正常线段的交点处完成重叠柑橘轮廓分割,并通过寻找异常线段剔除对应的非柑橘轮廓像素点;再者,采用最小二乘椭圆拟合方法重建柑橘目标轮廓,并获取柑橘的中心;最后,根据双目极线约束和图像相似度,对重叠柑橘中心点进行匹配,并基于视差原理计算柑橘中心的深度值及三维空间坐标,确定重叠柑橘的遮挡关系。户外实验结果表明,所提出的方法定位误差为6.38 mm,满足柑橘采摘机器人户外采摘作业的定位精度要求。     

立体视觉技术在森林资源调查中的应用

将立体视觉应用于森林资源调查是一种全新的手段 ,能高效地对样地进行调查 ,并且为高分辨率遥感图像提供一种获取林分调查因子的技术 .该文从林业环境的实际情况出发 ,探索立体视觉技术应用于森林资源调查的可行技术路线 .针对树干边缘的特点 ,提出了Canny算子检测的树干边缘和外极线约束下、交互式的区域相关立体匹配策略 .采用在中国林业科学研究院院内树林中FUJIFILMFinePix 6 90 0Zoom数码相机拍摄的立体图像对 ,实现了立体视觉技术测量树木点位和胸径 ,并估计了在实验条件下的量测精度 .     

基于立体视觉的郁闭林分主要测树因子的重建

为解决林木图像由于树冠相互遮挡而难于匹配的问题,将立木分为枝下高与树冠高两部分,使用枝下高图像用立体视觉方法重建枝下高不同部位的直径与倾角,以此为基础估计树冠高部分,进而得到树木高度。同时,在不增加图像处理计算量的情况下,派生材积等间接测树因子。通过与干曲线的结合,解决了由于树冠遮挡难于用视觉方法重建主要测树因子的难题。试验地包括银杏、水杉两个树种。与实际树高相比,重建树高中最大误差是4.4%,最小误差为0.7%,在此基础上计算的材积最大、最小误差分别是4.7%和2.1%。与干曲线结合的立体视觉重建策略在恢复郁闭林分中的测树因子是可行的。     

基于双目视觉的主从式果园作业车辆自主跟随系统设计

将黑白棋盘格特征板固定于引导车辆作为跟随特征,通过固定于跟随车辆的双目视觉系统,获取黑白棋盘特征板上各角点的三维信息,分析该信息,得到引导车辆相对于跟随车辆的车辆间距、横向偏移及航向偏角,利用该导航信息实现跟随车辆的自动跟随,建立了主从式果园作业车辆的跟随系统。双目视觉系统在不同光强下静态性能测试结果表明,双目系统生成导航参数偏差与日间光强无明显相关性,体现出双目系统对外界光环境变化有良好的适应性。在果园环境下,对该系统进行性能测试,结果系统导航信息生成频率为4.0 Hz,横向偏移平均偏差为3.68 cm,车辆间距平均偏差为8.24 cm,航向偏角平均偏差为2.32°,表明所构建的跟随系统能实现对引导车辆的自动实时跟随。     

基于双目视觉的农田障碍物检测

针对智能农业机械自动驾驶或辅助驾驶立体视觉障碍物检测技术中,传统阈值分割不能达到目标提取精度的问题,提出基于分析扫描线上区域分割与特征匹配相结合的障碍物检测算法。在双目视觉系统得到农田场景图像对中,通过分析扫描线上像素分布情况将图像分割,进行归类整理提取目标区域;对目标区域进行快速立体特征匹配,得到目标区域的空间信息,进行障碍物的检测。对800帧(400对)图像进行检测试验,结果表明:每对图像的平均处理时间<100 ms,本次试验检测出障碍物的正确率达到95%。该算法用于农田障碍物检测具有很好的检测效果。     

基于双目视觉的无人补料装置测距技术

基于双目视觉技术,研究一种适用于无人补料设备的目标检测及测距技术,设计了高精度的目标检测识别和双目测距方法,并进行了相关仿真实验。实验结果表明,使用改进后的识别定位算法平均准确率为99.53%,双目相机在距离补料装置40～90 cm时,测距相对误差为0.59%～1.26%,可以有效辅助近距离定位补料装置,较好地满足了补料装置与料仓的对接功能要求,对提高补料装置的自动化水平具有积极意义。     

基于双目视觉与深度学习的番茄本体特征检测系统

[目的]设计基于双目视觉与深度学习的番茄本体特征检测系统,实现番茄本体特征的自动无损检测,为水肥一体化和智慧农业提供技术支持.[方法]采集4000张番茄图像作为研究样本,利用基于深度学习SSD_MobileNet卷积神经网络的番茄主要器官检测算法,对番茄植株、茎、花、果实和叶进行检测.基于双目视觉的图像测量算法对各器官目标区域中株高、茎直径、果径和叶面积进行特征提取.[结果]利用SSD_MobileNet网络模型对研究样本进行训练和测试,调用训练好的模型对番茄各器官进行识别和定位,对番茄植株、茎、花、果实和叶的检测准确率分别为98.5%、99.0%、99.5%、99.5%和98.0%.利用基于双目视觉的图像测量算法对番茄本体特征进行测量,通过实践证明该系统对株高、茎直径、果径和叶面积测量的相对误差可分别控制在1.5%、1.0%、1.2%和1.3%以内,可实现番茄本体特征的精确检测,较常见系统的鲁棒性和精度有了明显提升;整套系统在番茄大棚中已稳定运行半年,完成了对番茄全生命周期的本体特征检测,并可将数据保存于数据库,实现对番茄本体特征的自动、无损监测.[建议]优化番茄特征遮挡问题,丰富训练数据集,优化网络模型,提高识别率和鲁棒性;建立番茄特征数据共享云平台,实现番茄疫病的提前预警;确定本体特征与番茄长势的关系,以快速判断施肥量,实现大棚番茄自动精确施肥.     

Development of a virtual reality GIS using stereo vision

This paper presents an integrated virtual reality geographic information system (VRGIS) based on computational stereo. In this system, three-dimensional (3D) and 360° panoramic scenes are reconstructed from multiple stereo image pairs acquired with a mobile stereo machine vision system. The spatial coordinates of panoramic scenes are registered to electronic maps to obtain a real scale VRGIS that is capable of efficient retrieval of spatial information and allows for navigation in virtual reality. A software program was implemented for image processing, coordinate transformation, 3D surface model building, data fusion, digital mapping, and database management for the VRGIS. In setting up 3D models for the virtual reality environment, we focused on comparisons of pattern matching algorithms for creating disparity images from stereo pairs, and adopted the graph cut method and the non-parametric local transform method in our system. Following the computation of disparity images, they are transformed into cylindrical coordinates and stitched into a 3D and 360° panoramic scene. In order to allow for virtual reality navigation, the panoramic scene is further cast into 3D triangular surface model for fast texture mapping using memoryless simplification algorithm. The effects of reducing the number of edges in a 3D surface model on computation time and discrepancy from 3D surface model with no edge reduction were also analyzed. Experimental results show that the discrepancy was about 13% when 80% edge reduction was applied to create the approximate 3D surface model. This indicates a significant computational and memory reduction while the computer graphic display of the scene model was still visually satisfactory. Finally, multiple 3D scenes were integrated into a site on the electronic map permitting the user to navigate through location to location in a virtual reality environment. The developed system may serve as a versatile platform in establishing field information for many applications such as precision agriculture, vehicle automation, geographic visualization, archaeology site modelling, etc.     

Human detection for a robot tractor using omni-directional stereo vision

It is critical to detect and identify obstacles for safe operation of robot tractors. This study focused on human detection using an omni-directional stereo vision (OSV). The Lucas–Kanade optical flow detection method was used to detect human in a panoramic image. A 3D panoramic image that was reconstructed from stereo rectified images using the sum of squared differences (SSDs) method was used to locate the position of a human. To evaluate the performance of the developed human detection method, two RTK-GPSs were used to investigate the accuracy of the detection method under stationary and motion conditions of a robot tractor. The results of field experiments indicated that a human could be detected successfully under both given conditions in the daytime. The RMS error of measured distance was less than half a meter compared with the reference distance measured by the RTK-GPSs.     

基于消费级双目相机的立木因子测量方法

  目的  随着林业信息化的快速发展,机器视觉测量技术广泛应用于林业领域。针对传统立木因子测量方法成本较高、携带不便、操作复杂等问题,提出消费级双目相机与机器视觉技术相结合的立木因子无接触测量方法。  方法  首先使用消费级USB 3.0双目相机采集立木图像,通过改进的SGM算法生成高质量视差图;再根据三角原理转化为深度图,进而获取立木三维点云;基于空间密度聚类和混合滤波三维点云去噪方法快速准确去除聚集、离散的噪声点,再进行方向矫正和点云分割;最后,利用最值遍历法和椭圆拟合法实现树高、胸径的无接触测量。  结果  树高、胸径的相对测量误差分别小于2.219%、5.620%,测量值与真实值的相关系数R2分别为0.978、0.995,均方根误差分别为0.047 m、0.249 cm。  结论  本方法易操作、成本较低,同时具有较高的测量精度,能够满足无接触测量的需求。图5表2参27     

Ground truth evaluation of computer vision based 3D reconstruction of synthesized and real plant images

There is an increasing interest in using 3D computer vision in precision agriculture. This calls for better quantitative evaluation and understanding of computer vision methods. This paper proposes a test framework using ray traced crop scenes that allows in-depth analysis of algorithm performance and finds the optimal hardware and light source setup before investing in expensive equipment and field experiments. It was expected to be a valuable tool to structure the otherwise incomprehensibly large information space and to see relationships between parameter configurations and crop features. Images of real plants with similar structural categories were annotated manually for comparison in order to validate the performance results on the synthesised images. The results showed substantial correlation between synthesized and real plants, but only when all error sources were accounted for in the simulation. However, there were exceptions where there were structural differences between the virtual plant and the real plant that were unaccounted for by its category. The test framework was evaluated to be a valuable tool to uncover information from complex data structures.     

基于多特征融合的花卉种类识别研究

花卉种类识别作为植物自动分类识别的重要分支,有着很高的研究和应用价值。针对当前花卉特征描述存在的局限和花卉识别准确率较低的实际情况,以花卉图像为研究对象,首先对复杂背景图像采用基于显著性检测的Grab Cut分割算法进行预处理,得到单一背景图像;然后在提取花卉图像花冠(所有花瓣)颜色和形状特征的基础上,创新性地提取花蕊区域的颜色和形状所包含的特征信息,并将提取到的18个特征融合成单一特征向量。以支持向量机(SVM)算法为基础构建分类器,通过实验确定核函数与最佳参数;对360幅自建花卉样本库(24个种类,每个种类15幅)进行训练和测试,其中240幅作为训练样本,120幅作为测试样本,并与基于不同特征组合的识别方法进行比较。结果表明:本文提出的基于多特征融合的识别方法具有较高的识别准确率,识别率可以达到92.50%。对通用花卉样本库Oxford 17 flower进行训练与测试,选取其中340幅作为训练样本,170幅作为测试样本,取得了较好的识别效果,验证了本文方法的有效性。