一种用于农业机械的视觉智能感知方法、装置及电子设备与流程

1.本发明涉及农业机械技术领域，尤其涉及一种用于农业机械的视觉智能感知方法、装置、电子设备及计算机可读存储介质。


背景技术：

2.目前，随着社会技术的发展，人们对农业生产种植越来越趋向于现代化的种植模式，插秧机、收割机、植保机等机械越来越广泛的应用到农业生产中，机械化的种植模式极大地提高了生产效率和节省了大量的人力物力。
3.农业机械种类众多，功能也各不相同，同时随着视觉智能技术的发展，视觉智能监测在很多行业上得到了广泛应用，在不同的农业机械上利用视觉智能感知方法，可以在非人工操作状态下感知作业时的各种现场环境及农作物状况提供给作业中心。在现有农业机械技术中，缺少对农作物高度的判断。


技术实现要素：

4.有鉴于此，有必要提供一种用于农业机械的视觉智能感知方法、装置、电子设备及计算机可读存储介质，用以解决现有农业机械技术中，缺少对农作物高度的判断的问题。
5.为了解决上述问题，本发明提供一种用于农业机械的视觉智能感知方法，包括：
6.根据农作物原始图像的显著特征获取照射到农作物上的光束的位置像素坐标及所述照射到农作物上的光束相对地平线基准位置偏移的像素平均值；
7.根据所述位置像素坐标及像素平均值，确定目标农作物的真实物理高度；
8.其中，所述农作物图像的显著特征包括包含有光束轮廓的边缘特征图像。
9.进一步地，所述农作物原始图像的显著特征还包括农作物原始图像的颜色特征和亮度特征，所述方法还包括：根据所述农作物原始图像的颜色特征和亮度特征，获取所述原始图像的显著性区域；根据所述显著区域得到显著图，根据所述显著图确定目标障碍物所在区域。
10.进一步地，根据所述显著图确定目标障碍物所在区域，具体包括：提取显著图的边缘和轮廓信息，根据所述边缘和轮廓信息获取目标障碍物的最小检测框，根据所述最小检测框确定目标障碍物所在区域。
11.进一步地，所述用于农业机械的视觉智能感知方法还包括：根据农作物的原始图像的颜色特征识别出秧苗区域，对所述秧苗区域进行聚类，确定秧苗区域横坐标的聚类中心，根据所述横坐标的聚类中心确定每个秧苗中心横坐标与每列秧苗中心横坐标；
12.根据每个秧苗中心横坐标与每列秧苗中心横坐标之间的距离判断该秧苗偏离苗列线的距离，根据所述秧苗偏离苗列线的距离是否超过设定阈值，确定是否漂秧，根据所述秧苗偏离苗列线的距离计算相邻苗列线间距离，根据所述相邻苗列线间距离确定漏秧区域。
13.进一步地，所述农作物原始图像的显著特征还包括农作物倒伏场景的图像特征，
所述方法还包括：将所述图像特征用svm进行训练，得到基于倒伏场景的数据模型，重新获取农作物倒伏场景的图像特征，根据重新获取的农作物倒伏场景的图像特征及基于倒伏场景的数据模型，识别农作物倒伏状态。
14.进一步地，获取农作物倒伏场景的图像特征，将所述图像数据用svm特征训练分类器进行训练，得到基于倒伏场景的数据模型，具体包括：
15.获取农作物倒伏场景的图像特征，将所述图像数据划分正样本和负样本，利用所述正样本和负样本确定共生灰度矩阵；
16.根据所述共生灰度矩阵提取特征值，利用特征值用svm特征训练分类器进行训练，得到基于倒伏场景的数据模型。
17.进一步地，根据重新获取的农作物倒伏场景的图像特征及基于倒伏场景的数据模型，识别农作物倒伏状态，具体包括：计算所述重新获取的农作物倒伏场景的图像数据对应的灰度共生矩阵，根据所述灰度共生矩阵提取目标区域图像的特征值；
18.将所述特征值输入至所述基于倒伏场景的数据模型，得到图像中倒伏区域的目标检测框，以识别农作物倒伏状态。
19.本发明还提供了一种用于农业机械的视觉智能感知装置，包括像素特征获取模块及农作物高度确定模块；
20.所述像素特征获取模块，用于根据农作物原始图像的显著特征获取照射到农作物上的光束的位置像素坐标及所述照射到农作物上的光束相对地平线基准位置偏移的像素平均值；其中，所述农作物图像的显著特征包括包含有光束轮廓的边缘特征图像；
21.所述农作物高度确定模块，用于根据所述位置像素坐标及像素平均值，确定目标农作物的真实物理高度。
22.本发明实施例还提供了一种电子设备，包括存储器和处理器，所述存储器上存储有计算机程序，所述计算机程序被所述处理器执行时，实现如上述任一技术方案所述的用于农业机械的视觉智能感知方法。
23.本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现如上述任一技术方案所述的用于农业机械的视觉智能感知方法。
24.采用上述实施例的有益效果是：通过农作物原始图像的显著特征获取照射到农作物上的光束的位置像素坐标及光束相对地平线基准位置偏移的像素平均值；通过所述位置像素坐标及像素平均值，可以确定目标农作物的真实物理高度；实现了对农作物高度的判断。
附图说明
25.图1为本发明提供的用于农业机械的视觉智能感知方法一实施例的流程示意图；
26.图2为本发明提供的用于农业机械的视觉智能感知装置的结构框图；
27.图3为本发明提供的电子设备的结构框图。
具体实施方式
28.下面结合附图来具体描述本发明的优选实施例，其中，附图构成本技术一部分，并
与本发明的实施例一起用于阐释本发明的原理，并非用于限定本发明的范围。
29.本发明实施例提供了一种用于农业机械的视觉智能感知方法，其流程示意图，如图1所示，所述方法包括：
30.步骤s1、根据农作物图像的显著特征获取照射到农作物上的光束的位置像素坐标及光束在有农作物情况下的相对地平线基准位置偏移的像素平均值；所述农作物图像的显著特征为包含光束轮廓的边缘特征图像；
31.步骤s2、根据所述位置像素坐标及相对地平线基准位置偏移的像素平均值，确定目标农作物的真实物理高度。
32.可以理解的是，本发明实施例提供的农业机械可以是高速插秧机、植保机、拖拉机、收割机等，而基于这些农业机械的视觉智能感知是指通过农业机械上的图像传感设备、图像处理模块、嵌入式单元处理能够对农作物、农田区域、障碍物(如杂草)的智能感知，通过感知的图像、视频等实时信息准确掌握农作物生长环境。
33.需要说明的是，通过上述实施例实现了对障碍物所在区域的判断及对农作物高度的判断。通过判断障碍物所在区域，识别设定距离范围内的障碍物，可以为农业机械的路径规划提供指导，通过农作物高度的判断，可以确定植保机等农业系统上喷头距离农作物顶部的高度，以便对植保机高度进行调整。
34.一个具体实施例中，激光模组发射线束照射到均匀物体上时，会显示为规则的光斑或直线，当激光线束受到障碍物遮挡时，在视觉呈现上会出现光斑或线束向上偏移现象，产生像素视差；通过控制激光发射器和摄像头采集农田原始图像，对采集的图像进行灰度处理，再通过图像形态学提取包含激光线轮廓的边缘特征图像，进而得到激光线位置像素坐标，计算激光线在有农作物情况下的相对地平线基准位置偏移的像素平均值，便可检测作物真实物理高度信息。
35.作为一个优选的实施例，所述农作物原始图像的显著特征还包括农作物原始图像的颜色特征和亮度特征，所述方法还包括：根据所述农作物原始图像的颜色特征和亮度特征，获取所述原始图像的显著性区域；根据所述显著区域得到显著图，根据所述显著图确定目标障碍物所在区域。
36.可以理解的是，所述颜色特征具体为光色，同一光线照射到不同物体上的表现出来的光色和亮度不一样，通过不一样的光色和亮度可以确定原始图像的显著性区域；利用图像数据的颜色和亮度特征，获取图像的显著性区域，在视觉呈现上，高亮区域与背景区域差别较大，高亮区域是容易在视野范围被捕捉和关注的区域，所述高亮区域为显著性区域，以此得到显著图，分割出潜在障碍物区域，所述障碍物可以为杂草等。
37.作为一个优选的实施例，根据所述显著图确定目标障碍物所在区域，具体包括：提取显著图的边缘和轮廓信息，根据所述边缘和轮廓信息获取目标障碍物的检测框，根据所述检测框确定目标障碍物所在区域。
38.需要说明的是，可以通过canny算子边缘检测提取显著图的边缘和轮廓信息，对得到的显著图提取边缘和轮廓信息，通过图形图像等的处理进一步筛选障碍物所在区域，并标记出障碍物轮廓，输出包含目标障碍物的检测框，即可判断障碍物所在区域；所述检测框可以为最小尺寸检测框，此时判断出的障碍物所在区域最为精确。
39.作为一个优选的实施例，所述用于农业机械的视觉智能感知方法还包括：根据农
作物的原始图像的颜色特征识别出秧苗区域，对所述秧苗区域进行聚类，确定秧苗区域横坐标的聚类中心，根据所述横坐标的聚类中心确定每个秧苗中心横坐标与每列秧苗中心横坐标；
40.根据每个秧苗中心横坐标与每列秧苗中心横坐标之间的距离判断该秧苗偏离苗列线的距离，根据所述秧苗偏离苗列线的距离是否超过设定阈值，确定是否漂秧，根据所述秧苗偏离苗列线的距离计算相邻苗列线间距离，根据所述相邻苗列线间距离确定漏秧区域。
41.需要说明的是，通过颜色特征识别出秧苗区域，根据秧苗区域进行秧苗列聚类，对于远离聚类点的区域判断漂秧、对于缺失的秧苗区域识别出漏秧，有漂秧的秧苗区域相比正常的秧苗区域会偏离苗列线。
42.具体实施时，先算出秧苗区域横坐标的聚类中心，根据每株秧苗中心横坐标与每列秧苗中心横坐标之间的距离来判断，该秧苗是否偏离苗列线；对有漏秧的区域则会出现局部区域内苗列无秧苗，计算相邻苗列线间距离，距离过大则说明缺失了一列秧苗，判定为漏秧区域。
43.作为一个优选的实施例，所述农作物原始图像的显著特征还包括农作物倒伏场景的图像特征，所述方法还包括：将所述图像特征对svm进行训练，得到基于倒伏场景的数据模型，重新获取农作物倒伏场景的图像特征，根据重新获取的农作物倒伏场景的图像特征及基于倒伏场景的数据模型，识别农作物倒伏状态。
44.需要说明的是，倒伏检测主要通过svm训练得到基于倒伏场景的数据模型，计算农作物区域图像(农作物倒伏场景的图像数据)的灰度共生矩阵，提取农作物特征，根据数据特征与模型数据判别是否倒伏。
45.作为一个优选的实施例，获取农作物倒伏场景的图像特征，将所述图像数据用svm特征训练分类器进行训练，得到基于倒伏场景的数据模型，具体包括：
46.获取农作物倒伏场景的图像特征，将所述图像数据划分正样本和负样本，利用所述正样本和负样本确定共生灰度矩阵；
47.根据所述共生灰度矩阵提取特征值，利用特征值用svm特征训练分类器进行训练，得到基于倒伏场景的数据模型。
48.一个具体实施例中，在模型训练部分，收集相关正负样本，对目标区域计算其灰度共生矩阵(包括能量、熵、对比度、逆差分矩等特征)提取特征值之后，采用svm特征训练分类器训练得到基于倒伏场景的数据模型。
49.作为一个优选的实施例，根据重新获取的农作物倒伏场景的图像特征及基于倒伏场景的数据模型，识别农作物倒伏状态，具体包括：计算所述重新获取的农作物倒伏场景的图像数据对应的灰度共生矩阵，根据所述灰度共生矩阵提取目标区域图像的特征值；
50.将所述特征值输入至所述基于倒伏场景的数据模型，得到图像中倒伏区域的目标检测框，以识别农作物倒伏状态。
51.一个具体实施例中，在识别部分，对农作物倒伏场景的图像进行预处理后计算其灰度共生矩阵，提取目标区域图像的特征值，然后输入到基于倒伏场景的数据模型中，获取待检测图像的特征与目标特征之间的空间距离，给出图像中倒伏区域的目标检测框。
52.本发明实施例提供了一种用于农业机械的视觉智能感知装置，其结构框图，如图2
所示，所述装置包括像素特征获取模块1及农作物高度确定模块2；
53.所述像素特征获取模块1，用于根据农作物原始图像的显著特征获取照射到农作物上的光束的位置像素坐标及所述照射到农作物上的光束相对地平线基准位置偏移的像素平均值；其中，所述农作物图像的显著特征包括包含有光束轮廓的边缘特征图像；
54.所述农作物高度确定模块2，用于根据所述位置像素坐标及像素平均值，确定目标农作物的真实物理高度。
55.一个具体实施例中，所述图像处理模块包括摄像头传感器；所述的摄像头传感器用来监测距离范围内的周边环境及目标农作物的状态；用于农业机械的视觉智能感知装置包括图像信号处理板、嵌入式核心处理单元，所述的嵌入式核心处理单元根据图像处理的结果识别农业机械周边是否有障碍物以及识别农作物的状态，比如配备在高速插秧机上识别有无漂秧、漏行等情况出现，配备在收割机上识别农作物倒伏的情况，配备在植保机上检测喷头距离农作物顶部的高度。所述的嵌入式核心处理单元和图像信号处理板可以做成一个整板或通过fpc软电路板连接，两者之间的信号接口方式可以是mipi、lvds等差分接口方式或并口连接方式。
56.所述激光模组用于提供激光线束，激光模组发出光线对目标物进行扫描提供目标物像素坐标信息。所述激光模组使用绿光模组、红光模组或其它颜色激光模组，激光模组使用一字线光源或点光源，其向目标物发出光线提供目标物距离坐标等数据，激光模组在嵌入式核心处理单元的控制下工作，激光模组的开启关断由嵌入式核心处理单元控制，通过控制场效应管或其它开关来通断激光模组的供电系统或其它影响其工作的系统，激光模组的功率可由几毫瓦到几百毫瓦不等，激光模组外壳为散热片包裹，散热片紧贴外壳。
57.所述的嵌入式核心处理单元是以太网通信和can通信并存方式对外部通信，以太网可用作图片、视频等大容量数据的快速传输，can通信可用作控制指令及协议的交互。以太网通信使用mac phy 变压器的方式进行，can通信使用专有的can协议解析模块进行转换后和处理器的串口或spi口连接通信。以太网和can接口以及供电电源合在一起使用防水接头对外连接。
58.另一个具体实施例中，图像传感器(摄像头传感器)采集的图像经过图像处理模块处理后交给嵌入式核心处理单元，交给嵌入式单元的图像分为两路，第一路获取原始图像码流，传输给osd模块，对应视觉检测框通过osd的硬件功能在当前视频流上绘制对应框；第二路获取原始图像码流，传输到进行算法处理，根据前面所述的各种算法功能得到相应结果，得到的结果再同时传输给osd模块和can模块；对传输给can模块的结果信息在视频流上标识并利用can模块单元通过约定的can协议向外传输；对传输给osd模块的视频流，经过视频处理子系统后再一次分为两路；一路进入jpeg编码器，编码为.jpg格式，并对jpg格式的数据信息通过图传协议模块传输到指定ip的上位机；另一路进入视频编码器venc，编码为h264格式，编码后的h264格式的视频流通过rtsp服务器协议进行打包，打包为满足rtsp协议格式数据进行传输，嵌入式web服务器获取rtsp视频流后在web页面上进行渲染预览。
59.嵌入式核心处理单元后所有的数据流信息都可以通过以太网和can总线传递给作业后台，作业后台根据接收到的信息实时自动调整机械的状态比如调整喷头高度、对漏行漂秧的位置补插秧苗、改变路径避开障碍物等，这些操作都不需要人工干预，做到自动智能。
60.一个具体实施例中，可以将摄像头现场拍摄的图片、视频等信息通过网络端口实时上传给控制台或服务中心，后台服务中心可实时监测到作业现场的真实情况，后台完全可以根据现场的情况作出正确判断保证机械安全合理有效作业，为现代自动化大规模的种植模式提供有力保障。
61.本发明实施例提供了一种电子设备，所述电子设备的结构框图，如图3所示，所述电子设备包括存储器20和处理器10，所述存储器20上存储有计算机程序30，所述计算机程序30被所述处理器10执行时，实现如上述任一实施例所述的用于农业机械的视觉智能感知方法。
62.本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机该程序被处理器执行时，实现如上述任一实施例所述的用于农业机械的视觉智能感知方法。
63.本发明实施例公开了一种用于农业机械的视觉智能感知方法、装置、电子设备及计算机可读存储介质，通过农作物原始图像的显著特征获取照射到农作物上的光束的位置像素坐标及光束相对地平线基准位置偏移的像素平均值；通过所述位置像素坐标及像素平均值，可以确定目标农作物的真实物理高度；实现了对农作物高度的判断。
64.本发明技术方案还可以根据所述显著图确定目标障碍物所在区域，以便农业机械规划行进路径，可以在高速插秧机上用来识别漂秧、漏秧情况，还以在收割机等农业系统上用来识别农作物的倒伏情况，将识别到的结果通过通信接口传递给作业控制中心，作业控制中心根据接收到的信号可操纵机械的作业工作。
65.以上所述，仅为本发明较佳的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围之内。