本发明涉及智慧农业信息应用软件领域、虚拟现实处理、人工智能领域和农业自动化领域,具体涉及农作物生长的可视化预测,尤其涉及一种基于人工智能的作物生长可视化预测方法。
背景技术:
1、在农业信息技术突飞猛进的今天,作物生长预测被认为是“数字农业”的科学基础与核心技术以及通向农业信息化的桥梁,并成为国内外研究的热门领域。作物生长可视化预测是指运用各种技术手段模拟并预测作物从种植到收获过程中的生长状态,以及相关生长参数的变化,并通过可视化的形式展示出来,其有助于生理学家和植物学家分析植物未来的生长模式,缩短试验周期、降低试验成本,指导受时间和条件限制的植物试验与研究。
2、公开号为cn115310680a提出了一种番茄种苗模型建模与生长预测方法。该方法综合考虑温度、光照和光温耦合对番茄幼苗发育的影响,建立了基于光合有效积温和相对光效应的番茄形态指标及壮苗指数的生长发育预测模型。该方法通过对光合有效辐射的处理计算,消除光照数据的量纲,并定义了相对光效应这一全新参数来描述作物吸收的光能量,减小了有效积温与光合有效辐射的量级差异,同时在模型中考虑了夜间生长发育过程,从而优化了模型预测精度。公开号为cn117690027a提出了基于深度学习生成树木影像生长规则的方法、装置及设备,涉及植物生长预测技术领域,旨在解决现有技术无法自动化生成l-system序列的技术问题。通过获取待预测树木的图像;基于卷积神经网络模块,对所述待预测树木的图像进行特征提取及编码,获得卷积编码特征数据;将所述卷积编码特征数据和l-system第一目标序列输入至解码器模块,以使得所述解码器模块输出下一个l-system字符的概率分布;基于所述下一个l-system字符的概率分布,获得l-system第二目标序列;基于所述l-system第二目标序列,获得所述待预测树木的生长规则。但是以上两种方法都使用数学模型驱动植物的可视化表达,导致模型的可视化效果和模型效率都表现较差,并且无法反映真实的植物样本的形态结构。
3、综合分析现有技术可知,传统的作物生长可视化模型大多通过人工构建植物的表型外观和纹理,使用数学模型驱动植物的可视化表达,这类方法的可视化效果和模型效率都表现较差,并且无法反映真实的植物样本的形态结构。随着光学成像设备、存储设备及信息技术的不断进步,尤其是基于大数据的深度学习技术的发展,使得计算机具备强大的图像处理能力,这对植物表型预测有着十分重要的意义。然而,现有的基于深度学习的作物生长可视化模型主要使用l-ystem框架以及卷积lstm的框架,并且只能在128×128像素的低分辨率图片尺度下实现生长预测,对结构简单的作物的生长预测效果较好,但难以应用于个体较大、形态复杂的植株。
技术实现思路
1、(一)要解决的技术问题
2、传统的作物生长可视化预测模型一般在植物整株、器官层面对其形态结构进行近似建模和样条拟合,对其纹理特征和颜色信息进行人工主观建模,这导致建立的模型可视性不强,视觉逼真度较差,且大多数变化规律是基于经验数据或者主观设置,其可视化能力与生长预测精度都存在一定的局限性;同时,现有的基于深度学习的方法只能在128×128像素的低分辨率图片尺度下实现生长预测,对结构简单的植物的生长预测效果较好,但难以应用于个体较大、形态复杂的植株。
3、 (二)技术方案
4、本发明的目的是:针对现有作物生长预测方法存在的视觉真实度和可视化效果较差的问题,提出了基于人工智能的作物生长可视化预测方法,通过人工智能中的生成对抗网络自学习的方式,深度利用作物图像大数据中蕴含的生长发育规律,对作物生长进行视觉真实度高、可视化效果强的高分辨率可视化预测。
5、为了实现上述目的,本发明提供了一种基于人工智能的作物生长可视化预测方法,该方法包括:
6、步骤s1,在作物生长期间,以固定的时间间隔对盆栽作物进行图像采集,获得若干对图像,每个图像对中的2个图像相差n个时间间隔,n为正整数;
7、步骤s2,将步骤s1获得的图像对进行图像处理,获得前景仅有作物植株的rgb图像;
8、步骤s3,将步骤s2获得的图像对作为训练集,使用生成对抗网络gan模型进行训练,学习相差n个时间间隔的作物图像对的映射关系,获得作物生长可视化预测模型,该模型可以预测输入作物在n个时间间隔后的生长图像;
9、步骤s4,将待预测作物的图像输入到步骤s3获得的可视化预测模型中,输出图像即为待预测作物在n个时间间隔后的可视化预测结果。
10、优选地,所述步骤s3中采用的生成对抗网络gan模型为改进pix2pix hd模型,其采用如下步骤对pix2pixhd模型进行改进:
11、步骤s31,在网络全局生成器残差网络块之后,以及在判别器的第三层卷积块之后,分别增加cbam空间注意力机制;
12、步骤s32,去除网络在测试阶段使用的dropout正则化方法,用于去除模型预测图像的随机性;
13、步骤s33,通过增加fake label loss、边缘loss,以及修改vgg loss,来改进网络的损失函数。
14、优选地,所述步骤s33具体包括如下步骤:
15、步骤s331,定义某一植株当前时间点的图像与其他植株的n个时间间隔后的图像为非匹配的图像对;
16、步骤s332,将非匹配图像对输入判别器,计算判别器的输出值;
17、步骤s333,计算判别器输出值与0的交叉熵,并乘以权重因子λ1,作为fake labelloss加入到网络的损失函数中,其中,fake label loss的数学计算公式为式(1);
18、 (1)
19、式中,λ1为人工设定的权重因子;e为数学期望;(ia, ib')为非匹配的图像对;d为网络判别器;
20、步骤s334,将真实的作物生长图像与模型预测的作物生长图像分别进行灰度化,并提取边缘,获得两张边缘图像;
21、步骤s335,计算两张边缘图像的均方误差,并乘以权重因子λ2,作为边缘loss加入到网络的损失函数中,其中,边缘loss的数学计算公式为式(2);
22、 (2)
23、式中,λ2为人工设定的权重因子;e为数学期望;(ia, ib)为匹配的图像对;h和w分别指输入图像的高和宽;g&e为图像灰度化与提取边缘处理;
24、步骤s336,基于步骤2图像处理获得的作物图像,以作物的生长时间点作为图像的label值,构建作物生长时期分类训练数据集;
25、步骤s337,使用步骤s336获得的数据集训练vgg19模型,获得比通用vgg19模型对作物特征更加敏感的作物生长时期分类模型,命名为crop-vgg19模型;
26、步骤s338,在计算损失函数中的vgg loss时,使用步骤s337获得的crop-vgg19模型代替原先的vgg19模型;
27、步骤s339,改进前网络总损失函数的数学计算公式为式(3),改进后网络总损失函数的数学计算公式为式(4)
28、 (3)
29、 (4)
30、式中,l为改进之前的网络总损失函数,lgan为生成对抗损失,lfm为特征匹配损失,lvgg为改进前的vgg loss,l'为改进之后的网络总损失函数,lfake label为fake label loss,l边缘为边缘loss,lvgg'为改进后的vgg loss。
31、(三)有益效果
32、相对于现有技术而言,本发明至少具备以下几个方面的积极技术效果。
33、(1)现有作物生长可视化预测方法大多需要人工主观建模,针对不同作物建立作物生长拟合公式,存在不能适用于多种作物的局限性。本发明提出的一种基于人工智能的作物生长可视化预测方法中,通过将相隔一定时间的同一植株作物图像对输入生成对抗网络中进行训练,以学习到作物不同生育期图像之间的生长规律,进而建立作物生长模型,而后将待预测的作物图片输入建立的作物生长模型中进行预测得到作物生长后的预测图像。此种方法采用人工智能自学习的方式,自动学习作物图像大数据中蕴含的生长发育规律,降低了人工成本,增强了可视化预测的普适性。
34、(2)现有作物生长可视化预测方法大多使用l系统或递归神经网络,这类方法难以生成高分辨率、高视觉逼真度的作物图像。本发明提出的方法采用生成对抗网络对作物生长进行预测,由于生成对抗网络采用生成器和判别器对抗训练的方式,使得生成器和判别器的能力在训练过程中不断提升,最终生成器可以生成逼真的高分辨率样本,从而提高了预测图像的视觉逼真度。
35、(3)现有基于人工智能的作物生长可视化预测方法大多对网络的优化较少,在任务迁移的过程中,由于网络原本被设计用于生成日常通用图像,因此这类方法在生成特定实验情况下的作物图像时,图像质量较低。本发明提出的方法使用改进pix2pix hd模型,通过增加cbam的空间注意力机制,使得模型能够对作物图像的不同区域赋予不同重要性的权重,保证模型在处理输入图像时更关注于图像中包含作物的重要区域,使得模型能够提取到对生成任务更为关键的特征,提高图像生成质量;通过在网络损失函数中,增加一项边缘loss,增加了对作物整体轮廓以及纹理的学习能力,提高了模型在作物整体轮廓以及纹理方面的预测效果;通过将原pix2pix hd模型计算损失函数中的vgg loss时使用的通用vgg模型更换为待预测作物的专用vgg loss,提升模型对待预测作物的识别能力,使得生成器需要生成更加真实的作物图像,进而提升模型生成图像的质量。
36、(4)现有基于生成对抗网络的作物生长可视化预测方法大多不会针对预测任务改进模型,由于生成对抗网络原本被设计用于生成随机多样化的图像,因此这类方法难以区分不同个体,生成图像虽然逼真但与输入作物关联性较低。本发明在优化生成对抗网络时,通过测试阶段不使用dropout正则化方法,让所有神经元在测试阶段都参与计算,以确保每次模型输入同样的数据时都会得到相同的输出,不会因为随机丢弃神经元而产生不同的结果,进而去除模型生成图像的随机性,将原pix2pix hd模型的图像翻译任务转换为预测任务,即对于一张输入的作物生长前期图像,预测唯一的作物生长后期图像,使得模型在预测时对不同输入个体更有针对性;通过在网络损失函数中,增加一项fake label loss,使得模型增加了作物生长之前图像和与之不对应的随机抽取的真实作物生长之后图像这一图像对的判别得分,以提高判别器区分作物个体差异的能力,从而增强输入图像与预测图像的关联性。
1.一种基于人工智能的作物生长可视化预测方法,其特征在于,包括:
2.根据权利要求1所述的基于人工智能的作物生长可视化预测方法,其特征在于,所述步骤s3中采用的生成对抗网络gan模型为改进pix2pix hd模型,其采用如下步骤对pix2pixhd模型进行改进:
3.根据权利要求2所述的基于人工智能的作物生长可视化预测方法,其特征在于,所述步骤s33中改进网络的损失函数具体包括如下步骤:
