本发明涉及水产养殖，特别是涉及一种多模态融合的鱼群摄食强度分类方法、系统、设备及介质。
背景技术：
1、饵料投喂是影响水产养殖效率和成本的主要因素，投喂控制更是实现精细化养殖的关键，因此，合理控制饵料投喂具有重大意义。实际生产中，对鱼类的投喂控制仍是以人工经验判断和时序控制为主，易造成饲料浪费和环境污染。实时检测鱼群摄食强度，根据鱼群摄食行为状态进行水产养殖精准投喂控制，是有效提高饵料利用率降低水体污染的关键技术。
2、实际生产中的投喂主要是以人工判断和机械式定量投喂为主，无法根据鱼群的实际需求进行投喂，易造成投喂过量或不足。近年来，摄食强度识别研究被认为是实现自需式投喂的关键环节，鱼群摄食强度识别方法可分为3类，包括基于水质传感器、基于机器视觉和基于声音。具体来说，水质(如水温、溶解氧浓度、ph值、氨氮化合物等)变化会直接影响鱼类食欲。相较于水质参数变化评估鱼群摄食强度，机器视觉技术则具有更加直观、便捷、快速、精度高的特点。近年来，除了通过水质参数和视觉技术来评估鱼群的摄食强度外，鱼虾在进食过程中产生脉冲声波信号，可以作为进食活动的另一个重要指标。使用被动声学的方法进行探测不会对鱼虾摄食环境以及摄食行为产生负面影响，还能为制定更有效的摄食策略提供基础，从而使摄食制度符合不同鱼类种群的摄食需求。由上述分析可知，近年来，单模态识别任务得到了广泛的研究，并取得了一些显著的成果。如基于音频的语音识别和基于视觉的动作识别。然而，由于单模态方法只观察有关感兴趣的事物的部分信息，而这些信息容易受到单模态噪声的影响，因此多年来，根据多模态信息的一致性融合多模态信息以提高模型的鲁棒性和容量的视听识别引起了人们的关注。
3、多模态融合将来自多个不同数据源的信息融合在一起，以获得更全面、准确的信息，从而支持更丰富的分析、决策和应用。这些数据源可以包括图像、视频、声音、文本、传感器数据等。通常来说，多模态信息融合策略可分为早期、中期和晚期。早期融合在输入级根据原始数据或特征构建联合表示，然后将其输入到模型中。中间融合可以将不同抽象级别的单个模态组合在一起。尤其的，在具有三种或三种以上模态的系统中，数据可以一次性融合，也可以在不同级别上逐渐融合。后期融合为每个模态训练一个单独的模型，并在决策层聚合来自单个模型的预测。近年来，越来越多的专家开始将多模态数据融合技术应用于水产养殖，以此来实现信息获取的完整性和决策的精准性，多模态融合技术为实现水产养殖智能化管理提供了诸多可行性解决方案。而鱼群摄食强度识别又是实现智慧养殖系统的关键，因此如何通过多模态融合的方式获取鱼群摄食过程强度信息是迫在眉睫的。
技术实现思路
1、本发明的目的是提供一种多模态融合的鱼群摄食强度分类方法、系统、设备及介质，能够解决当前水产养殖过程中对鱼群摄食强度评估不准确、效率低的问题。
2、为实现上述目的，本发明提供了如下方案：
3、一种多模态融合的鱼群摄食强度分类方法，包括：
4、获取设定周期内的鱼群摄食数据；所述鱼群摄食数据包括鱼类摄食音频、光学摄像机视频和图像声纳视频；所述设定周期包括摄食前、摄食过程和摄食后；
5、对所述鱼群摄食数据进行预处理，得到目标数据；
6、对所述目标数据进行多模态特征提取，得到音频及图像特征；
7、根据强度分类模型和所述音频及图像特征，确定鱼群摄食强度；所述鱼群摄食强度的类型包括强、中、弱和无；所述强度分类模型是基于深度神经网络构建的。
8、可选地，所述获取设定周期内的鱼群摄食数据，具体包括：
9、在循环水养殖系统中分别搭建音频采集系统、图像声纳采集系统和视频捕捉系统；其中，所述视频捕捉系统由一个ieee 802.3af标准poe交换机、一个海康威视录像机和一个海康威视彩色摄像机组成，并安装在养殖池上方监控养殖池的整体状况；所述音频采集系统包括一个全向数字水听器，安装在水槽中心；所述图像声纳采集系统在水箱一侧安装了一个oculus m系列声纳，在低频模式下水平视场为130°；
10、在数据获取过程中，温度、溶解氧、ph值和硝酸盐含量均位于正常范围内，使用音频采集系统、图像声纳采集系统和视频捕捉系统，分别获取鱼类摄食前、摄食过程和摄食后的数据。
11、可选地，对所述鱼群摄食数据进行预处理，得到目标数据，具体包括：
12、将所述鱼群摄食数据中的视频流和音频流进行同步对齐，得到目标数据。
13、可选地，对所述目标数据进行多模态特征提取，得到音频及图像特征，包括：
14、利用声音频率和梅尔频率之间的对数映射关系，对所述目标数据中的音频特征进行提取，得到基于梅尔频谱图的音频特征；
15、利用特征提取模型对所述目标数据的视频进行特征提取，得到图像特征。
16、可选地，所述深度神经网络采用cnn6网络模型、resnet18网络模型、mobilenetv2网络模型、mobilenetv3_small网络模型和mobilenetv3_large网络模型中的任一种。
17、本发明还提供了一种多模态融合的鱼群摄食强度分类系统，包括：
18、数据采集模块，用于获取设定周期内的鱼群摄食数据；所述鱼群摄食数据包括鱼类摄食音频、光学摄像机视频和图像声纳视频；所述设定周期包括摄食前、摄食过程和摄食后；
19、数据预处理模块，用于对所述鱼群摄食数据进行预处理，得到目标数据；
20、特征提取模块，用于对所述目标数据进行多模态特征提取，得到音频及图像特征；
21、鱼群摄食强度分类模块，用于根据强度分类模型和所述音频及图像特征，确定鱼群摄食强度；所述鱼群摄食强度的类型包括强、中、弱和无；所述强度分类模型是基于深度神经网络构建的。
22、本发明还提供了一种电子设备，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据上述的多模态融合的鱼群摄食强度分类方法。
23、本发明还提供了一种计算机可读存储介质，其存储有计算机程序，所述计算机程序被处理器执行时实现如上所述的多模态融合的鱼群摄食强度分类方法。
24、根据本发明提供的具体实施例，本发明公开了以下技术效果：
25、本发明公开了一种多模态融合的鱼群摄食强度分类方法、系统、设备及介质，所述方法包括获取设定周期内的鱼群摄食数据；所述鱼群摄食数据包括鱼类摄食音频、光学摄像机视频和图像声纳视频；所述设定周期包括摄食前、摄食过程和摄食后；对所述鱼群摄食数据进行预处理，得到目标数据；对所述目标数据进行多模态特征提取，得到音频及图像特征；根据强度分类模型和所述音频及图像特征将不同模态的数据融合后进行分类，确定鱼群摄食强度；所述鱼群摄食强度的类型包括强、中、弱和无；所述强度分类模型是基于深度神经网络构建的。本发明能够解决当前水产养殖过程中对鱼群摄食强度评估不准确、效率低的问题。
1.一种多模态融合的鱼群摄食强度分类方法，其特征在于，包括：
2.根据权利要求1所述的多模态融合的鱼群摄食强度分类方法，其特征在于，所述获取设定周期内的鱼群摄食数据，具体包括：
3.根据权利要求1所述的多模态融合的鱼群摄食强度分类方法，其特征在于，对所述鱼群摄食数据进行预处理，得到目标数据，具体包括：
4.根据权利要求1所述的多模态融合的鱼群摄食强度分类方法，其特征在于，对所述目标数据进行多模态特征提取，得到音频及图像特征，包括：
5.根据权利要求1所述的多模态融合的鱼群摄食强度分类方法，其特征在于，所述深度神经网络采用cnn6网络模型、resnet18网络模型、mobilenetv2网络模型、mobilenetv3_small网络模型和mobilenetv3_large网络模型中的任一种。
6.一种多模态融合的鱼群摄食强度分类系统，其特征在于，包括：
7.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行根据权利要求1-5中任一项所述的多模态融合的鱼群摄食强度分类方法。
8.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-5中任一项所述的多模态融合的鱼群摄食强度分类方法。
