本公开涉及图像处理技术，尤其是一种视频融合方法、装置、电子设备、飞行设备和介质。
背景技术：
1、视觉传感器是指利用光学元件和成像装置获取外部环境图像信息的仪器，现有技术中的视觉传感器一般包括：有源像素传感器(active pixel sensor，aps)和动态视觉传感器(dynamic vision sensor，dvs)。其中，有源像素传感器通常为基于电压信号或电流信号的图像传感器，广泛应用于手机或相机的摄像单元中，这类图像传感器具有色彩还原度及图像质量高的优势，然而其获取的图像信号的动态范围较小，并且拍摄速度较慢。
技术实现思路
1、根据本公开实施例的一个方面，提供了一种视频融合方法，包括：
2、通过设置在飞行设备上的第一图像传感器，获取第一视频；其中，所述第一视频包括至少一帧第一视频帧；
3、响应于所述飞行设备的速度达到预设速度，通过设置在所述飞行设备上的第二图像传感器获取第二视频；其中，所述第二视频包括至少一帧第二视频帧；所述第二视频的采集频率与所述第一视频的采集频率不同；
4、基于时间将所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧目标视频帧；
5、用至少一帧所述目标视频帧替换所述第一视频中的至少一帧第一视频帧，得到目标视频。
6、可选地，所述基于时间将所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧目标视频帧，包括：
7、获取所述飞行设备的速度达到所述预设速度的至少一个时刻，确定所述第一视频帧对应的至少一个采集时刻；其中，每帧所述第一视频帧对应一个所述采集时刻；
8、基于各个所述采集时刻得到每帧所述第一视频帧对应的所述至少一帧第二视频帧；
9、将每帧所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧所述目标视频帧。
10、可选地，所述将每帧所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧所述目标视频帧，包括：
11、根据所述第一视频帧和所述至少一帧第二视频帧的像素信息，确定所述第一视频帧对应的第一权重值和每个所述第二视频帧对应的第二权重值；
12、根据所述第一权重值和所述至少一个第二权重值，对所述第一视频帧和所述至少一帧第二视频帧进行加权融合，得到所述目标视频帧。
13、可选地，所述根据所述第一视频帧和所述至少一帧第二视频帧的像素信息，确定所述第一视频帧对应的第一权重值和每个所述第二视频帧对应的第二权重值，包括：
14、得到所述第一视频帧的第一图像分辨率，以及所述至少一帧第二视频帧的第二图像分辨率；
15、基于所述第一图像分辨率与所述至少一个第二图像分辨率之间的关系，确定所述第一权重值和至少一个所述第二权重值。
16、可选地，所述将每帧所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧所述目标视频帧，包括：
17、对所述第一视频帧与对应的所述至少一帧第二视频帧进行均值融合，得到所述目标视频帧。
18、可选地，所述将每帧所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧所述目标视频帧，包括：
19、对所述第一视频帧与对应的所述至少一帧第二视频帧进行非线性映射融合，得到所述目标视频帧。
20、可选地，所述基于时间将所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧目标视频帧之前，还包括：
21、分别对所述第一视频帧和所述至少一帧第二视频帧进行编码处理，以得到满足特征融合所需格式的第一视频信号和至少一帧第二视频信号；
22、所述基于时间将所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧目标视频帧，包括：
23、将所述第一视频信号与所述至少一帧第二视频信号进行特征融合，得到至少一帧目标信号；
24、基于所述至少一帧目标信号得到所述至少一帧目标视频帧。
25、可选地，所述基于所述至少一帧目标信号得到所述至少一帧目标视频帧，包括：
26、对所述至少一帧目标信号进行解码，得到所述至少一帧目标视频帧。
27、根据本公开实施例的另一方面，提供了一种视频融合装置，包括：
28、第一视频采集模块，用于通过设置在飞行设备上的第一图像传感器，获取第一视频；其中，所述第一视频包括至少一帧第一视频帧；
29、第二视频采集模块，用于响应于所述飞行设备的速度达到预设速度，通过设置在所述飞行设备上的第二图像传感器获取第二视频；其中，所述第二视频包括至少一帧第二视频帧；所述第二视频帧的采集频率与所述第一视频帧的采集频率不同；
30、图像融合模块，用于基于时间将所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧目标视频帧；
31、视频替换模块，用于用至少一帧所述目标视频帧替换所述第一视频中的至少一帧第一视频帧，得到目标视频。
32、可选地，所述图像融合模块，包括：
33、采集时刻确定单元，用于获取所述飞行设备的速度达到所述预设速度的至少一个时刻，确定所述第一视频帧对应的至少一个采集时刻；其中，每帧所述第一视频帧对应一个所述采集时刻；
34、视频帧对应单元，用于基于各个所述采集时刻得到每帧所述第一视频帧对应的所述至少一帧第二视频帧；
35、视频帧融合单元，用于将每帧所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧所述目标视频帧。
36、可选地，所述视频帧融合单元，具体用于根据所述第一视频帧和所述至少一帧第二视频帧的像素信息，确定所述第一视频帧对应的第一权重值和每个所述第二视频帧对应的第二权重值；根据所述第一权重值和所述至少一个第二权重值，对所述第一视频帧和所述至少一帧第二视频帧进行加权融合，得到所述目标视频帧。
37、可选地，所述视频帧融合单元在根据所述第一视频帧和所述至少一帧第二视频帧的像素信息，确定所述第一视频帧对应的第一权重值和每个所述第二视频帧对应的第二权重值时，用于得到所述第一视频帧的第一图像分辨率，以及所述至少一帧第二视频帧的第二图像分辨率；基于所述第一图像分辨率与所述至少一个第二图像分辨率之间的关系，确定所述第一权重值和至少一个所述第二权重值。
38、可选地，所述视频帧融合单元，具体用于对所述第一视频帧与对应的所述至少一帧第二视频帧进行均值融合，得到所述目标视频帧。
39、可选地，所述视频帧融合单元，具体用于对所述第一视频帧与对应的所述至少一帧第二视频帧进行非线性映射融合，得到所述目标视频帧。
40、可选地，所述装置还包括：
41、编码模块，用于分别对所述第一视频帧和所述至少一帧第二视频帧进行编码处理，以得到满足特征融合所需格式的第一视频信号和至少一帧第二视频信号；
42、所述图像融合模块，具体用于将所述第一视频信号与所述至少一帧第二视频信号进行特征融合，得到至少一帧目标信号；基于所述至少一帧目标信号得到所述至少一帧目标视频帧。
43、可选地，所述图像融合模块在基于所述至少一帧目标信号得到所述至少一帧目标视频帧时，具体用于对所述至少一帧目标信号进行解码，得到所述至少一帧目标视频帧。
44、根据本公开实施例的还一方面，提供了一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器，还包括上述任一实施例所述的视频融合方法；
45、所述存储器存储计算机执行指令；
46、所述处理器执行所述存储器存储的计算机执行指令，以控制所述视频融合方法。
47、根据本公开实施例的再一方面，提供了一种飞行设备，其特征在于，包括：设备机身、第一图像传感器、第二图像传感器和视频融合装置；
48、所述第一图像传感器和所述第二图像传感器设置在所述设备机身的预设位置上，基于相同外部参数对所述设备机身所在场景进行视频采集，得到第一视频和第二视频；其中，所述第二视频的采集频率与所述第一视频的采集频率不同；
49、所述视频融合装置，用于将所述第一视频中的至少一帧第一视频帧与对应的所述第二视频帧中的至少一帧第二视频帧进行融合，得到至少一帧目标视频帧；基于至少一帧所述目标视频帧替换所述第一视频中的至少一帧第一视频帧，得到目标视频。
50、根据本公开实施例的又再一方面，提供了一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行上述任一实施例所述的视频融合方法。
51、根据本公开实施例的还再一方面，提供了一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现上述任一实施例所述的视频融合方法。
52、基于本公开上述实施例提供的一种视频融合方法、装置、电子设备、飞行设备和介质，通过设置在飞行设备上的第一图像传感器，获取第一视频；其中，所述第一视频包括至少一帧第一视频帧；响应于所述飞行设备的速度达到预设速度，通过设置在所述飞行设备上的第二图像传感器获取第二视频；其中，所述第二视频包括至少一帧第二视频帧；所述第二视频的采集频率与所述第一视频的采集频率不同；基于时间将所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧目标视频帧；用至少一帧所述目标视频帧替换所述第一视频中的至少一帧第一视频帧，得到目标视频；本公开实施例通过不同采集频率的图像传感器同时对图像进行采集，能更好的捕捉到高速运动的物体，提高了飞行设备在高速运动情况下对目标物体的拍摄效果。
53、下面通过附图和实施例，对本公开的技术方案做进一步的详细描述。
1.一种视频融合方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，所述基于时间将所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧目标视频帧，包括：
3.根据权利要求2所述的方法，其特征在于，所述将每帧所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧所述目标视频帧，包括：
4.根据权利要求3所述的方法，其特征在于，所述根据所述第一视频帧和所述至少一帧第二视频帧的像素信息，确定所述第一视频帧对应的第一权重值和每个所述第二视频帧对应的第二权重值，包括：
5.根据权利要求2所述的方法，其特征在于，所述将每帧所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧所述目标视频帧，包括：
6.根据权利要求2所述的方法，其特征在于，所述将每帧所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧所述目标视频帧，包括：
7.根据权利要求1-6任一所述的方法，其特征在于，所述基于时间将所述第一视频帧与对应的所述至少一帧第二视频帧进行融合，得到至少一帧目标视频帧之前，还包括：
8.根据权利要求7所述的方法，其特征在于，所述基于所述至少一帧目标信号得到所述至少一帧目标视频帧，包括：
9.一种视频融合装置，其特征在于，包括：
10.一种飞行设备，其特征在于，包括：设备机身、第一图像传感器、第二图像传感器和视频融合装置；
11.一种电子设备，其特征在于，包括：处理器，以及与所述处理器通信连接的存储器，还包括权利要求1-8任一所述的视频融合方法；
12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，当所述指令被执行时，使得计算机执行权利要求1-8任一所述的视频融合方法。
13.一种计算机程序产品，包括计算机程序，其中，所述计算机程序在被处理器执行时实现权利要求1-8任一所述的视频融合方法。
