本技术实施例涉及数据处理,尤其涉及一种数据处理方法、装置、系统及存储介质。
背景技术:
1、随着人工智能(artificial intelligence,ai)技术的发展,ai算法的能力越来越强大,将ai算法应用到视频分析领域的业务场景越来越多,比如,利用ai算法对视频数据中的人体区域、人脸、人头或者人物轨迹进行识别。
2、相关技术中,ai算法可以在视频数据采集到播放的整个链条的多个节点上实现,一般而言,多个节点至少包括视频数据的采集端、服务器端以及播放端。这时,无论ai算法部署在哪个节点上,最终都是由播放端使用ai算法的处理结果,以使播放端的用户在观看视频数据时还能明确ai算法的处理结果。
3、然而,各节点上部署的ai算法的实现方式可能不同,这会导致播放端无法识别并复用其他节点得到的ai算法处理结果,进而需要播放端重复使用ai算法进行处理。比如,服务器端对视频数据进行人物头部识别得到的人物头部识别结果无法供播放端复用时,需要播放端再次对视频数据进行人物头部识别。
技术实现思路
1、本技术实施例提供了一种数据处理方法、装置、系统及存储介质,以解决相关技术中播放端无法复用其他节点得到的ai算法处理结果,需要播放端重复使用ai算法的技术问题。
2、第一方面,本技术一个实施例提供了一种数据处理方法,所述数据处理方法应用于数据处理系统,所述数据处理系统包括视频采集端、服务器端以及视频播放端:
3、所述数据处理方法包括:
4、所述服务器端获取视频数据的至少一个视频处理结果,所述视频数据由所述视频采集端采集并发送至所述服务器端,所述至少一个视频处理结果由所述视频采集端对所述视频数据进行处理后得到和/或由所述服务器端对所述视频数据进行处理后得到,所述至少一个视频处理结果采用自定义的描述格式进行记录,所述自定义的描述格式可被所述视频播放端识别;
5、所述服务器端将所述至少一个视频处理结果封装到包含所述视频数据的视频文件中;
6、所述服务器端将所述视频文件发送至所述视频播放端;
7、所述视频播放端播放所述视频文件中的视频数据,并基于所述视频文件中的视频处理结果将对应的标记内容叠加在所述视频数据上进行显示,所述标记内容是根据所述视频处理结果得到的结果显示内容。
8、上述,通过服务器端获取视频采集端和/或服务器端对视频数据进行处理后生成的视频处理结果,视频处理结果采用自定义的描述格式进行记录且自定义的描述格式可以被视频播放端识别到,之后,服务器端将至少一个视频处理结果封装到包含视频数据的视频文件中,并将视频文件发送至视频播放端,视频播放端播放视频文件中的视频数据,并基于视频文件中的视频处理结果将对应的标记内容(即根据视频处理结果得到的结果显示内容)叠加在视频数据上进行显示的技术手段,解决了相关技术中播放端无法复用其他节点得到的ai算法处理结果,需要播放端重复使用ai算法的技术问题。通过采用可被视频播放端识别的自定义的描述格式记录视频处理结果,可以使得其他节点(服务器端和/或视频采集端)得到的ai算法处理结果被视频播放端复用,避免视频播放端再重新运行ai算法。通过采用预先设定的自定义的描述格式,可以应对不同ai算法的变化,即使ai算法发生变化,也可以通过自定义的描述格式使视频播放端识别ai算法对应的视频处理结果并进行复用。并且,采用自定义的描述格式也可以增加视频处理结果的可读性,便于后续人工对视频处理结果进行校正、微调等。
9、本技术一个实施例中,所述视频处理结果由所述视频采集端生成,
10、所述服务器端获取视频数据的至少一个视频处理结果之前,还包括:
11、所述视频采集端根据视频分析算法对采集的视频数据进行处理,得到原始处理结果;
12、所述视频采集端将所述原始处理结果按照自定义的描述格式进行转换,得到视频处理结果;
13、所述视频采集端将所述视频处理结果发送至所述服务器端。
14、上述,视频采集端可将自身得到的原始处理结果转换成采用自定义的描述格式的视频处理结果,便于视频播放端对视频处理结果的复用。
15、本技术一个实施例中,所述视频采集端根据视频分析算法对采集的视频数据进行处理,得到原始处理结果之后,还包括:
16、在所述视频采集端无法将所述原始处理结果转换成所述视频处理结果的情况下,所述视频采集端将所述原始处理结果发送至所述服务器端;
17、所述服务器端根据所述视频采集端的标识信息查找对应的数据转换规则;
18、所述服务器端根据所述数据转换规则,将所述原始处理结果转换成采用自定义的描述格式的视频处理结果。
19、上述,当视频采集端为第三方的视频采集端且无法得到视频处理结果时,服务器端可以接收第三方的视频采集端发送的原始处理结果,并将原始处理结果转换成采用自定义的描述格式的视频处理结果,可以保证视频播放端对视频处理结果的复用,避免视频播放端再重新运行ai算法。
20、本技术一个实施例中,所述视频处理结果由所述服务器端生成,
21、所述服务器端获取视频数据的至少一个视频处理结果之前,还包括:
22、所述服务器端根据视频分析算法对所述视频采集端发送的视频数据进行处理,得到原始处理结果;
23、所述服务器端将所述原始处理结果按照自定义的描述格式进行转换,得到视频处理结果。
24、上述,服务器端可将自身得到的原始处理结果转换成采用自定义的描述格式的视频处理结果,便于视频播放端对视频处理结果的复用。
25、本技术一个实施例中,所述服务器端根据视频分析算法对所述视频采集端发送的视频数据进行处理,得到原始处理结果,包括:
26、所述服务器端根据视频分析算法在已获取到的视频处理结果中找到可供所述视频分析算法使用的视频处理结果时,根据找到的所述视频处理结果、所述视频分析算法和所述视频数据得到原始处理结果,根据所述视频分析算法未找到可供使用的视频处理结果时,根据所述视频分析算法和所述视频数据得到原始处理结果。
27、上述,视频处理结果还可以被其他的视频分析算法复用,以节省视频分析算法的执行总时间,提高视频分析算法的处理效率。
28、本技术一个实施例中,所述视频文件为mp4文件,
29、所述服务器端将所述至少一个视频处理结果封装到包含所述视频数据的视频文件中,包括:
30、所述服务器端将所述视频处理结果转换为udta box数据;
31、所述服务器端将所述udta box数据封装到所述mp4文件中。
32、本技术一个实施例中,所述视频播放端播放所述视频文件中的视频数据,并基于所述视频文件中的视频处理结果将对应的标记内容叠加在所述视频数据上进行显示,包括:
33、所述视频播放端读取所述mp4文件中的所述udta box数据;
34、所述视频播放端根据所述udta box数据得到视频处理结果;
35、所述视频播放端播放所述视频文件中的视频数据,并将所述视频处理结果对应的标记内容叠加在所述视频数据上进行显示。
36、本技术一个实施例中,所述视频播放端播放所述视频文件中的视频数据,并基于所述视频文件中的视频处理结果将对应的标记内容叠加在所述视频数据上进行显示,包括:
37、所述视频播放端接收结果查询请求;
38、所述视频播放端根据所述结果查询请求在所述视频文件中找到对应的视频处理结果;
39、所述视频播放端播放所述视频文件中的视频数据,并将查找到的视频处理结果对应的标记内容叠加在所述视频数据上进行显示。
40、上述,视频播放端可以根据结果查询请求在视频文件中找到对应的视频处理结果,并在播放视频数据时将找到的视频处理结果对应的标记内容叠加显示在视频数据上,可以实现视频播放端对服务器端发送的视频处理结果的复用,避免视频播放端重复执行视频分析算法。
41、本技术一个实施例中,所述视频播放端播放所述视频文件中的视频数据,并将查找到的视频处理结果对应的标记内容叠加在所述视频数据上进行显示,包括:
42、所述视频播放端获取自身的播放类型,并根据所述播放类型确定查找到的视频处理结果的渲染规则;
43、所述视频播放端播放所述视频文件中的视频数据,并根据所述渲染规则在所述视频数据的播放界面上渲染查找到的视频处理结果对应的标记内容。
44、本技术一个实施例中,还包括:
45、所述视频播放端根据所述结果查询请求在所述视频文件中未找到对应的视频处理结果时,根据所述结果查询请求对应的视频分析算法对所述视频文件中的视频数据进行处理得到原始处理结果;
46、所述视频播放端播放所述视频数据,并将所述原始处理结果对应的标记内容叠加在所述视频数据上进行显示。
47、上述,视频播放端在视频文件中查找不到对应的视频处理结果时,也可以利用自身的视频分析算法对视频数据进行处理,丰富了视频播放端可以显示的处理结果类型。
48、本技术一个实施例中,所述视频播放端根据所述结果查询请求对应的视频分析算法对所述视频文件中的视频数据进行处理得到原始处理结果,包括:
49、所述视频播放端根据所述结果查询请求对应的视频分析算法在所述视频文件中查找可供使用的视频处理结果;
50、所述视频播放端根据可供使用的所述视频处理结果和所述结果查询请求对应的视频分析算法处理所述视频数据,得到原始处理结果。
51、上述,在视频播放端运行视频分析算法时,也可以对视频文件中的视频处理结果进行复用,以节省视频分析算法的执行总时间,提高视频分析算法的处理效率。
52、本技术一个实施例中,所述视频播放端根据所述结果查询请求对应的视频分析算法对所述视频文件中的视频数据进行处理得到原始处理结果之后,还包括:
53、所述视频播放端将所述原始处理结果按照自定义的描述格式进行转换,得到视频处理结果;
54、所述视频播放端将所述视频处理结果上传至所述服务器端;
55、所述服务器端将当前接收到的视频处理结果封装到包含所述视频数据的视频文件中。
56、上述,视频播放端执行视频分析算法时,也可以得到采用自定义的描述格式的视频处理结果,并上报至服务器端,由服务器端将视频处理结果封装至视频文件中,便于后续其他的视频播放端对视频处理结果的复用。
57、本技术一个实施例中,所述服务器端获取视频数据的至少一个视频处理结果之后,还包括:
58、所述服务器端生成用于记录所述至少一个视频处理结果的文本文件;
59、所述服务器端在所述文本文件中添加所述视频处理结果对应的描述信息,所述描述信息用于描述所述视频处理结果对应的标记内容的显示样式;
60、所述服务器端将所述至少一个视频处理结果封装到包含所述视频数据的视频文件中,包括:
61、所述服务器端将所述文本文件中记录的内容封装到包含所述视频数据的视频文件中;
62、所述视频播放端播放所述视频文件中的视频数据,并基于所述视频文件中的视频处理结果将对应的标记内容叠加在所述视频数据上进行显示,包括:
63、所述视频播放端播放所述视频文件中的视频数据,并根据所述视频文件中的描述信息将相应视频处理结果的标记内容叠加在所述视频数据上进行显示。
64、上述,通过文本文件的方式记录视频处理结果,并且可以在文本文件中添加视频处理结果对应标记内容的描述信息,可以使得视频播放端根据描述信息渲染对应的标记内容。
65、第二方面,本技术一个实施例还提供了一种数据处理装置,所述数据处理装置应用于数据处理系统,所述数据处理系统包括视频采集端、服务器端以及视频播放端:
66、所述数据处理装置包括:
67、结果获取单元,配置于所述服务器端,用于获取视频数据的至少一个视频处理结果,所述视频数据由所述视频采集端采集并发送至所述服务器端,所述至少一个视频处理结果由所述视频采集端对所述视频数据进行处理后得到和/或由所述服务器端对所述视频数据进行处理后得到,所述至少一个视频处理结果采用自定义的描述格式进行记录,所述自定义的描述格式可被所述视频播放端识别;
68、第一结果封装单元,配置于所述服务器端,用于将所述至少一个视频处理结果封装到包含所述视频数据的视频文件中;
69、文件发送单元,配置于所述服务器端,用于将所述视频文件发送至所述视频播放端;
70、结果播放单元,配置于所述视频播放端,用于播放所述视频文件中的视频数据,并基于所述视频文件中的视频处理结果将对应的标记内容叠加在所述视频数据上进行显示,所述标记内容是根据所述视频处理结果得到的结果显示内容。
71、第三方面,本技术一个实施例还提供了一种数据处理系统,包括:视频采集端、服务器端以及视频播放端;
72、所述服务器端,用于获取视频数据的至少一个视频处理结果,所述视频数据由所述视频采集端采集并发送至所述服务器端,所述至少一个视频处理结果由所述视频采集端对所述视频数据进行处理后得到和/或由所述服务器端对所述视频数据进行处理后得到,所述视频处理结果采用自定义的描述格式进行记录,所述自定义的描述格式可被所述视频播放端识别;
73、所述服务器端,还用于将所述至少一个视频处理结果封装到包含所述视频数据的视频文件中,将所述视频文件发送至所述视频播放端;
74、所述视频播放端,用于播放所述视频文件中的视频数据,并基于所述视频文件中的视频处理结果将对应的标记内容叠加在所述视频数据上进行显示,所述标记内容是根据所述视频处理结果得到的结果显示内容。
75、第四方面,本技术一个实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被执行时实现如第一方面所述的数据处理方法。
76、上述提供的数据处理装置、系统以及存储介质的有益效果可参考数据处理方法的有益效果。
1.一种数据处理方法,其特征在于,所述数据处理方法应用于数据处理系统,所述数据处理系统包括视频采集端、服务器端以及视频播放端:
2.根据权利要求1所述的数据处理方法,其特征在于,所述视频处理结果由所述视频采集端生成,
3.根据权利要求2所述的数据处理方法,其特征在于,所述视频采集端根据视频分析算法对采集的视频数据进行处理,得到原始处理结果之后,还包括:
4.根据权利要求1所述的数据处理方法,其特征在于,所述视频处理结果由所述服务器端生成,
5.根据权利要求4所述的数据处理方法,其特征在于,所述服务器端根据视频分析算法对所述视频采集端发送的视频数据进行处理,得到原始处理结果,包括:
6.根据权利要求1所述的数据处理方法,其特征在于,所述视频文件为mp4文件,
7.根据权利要求6所述的数据处理方法,其特征在于,所述视频播放端播放所述视频文件中的视频数据,并基于所述视频文件中的视频处理结果将对应的标记内容叠加在所述视频数据上进行显示,包括:
8.根据权利要求1所述的数据处理方法,其特征在于,所述视频播放端播放所述视频文件中的视频数据,并基于所述视频文件中的视频处理结果将对应的标记内容叠加在所述视频数据上进行显示,包括:
9.根据权利要求8所述的数据处理方法,其特征在于,所述视频播放端播放所述视频文件中的视频数据,并将查找到的视频处理结果对应的标记内容叠加在所述视频数据上进行显示,包括:
10.根据权利要求8所述的数据处理方法,其特征在于,还包括:
11.根据权利要求10所述的数据处理方法,其特征在于,所述视频播放端根据所述结果查询请求对应的视频分析算法对所述视频文件中的视频数据进行处理得到原始处理结果,包括:
12.根据权利要求10或11所述的数据处理方法,其特征在于,所述视频播放端根据所述结果查询请求对应的视频分析算法对所述视频文件中的视频数据进行处理得到原始处理结果之后,还包括:
13.根据权利要求1所述的数据处理方法,其特征在于,所述服务器端获取视频数据的至少一个视频处理结果之后,还包括:
14.一种数据处理装置,其特征在于,所述数据处理装置应用于数据处理系统,所述数据处理系统包括视频采集端、服务器端以及视频播放端:
15.一种数据处理系统,其特征在于,包括:视频采集端、服务器端以及视频播放端;
16.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被执行时实现如权利要求1-13中任一所述的数据处理方法。