本发明涉及视频会议领域,尤其涉及一种智能视频会议系统。
背景技术:
1、传统技术中,在进行网络视频会议的时候,通常都是通过摄像头将主会场中的所有参会人员纳入视频画面中,这会导致当参会人员在发言时,在视频画面中所占的比例较低,导致观看视频画面的人员无法看清楚发言的参会人员的肢体动作。为了解决这个问题,现有技术中出现了利用多个摄像头来拍摄不同角度的会议现场的多个视频画面,当发言人在发言时,由会议管理人员将主画面切换到发言人所在的视频画面的技术,在使用了多个摄像头之后,每个参会人员在视频画面中所占的比例增加。但是,这种切换方式,会议管理人员需要等到参与会议的人员进行发言之后才能够进行切换,切换的及时性不够高,且需要额外设置一个负责切换视频画面的人员,提高了举行网络视频会议的成本。
技术实现思路
1、本发明的目的在于公开一种智能视频会议系统,解决如何降低在网络视频会议的过程中,如何低成本地实现效果较好的视频画面切换,且降低切换不及时的事件的出现概率的问题。
2、为了达到上述目的,本发明提供如下技术方案:
3、本发明提供了一种智能视频会议系统,包括多个摄像头、计算装置、切换控制装置和麦克风装置;
4、麦克风装置包括麦克风开关和收音设备;收音设备用于在麦克风开关处于打开状态时,获取会议的发言人的声音的音频数据;
5、摄像头用于在预设的拍摄角度对会议现场进行拍摄,使得拍摄得到的视频中,每个参会人员在视频的每一帧中的面积占比大于设定的占比阈值;
6、计算装置用于计算视频画面的发言系数,包括:
7、采用固定的时间间隔分别从每个拍摄角度的视频中进行帧的抽取,得到每个拍摄角度的抽取帧;
8、基于抽取帧的获取音频统计周期;
9、分别获取每个拍摄角度的对应的参会人员的音频数据在音频统计周期中的音频数据特征;
10、基于音频数据特征分别计算每个拍摄角度的发言值;
11、对发言值最大的前n个拍摄角度所对应的抽取帧进行计算,得到前n个拍摄角度的发言系数;
12、切换控制装置用于在上一个发言人发言完毕后,将视频会议的输出画面切换至最大的发言系数所对应的拍摄角度的摄像头所拍摄的视频。
13、优选地,还包括推送装置、视频会议服务器和会议观看终端,推送装置用于将输出画面和与输出画面的获取时间相同的音频数据推送至视频会议服务器;
14、视频会议服务器用于将输出画面和与输出画面的获取时间相同的音频数据发送至会议观看终端。
15、优选地,视频会议服务器采用单播或多播的方式将输出画面发送至会议观看终端。
16、优选地,切换控制装置采用如下方式判断上一个发言人是否发言完毕:
17、判断当前处于打开状态的麦克风是否切换为关闭状态,若是,则表示上一个发言人发言完毕。
18、优选地,切换控制装置还用于在将视频会议的输出画面切换至最大的发言系数所对应的拍摄角度的视频之后,获取麦克风开关处于打开状态的麦克风装置所对应的拍摄角度;
19、若最大的发言系数所对应的拍摄角度与麦克风开关处于打开状态的麦克风装置所对应的拍摄角度不同,则将输出画面切换至麦克风开关处于打开状态的麦克风装置所对应的拍摄角度的视频。
20、优选地,基于抽取帧的获取音频统计周期,包括:
21、用tnew表示抽取帧的拍摄时刻,则音频统计周期为[tnew-t,tnew],t表示预设的时长,t大于固定的时间间隔。
22、优选地,音频数据特征包括在音频统计周期中,每个参会人员所对应的的保存时间不同的音频数据的数量以及每份音频数据的时间长度。
23、优选地,基于音频数据特征分别计算每个拍摄角度的发言值,包括:
24、对于拍摄角度θ,将处于摄像头从拍摄角度θ进行拍摄所得到的视频的帧中的所有参会人员保存到集合upeo;
25、基于音频数据特征分别计算upeo中的每个参会人员在音频统计周期中所对应的音频数据的数据特征值;
26、将最大的数据特征值作为拍摄角度θ的发言值。
27、优选地,基于音频数据特征分别计算upeo中的每个参会人员在音频统计周期中所对应的音频数据的数据特征值,包括:
28、对于upeo中的参会人员b,若在音频统计周期中不存在b所对应的音频数据,则将b在音频统计周期中所对应的音频数据的数据特征值表示为0;
29、否则,采用如下函数计算b在音频统计周期中所对应的音频数据的数据特征值:
30、
31、chavalb表示b在音频统计周期中所对应的音频数据的数据特征值,uvoi表示在音频统计周期中,b所对应的的保存时间不同的音频数据的集合;numvoib表示uvoi中的音频数据的数量,voileni表示音频数据i的时间长度;numvoistd表示预设的比较数量;voilenstd表示预设的时间长度;λ表示预设的特征获取系数,λ∈(0.3,0.6)。
32、优选地,对发言值最大的前n个拍摄角度所对应的抽取帧进行计算,得到前n个拍摄角度的发言系数,包括:
33、用fraθ表示拍摄角度θ所对应的抽取帧;
34、对抽取帧进行图像分割,得到抽取帧中的每个参会人员所在的局部区域的子图像;
35、分别计算每个子图像的中的参会人员的发言系数;
36、将所有子图像中,最大的发言系数作为拍摄角度θ的发言系数。
37、基于上述
技术实现要素:
可知,采用本发明的方案举行网路视频会议时,不需要额外地安排一个负责切换输出画面的人员,从而能够有效地降低了举行网络视频会议的成本,从而低成本地实现了输出画面的切换。
38、另外,本发明并不需要等到会议上的发言人进行发言之后才进行输出画面的切换,而是采用固定的时间间隔从而视频中获取抽取帧,基于抽取帧获取音频统计周期,基于音频统计周期中的音频数据特征来获取出存在下一个发言人所在的概率最大的前n个拍摄角度,然后仅需要对前n个拍摄角度的抽取帧进行发言系数的计算,而无需对所有拍摄角度的发言系数进行计算,从而有效地提高了得到最大的发言系数的概率的效率,即得到下一个发言人所在的拍摄角度的效率,使得本发明可以在上一个发言人发言完毕后,马上进行输出画面的切换,而无需得到发言人开始发言之后才进行输出画面的切换,有效地降低了输出画面切换不及时的事件的出现概率,达到了较好的切换效果。
1.一种智能视频会议系统,其特征在于,包括多个摄像头、计算装置、切换控制装置和麦克风装置;
2.根据权利要求1所述的一种智能视频会议系统,其特征在于,还包括推送装置、视频会议服务器和会议观看终端,推送装置用于将输出画面和与输出画面的获取时间相同的音频数据推送至视频会议服务器;
3.根据权利要求2所述的一种智能视频会议系统,其特征在于,视频会议服务器采用单播或多播的方式将输出画面发送至会议观看终端。
4.根据权利要求1所述的一种智能视频会议系统,其特征在于,切换控制装置采用如下方式判断上一个发言人是否发言完毕:
5.根据权利要求4所述的一种智能视频会议系统,其特征在于,切换控制装置还用于在将视频会议的输出画面切换至最大的发言系数所对应的拍摄角度的视频之后,获取麦克风开关处于打开状态的麦克风装置所对应的拍摄角度;
6.根据权利要求1所述的一种智能视频会议系统,其特征在于,基于抽取帧的获取音频统计周期,包括:
7.根据权利要求1所述的一种智能视频会议系统,其特征在于,音频数据特征包括在音频统计周期中,每个参会人员所对应的的保存时间不同的音频数据的数量以及每份音频数据的时间长度。
8.根据权利要求7所述的一种智能视频会议系统,其特征在于,基于音频数据特征分别计算每个拍摄角度的发言值,包括:
9.根据权利要求8所述的一种智能视频会议系统,其特征在于,基于音频数据特征分别计算upeo中的每个参会人员在音频统计周期中所对应的音频数据的数据特征值,包括:
10.根据权利要求1所述的一种智能视频会议系统,其特征在于,对发言值最大的前n个拍摄角度所对应的抽取帧进行计算,得到前n个拍摄角度的发言系数,包括: