网络通话质量检测方法、系统、计算机设备及存储介质与流程

1.本技术涉及互联网技术领域，特别是涉及网络通话质量检测方法、系统、计算机设备和计算机可读存储介质。


背景技术：

2.在线会议又称为网络会议或是远程协同办公，用户利用互联网实现不同地点多个用户的数据共享，通过在线会议来实现在线销售、远程客户支持、it技术支持、远程培训、在线市场活动等多项用途。
3.在线上会议时，经常会遇见通话卡顿的情况，可能由于网络质量问题对方并没有听见，造成了很大的沟通效率问题。如此一来，在通话过程中网络质量问题出现卡顿时需要多次和远端对方确认是否接收到通话内容。
4.现有的一些软件在通话过程中针对卡顿的情况只能提示对方网络质量是否流畅，无法明确获知对方是在说话或对方说是否收听和/或收看到我方的声音和/或画面。


技术实现要素：

5.本技术实施例提供了一种网络通话质量检测方法、系统、计算机设备和计算机可读存储介质，以实时检测网络通话过程中音画同步及通话延迟的问题并提醒用户，提高通话过程中的沟通效率。
6.第一方面，本技术实施例提供了一种网络通话质量检测方法，包括：
7.本地音视频检测序列获取步骤，获取本地网络通话装置采集的本地音视频数据并利用一预训练的多模态网络模型将所述本地音视频数据输出为本地音视频检测序列；
8.远端音视频检测序列获取步骤，远端网络通话装置接收所述本地音视频数据，利用所述多模态网络模型将所述本地音视频数据输出为远端音视频检测序列并回传至所述本地网络通话装置；
9.通话质量检测步骤，对所述本地音视频检测序列和/或所述远端音视频检测序列进行对齐检测得到通话质量检测结果，并将通话质量检测结果对用户进行提示。
10.在其中一些实施例中，所述通话质量检测步骤进一步包括：
11.远端音画同步检测步骤，将所述远端音视频检测序列中的音频序列和视频序列进行对齐检测，从而判断远端网络通话装置接收的音频数据及视频数据是否音画同步；
12.远端通话延迟检测步骤，将所述本地音视频检测序列与所述远端音视频检测序列通过滑动窗口进行对齐检测，从而判断远端网络通话装置接收数据是否延迟。
13.在其中一些实施例中，该方法还包括：
14.通话质量评分步骤，基于所述通话质量检测步骤的通话质量检测结果进行计算，得到通话质量评分。
15.在其中一些实施例中，所述通话质量评分步骤基于如下计算模型进行计算：
16.通话质量评分＝1/(音画同步系数
×
音画同步差距 延迟系数
×
延迟差距)，
17.其中，音画同步系数、延迟系数分别为权重值，音画同步差距为所述远端音视频检测序列中的音频序列和视频序列对齐检测得到的差值，延迟差距为本地音频检测序列与所述远端音视频检测序列对齐检测得到的差值。
18.第二方面，本技术实施例提供了一种网络通话质量检测系统，包括：
19.本地音视频检测序列获取模块，获取本地网络通话装置采集的本地音视频数据并利用一预训练的多模态网络模型将所述本地音视频数据输出为本地音视频检测序列；
20.远端音视频检测序列获取模块，远端网络通话装置接收所述本地音视频数据，利用所述多模态网络模型将所述本地音视频数据输出为远端音视频检测序列并回传至所述本地网络通话装置；
21.通话质量检测模块，对所述本地音视频检测序列和/或所述远端音视频检测序列进行对齐检测得到通话质量检测结果，并将通话质量检测结果对用户进行提示。
22.在其中一些实施例中，所述通话质量检测模块进一步包括：
23.远端音画同步检测模块，将所述远端音视频检测序列中的音频序列和视频序列进行对齐检测，从而判断远端网络通话装置接收的音频数据及视频数据是否音画同步；
24.远端通话延迟检测模块，将所述本地音视频检测序列与所述远端音视频检测序列通过滑动窗口进行对齐检测，从而判断远端网络通话装置接收数据是否延迟。
25.在其中一些实施例中，还包括：
26.通话质量评分模块，基于所述通话质量检测模块的通话质量检测结果进行计算，得到通话质量评分。
27.在其中一些实施例中，所述通话质量评分模块基于如下计算模型进行计算：
28.通话质量评分＝1/(音画同步系数
×
音画同步差距 延迟系数
×
延迟差距)，
29.其中，音画同步系数、延迟系数分别为权重值，音画同步差距为所述远端音视频检测序列中的音频序列和视频序列对齐检测得到的差值，延迟差距为本地音频检测序列与所述远端音视频检测序列对齐检测得到的差值。
30.第三方面，本技术实施例提供了一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如上述第一方面所述的网络通话质量检测方法。
31.第四方面，本技术实施例提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如上述第一方面所述的网络通话质量检测方法。
32.相比于相关技术，本技术实施例提供的网络通话质量检测方法、系统、计算机设备和计算机可读存储介质，具体涉及一种深度学习技术，通过多模态网络模型对本地音视频数据、远端接收到的音视频数据进行序列转换，基于本地音视频检测序列和远端音视频检测序列判断远端音画是否同步、通话是否延迟，从而实时检测通话质量，减少因通话质量造成的沟通低效。另外，本技术还提出一种通话质量评分方案，以便于根据该通话质量评分实现对在线会议进行质量评价、统计通话质量情况等需求。
33.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
34.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
35.图1是根据本技术实施例的网络通话质量检测方法的流程图；
36.图2是根据本技术实施例的网络通话质量检测系统的结构框图；
37.图3是根据本技术实施例的本地音视频检测序列及远端音视频检测序列的示意图。
38.其中：
39.1、本地音视频检测序列获取模块；2、远端音视频检测序列获取模块；
40.3、通话质量检测模块；4、通话质量评分模块；301、远端音画同步检测模块；302、远端通话延迟检测模块。
具体实施方式
41.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行描述和说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。基于本技术提供的实施例，本领域普通技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本技术保护的范围。
42.显而易见地，下面描述中的附图仅仅是本技术的一些示例或实施例，对于本领域的普通技术人员而言，在不付出创造性劳动的前提下，还可以根据这些附图将本技术应用于其他类似情景。此外，还可以理解的是，虽然这种开发过程中所作出的努力可能是复杂并且冗长的，然而对于与本技术公开的内容相关的本领域的普通技术人员而言，在本技术揭露的技术内容的基础上进行的一些设计，制造或者生产等变更只是常规的技术手段，不应当理解为本技术公开的内容不充分。
43.在本技术中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域普通技术人员显式地和隐式地理解的是，本技术所描述的实施例在不冲突的情况下，可以与其它实施例相结合。
44.除非另作定义，本技术所涉及的技术术语或者科学术语应当为本技术所属技术领域内具有一般技能的人士所理解的通常意义。本技术所涉及的“一”、“一个”、“一种”、“该”等类似词语并不表示数量限制，可表示单数或复数。本技术所涉及的术语“包括”、“包含”、“具有”以及它们任何变形，意图在于覆盖不排他的包含；例如包含了一系列步骤或模块(单元)的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可以还包括没有列出的步骤或单元，或可以还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。本技术所涉及的“连接”、“相连”、“耦接”等类似的词语并非限定于物理的或者机械的连接，而是可以包括电气的连接，不管是直接的还是间接的。本技术所涉及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，“a和/或b”可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。本技术所涉及的术语“第一”、“第二”、“第三”等仅仅是区别类似的对
象，不代表针对对象的特定排序。
45.滑动窗口：滑动窗口算法可以用以解决数组/字符串的子元素问题，它可以将嵌套的循环问题，转换为单循环问题，降低时间复杂度。滑动窗口一般从第一个元素开始，一直往右边一个一个元素挪动。
46.多模态网络模型：本实施例的多模态网络模型使用声音视觉对应学习audio
‑
visual correspondence的模型结构，并在融合层并行两个fc层(全连接层，fully connected layers)，声音视觉对应学习audio
‑
visual correspondence的目标是分辨视觉输入和声音输入是否具有对应关系，对vision subnetwork和audio subnetwork两个子模型生成特征进行是/否的判断，训练时音视频的关联模型，使用的时候舍弃fusion layer，只使用fc
‑
v和fc
‑
a的输出序列作为是否在讲话的输出。基于该网络模型，本技术将模型用于进行音视频检测，输出本地音视频、远端音视频是否在讲话的序列。
47.本技术实施例为了解决现有的一些软件在通话过程中针对卡顿的情况只能提示对方网络质量是否流畅，无法明确获知对方是在说话或对方说是否收听和/或收看到我方的声音和/或画面的缺点，提供了一种网络通话质量检测方法、系统、计算机设备及计算机可读存储介质。
48.图1是根据本技术实施例的网络通话质量检测方法的流程图，参考图1所示，本实施例的网络通话质量检测方法包括如下步骤：
49.本地音视频检测序列获取步骤s1，获取本地网络通话装置采集的本地音视频数据并利用一预训练的多模态网络模型将本地音视频数据输出为本地音视频检测序列；
50.远端音视频检测序列获取步骤s2，远端网络通话装置接收本地音视频数据，利用多模态网络模型将本地音视频数据输出为远端音视频检测序列并回传至本地网络通话装置；
51.通话质量检测步骤s3，对本地音视频检测序列和/或远端音视频检测序列进行对齐检测得到通话质量检测结果，并将通话质量检测结果对用户进行提示，具体提示内容包括音画是否同步以及对方是否延迟。由于本实施例采用多模态网络模型将音视频数据转化为序列，提高了步骤s3进行对齐检测的效率，提高了通话质量检测的实时性。
52.在其中一些实施例中，通话质量检测步骤s3进一步包括：
53.远端音画同步检测步骤s301，将远端音视频检测序列中的音频序列和视频序列进行对齐检测，从而判断远端网络通话装置接收的音频数据及视频数据是否音画同步；
54.远端通话延迟检测步骤s302，将本地音视频检测序列与远端音视频检测序列通过滑动窗口进行对齐检测，从而判断远端网络通话装置接收数据是否延迟。
55.图3是根据本技术实施例的本地音视频检测序列及远端音视频检测序列的示意图，参考图3所示，图中远端音视频检测序列的音频序列表示音频是否在说话的序列，视频是否在说话序列表示视频序列，本地音视频检测序列同理。对远端音视频检测序列进行对齐检测，经过检测发现序列没有对齐，从而判断远端网络通话装置接收的音频数据及视频数据音画不同步；另外，参考图3所示，利用滑动窗口对本地音视频检测序列的音频序列与远端音视频检测序列的音频序列进行对齐检测，经过检测发现序列没有对齐，且远端音视频检测序列的音频序列相对本地音视频检测序列的音频序列延时，从而判断远端网络通话装置接收数据存在延时卡顿。
56.通过上述步骤，本实施例实现基于多模态网络模型判断线上会议场景下对方是否能正常收取我方的音视频数据，以及通话的延迟和音画是否同步，基于此，本实施例相较于现有技术可以直观的了解到线上会议时对方收听的具体情况，同时减少因为通话质量造成的低效率问题，有效提高通话效率。
57.在其中一些实施例中，该方法还包括：
58.通话质量评分步骤s4，基于通话质量检测步骤s4的通话质量检测结果进行计算，得到通话质量评分。具体的，通话质量评分步骤s4基于如下计算模型进行计算：
59.通话质量评分＝1/(音画同步系数
×
音画同步差距 延迟系数
×
延迟差距)，
60.其中，音画同步系数、延迟系数分别为权重值，音画同步差距为远端音视频检测序列中的音频序列和视频序列对齐检测得到的差值，延迟差距为本地音频检测序列与远端音视频检测序列对齐检测得到的差值；具体权重值的配置可以是根据实际需求进行灵活调整的，在此不作限定。
61.基于上述步骤，本实施例提供了一种有效的通话质量评分方式，以便于根据该通话质量评分实现对在线会议进行质量评价、统计各时段通话质量情况等需求，为其提供数据基础，也助于根据评分情况对通话内容进行有效强化补充。
62.需要说明的是，在上述流程中或者附图的流程图中示出的步骤可以在诸如一组计算机可执行指令的计算机系统中执行，并且，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。
63.本实施例还提供了一种网络通话质量检测系统，该系统用于实现上述实施例及优选实施方式，已经进行过说明的不再赘述。如以下所使用的，术语“模块”、“单元”、“子单元”等可以实现预定功能的软件和/或硬件的组合。尽管以下实施例所描述的系统较佳地以软件来实现，但是硬件，或者软件和硬件的组合的实现也是可能并被构想的。
64.图2是根据本技术实施例的网络通话质量检测系统的结构框图，参考图2所示，本技术实施例的网络通话质量检测系统，包括如下模块：
65.本地音视频检测序列获取模块1，获取本地网络通话装置采集的本地音视频数据并利用一预训练的多模态网络模型将本地音视频数据输出为本地音视频检测序列；
66.远端音视频检测序列获取模块2，远端网络通话装置接收本地音视频数据，利用多模态网络模型将本地音视频数据输出为远端音视频检测序列并回传至本地网络通话装置；
67.通话质量检测模块3，对本地音视频检测序列和/或远端音视频检测序列进行对齐检测得到通话质量检测结果，并将通话质量检测结果对用户进行提示，具体提示内容包括音画是否同步以及对方是否延迟。具体的，通话质量检测模块3进一步包括：远端音画同步检测模块301，将远端音视频检测序列中的音频序列和视频序列进行对齐检测，从而判断远端网络通话装置接收的音频数据及视频数据是否音画同步；远端通话延迟检测模块302，将本地音视频检测序列与远端音视频检测序列通过滑动窗口进行对齐检测，从而判断远端网络通话装置接收数据是否延迟。由于本实施例采用多模态网络模型将音视频数据转化为序列，提高了进行对齐检测的效率，提高了通话质量检测的实时性。
68.通话质量评分模块4，基于通话质量检测模块3的通话质量检测结果进行计算，得到通话质量评分。具体的，通话质量评分模块4基于如下计算模型进行计算：
69.通话质量评分＝1/(音画同步系数
×
音画同步差距 延迟系数
×
延迟差距)，
70.其中，音画同步系数、延迟系数分别为权重值，音画同步差距为远端音视频检测序列中的音频序列和视频序列对齐检测得到的差值，延迟差距为本地音频检测序列与远端音视频检测序列对齐检测得到的差值；具体权重值的配置可以是根据实际需求进行灵活调整的，在此不作限定。
71.基于上述模块，本实施例实现基于多模态网络模型判断线上会议场景下对方是否能正常收取我方的音视频数据，以及通话的延迟和音画是否同步，基于此，本实施例相较于现有技术可以直观的了解到线上会议时对方收听的具体情况，同时减少因为通话质量造成的低效率问题，有效提高通话效率。另外，还提供了一种有效的通话质量评分方式，以便于根据该通话质量评分实现对在线会议进行质量评价、统计各时段通话质量情况等需求，为其提供数据基础，也助于根据评分情况对通话内容进行有效强化补充。
72.需要说明的是，上述各个模块可以是功能模块也可以是程序模块，既可以通过软件来实现，也可以通过硬件来实现。对于通过硬件来实现的模块而言，上述各个模块可以位于同一处理器中；或者上述各个模块还可以按照任意组合的形式分别位于不同的处理器中。
73.另外，结合图1描述的本技术实施例网络通话质量检测方法可以由计算机设备来实现。计算机设备可以包括处理器以及存储有计算机程序指令的存储器。
74.具体地，上述处理器可以包括中央处理器(cpu)，或者特定集成电路(application specific integrated circuit，简称为asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
75.其中，存储器可以包括用于数据或指令的大容量存储器。举例来说而非限制，存储器可包括硬盘驱动器(hard disk drive，简称为hdd)、软盘驱动器、固态驱动器(solid state drive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universal serial bus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器可在数据处理装置的内部或外部。在特定实施例中，存储器是非易失性(non
‑
volatile)存储器。在特定实施例中，存储器包括只读存储器(read
‑
only memory，简称为rom)和随机存取存储器(random access memory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmableread
‑
only memory，简称为prom)、可擦除prom(erasable programmable read
‑
only memory，简称为eprom)、电可擦除prom(electrically erasable programmable read
‑
only memory，简称为eeprom)、电可改写rom(electrically alterable read
‑
only memory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(static random
‑
access memory，简称为sram)或动态随机存取存储器(dynamic random access memory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器(fast page mode dynamic random access memory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extended date out dynamic random access memory，简称为edodram)、同步动态随机存取内存(synchronous dynamic random
‑
access memory，简称sdram)等。
76.存储器可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器所执行的可能的计算机程序指令。
77.处理器通过读取并执行存储器中存储的计算机程序指令，以实现上述实施例中的任意一种网络通话质量检测方法。
78.在其中一些实施例中，计算机设备还可包括通信接口和总线。其中，处理器、存储器、通信接口通过总线连接并完成相互间的通信。
79.通信接口用于实现本技术实施例中各模块、装置、单元和/或设备之间的通信。通信端口还可以实现与其他部件例如：外接设备、图像/数据采集设备、数据库、外部存储以及图像/数据处理工作站等之间进行数据通信。
80.总线包括硬件、软件或两者，将计算机设备的部件彼此耦接在一起。总线包括但不限于以下至少之一：数据总线(data bus)、地址总线(address bus)、控制总线(control bus)、扩展总线(expansion bus)、局部总线(local bus)。举例来说而非限制，总线可包括图形加速接口(accelerated graphics port，简称为agp)或其他图形总线、增强工业标准架构(extended industry standard architecture，简称为eisa)总线、前端总线(front side bus，简称为fsb)、超传输(hyper transport，简称为ht)互连、工业标准架构(industry standard architecture，简称为isa)总线、无线带宽(infiniband)互连、低引脚数(low pin count，简称为lpc)总线、存储器总线、微信道架构(micro channel architecture，简称为mca)总线、外围组件互连(peripheral component interconnect，简称为pci)总线、pci
‑
express(pci
‑
x)总线、串行高级技术附件(serial advanced technology attachment，简称为sata)总线、视频电子标准协会局部(video electronics standards association local bus，简称为vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下，总线可包括一个或多个总线。尽管本技术实施例描述和示出了特定的总线，但本技术考虑任何合适的总线或互连。
81.该计算机设备可以基于获取到的音视频数据，执行本技术实施例中的网络通话质量检测方法，从而实现结合图1描述的网络通话质量检测方法。
82.另外，结合上述实施例中的网络通话质量检测方法，本技术实施例可提供一种计算机可读存储介质来实现。该计算机可读存储介质上存储有计算机程序指令；该计算机程序指令被处理器执行时实现上述实施例中的任意一种网络通话质量检测方法。
83.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
84.以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。