训练频谱合成模型和合成音频的方法、终端及存储介质与流程

1.本技术涉及互联网技术领域，特别涉及一种训练频谱合成模型和合成音频的方法、终端及存储介质。


背景技术：

2.随着科学技术的发展，有声小说、有声资讯变的越来越普遍，这使得基于文本自动合成音频的需求越来越迫切。
3.相关技术中根据文本生成合成音频的方案为：对目标文本进行特征提取，获取该目标文本对应的目标文本特征信息。将目标文本特征信息输入预先训练的频谱合成模型，得到目标文本对应的目标频谱数据。将目标文本对应的目标频谱数据输入声码器，得到目标文本对应的合成音频。其中，文本特征信息包括音素特征信息、分词特征信息以及韵律特征信息。
4.由于上述合成音频仅仅是基于目标文本特征信息生成的，发音比较生硬机械。


技术实现要素：

5.本技术实施例提供了一种训练频谱合成模型和合成音频的方法、终端及存储介质，由于本技术充分考虑到说话者的说话意图对发音的影响，使得合成音频的发音更加的自然，提高了合成音频的质量。该技术方案如下：
6.第一方面，本技术实施例提供了一种训练频谱合成模型的方法，所述方法包括：
7.将训练样本输入初始频谱合成模型，所述训练样本包括文本样本、对应的语音样本及标准意图向量；
8.提取所述文本样本对应的样本文本特征信息、所述语音样本对应的标准频谱数据与所述语音样本对应的预测意图向量；
9.根据所述样本文本特征信息和所述预测意图向量，确定所述文本样本对应的预测频谱数据；
10.根据所述预测频谱数据和所述标准频谱数据，确定第一损失值；
11.根据所述预测意图向量和所述标准意图向量，确定第二损失值；
12.根据所述第一损失值和所述第二损失值，对所述初始频谱合成模型进行调参；
13.若满足预设的训练结束条件，则将调参后的初始频谱合成模型确定为训练完成的频谱合成模型；
14.若不满足预设的训练结束条件，则根据其他训练样本，继续对调参后的初始频谱合成模型进行调参。
15.可选的，所述频谱合成模型包括文本编码器、语音编码器以及第一自注意学习模块；
16.所述频谱合成模型包括文本编码器、语音编码器以及第一自注意学习模块；
17.所述提取所述文本样本对应的样本文本特征信息、所述语音样本对应的标准频谱
数据与所述语音样本对应的预测意图向量，包括：
18.将所述文本样本输入文本编码器，得到所述文本样本对应的样本文本特征信息；
19.提取所述语音样本的频谱数据，作为标准频谱数据；
20.将所述语音样本对应的标准频谱数据输入语音编码器，得到语音向量；
21.将所述语音向量输入第一自注意学习模块，得到所述语音样本的预测意图向量，其中，所述预测意图向量是由每个意图分类对应的可能性值按照预先设置的顺序排列而成的。
22.可选的，所述频谱合成模型包括每个意图分类对应的意图特征信息和频谱合成模块；
23.所述根据所述样本文本特征信息和所述预测意图向量，确定所述文本样本对应的预测频谱数据，包括：
24.将所述预测意图向量中的每个意图分类的可能性值分别与预先存储的每个意图分类对应的意图特征信息相乘，并将相乘结果合并，得到所述语音样本对应的样本意图特征信息；
25.将所述样本文本特征信息和所述样本意图特征信息输入频谱合成模块，得到所述文本样本对应的预测频谱数据。
26.可选的，所述根据所述第一损失值和所述第二损失值，对所述初始频谱合成模型进行调参，包括：
27.根据所述第一损失值、所述第一损失值对应的第一权重、所述第二损失值以及所述第二损失值对应的第二权重，确定综合损失值；
28.根据所述综合损失值，对所述初始频谱合成模型进行调参。
29.可选的，所述根据所述预测意图向量和所述标准意图向量，确定第二损失值，包括：
30.确定所述预测意图向量和所述标准意图向量的交叉熵，将所述交叉熵作为所述第二损失值。
31.第二方面，本技术实施例提供了一种合成音频的方法，所述方法包括：
32.将所述目标文本输入训练完成的自然语言处理模型，得到目标意图分类；
33.确定所述目标意图分类对应的目标意图向量；
34.将所述目标文本和所述目标意图向量输入训练完成的频谱合成模型，根据所述目标文本和所述目标意图向量，确定所述目标文本对应的目标频谱数据；
35.将所述目标文本对应的目标频谱数据输入声码器，得到所述目标文本对应的目标语音。
36.可选的，当所述频谱合成模型包括文本编码器、每个意图分类对应的意图特征信息和频谱合成模块时，所述根据所述目标文本和所述目标意图向量，确定所述目标文本对应的目标频谱数据，包括：
37.将所述目标文本输入所述文本编码器，得到所述目标文本对应的目标文本特征信息；
38.将所述目标意图向量中的每个意图分类的可能性值分别与预先存储的每个意图分类对应的意图特征信息相乘，并将相乘结果合并，得到所述目标文本对应的目标意图特
征信息；
39.将所述目标文本特征信息和所述目标意图特征信息输入频谱合成模块，得到所述目标文本对应的目标频谱数据。
40.可选的，所述确定所述目标意图分类对应的目标意图向量，包括：
41.将所述目标意图分类对应的可能性值设置为1，将其他意图分类对应的可能性值设置为0，并使每个意图分类对应的可能性值按照预先设置的顺序进行排序，得到所述目标意图分类对应的目标意图向量。
42.第三方面，本技术实施例提供了一种训练频谱合成模型的装置，所述装置包括：
43.输入模块，被配置为将训练样本输入初始频谱合成模型，所述训练样本包括文本样本、对应的语音样本及标准意图向量；
44.提取模块，被配置为提取所述文本样本对应的样本文本特征信息、所述语音样本对应的标准频谱数据与所述语音样本对应的预测意图向量；
45.第一确定模块，被配置为根据所述样本文本特征信息和所述预测意图向量，确定所述文本样本对应的预测频谱数据；
46.第二确定模块，被配置为根据所述预测频谱数据和所述标准频谱数据，确定第一损失值；
47.第三确定模块，被配置为根据所述预测意图向量和所述标准意图向量，确定第二损失值；
48.调参模块，被配置为根据所述第一损失值和所述第二损失值，对所述初始频谱合成模型进行调参；
49.第一判断模块，被配置为若满足预设的训练结束条件，则将调参后的初始频谱合成模型确定为训练完成的频谱合成模型；
50.第二判断模块，被配置为若不满足预设的训练结束条件，则根据其他训练样本，继续对调参后的初始频谱合成模型进行调参。
51.可选的，所述频谱合成模型包括文本编码器、语音编码器以及第一自注意学习模块；
52.所述提取模块，被配置为：
53.将所述文本样本输入文本编码器，得到所述文本样本对应的样本文本特征信息；
54.提取所述语音样本的频谱数据，作为标准频谱数据；
55.将所述语音样本对应的标准频谱数据输入语音编码器，得到语音向量；
56.将所述语音向量输入第一自注意学习模块，得到所述语音样本的预测意图向量，其中，所述预测意图向量是由每个意图分类对应的可能性值按照预先设置的顺序排列而成的。
57.可选的，所述频谱合成模型包括每个意图分类对应的意图特征信息和频谱合成模块；
58.所述第一确定模块，被配置为：
59.将所述预测意图向量中的每个意图分类的可能性值分别与预先存储的每个意图分类对应的意图特征信息相乘，并将相乘结果合并，得到所述语音样本对应的样本意图特征信息；
60.将所述样本文本特征信息和所述样本意图特征信息输入频谱合成模块，得到所述文本样本对应的预测频谱数据。
61.可选的，所述调参模块，被配置为：
62.根据所述第一损失值、所述第一损失值对应的第一权重、所述第二损失值以及所述第二损失值对应的第二权重，确定综合损失值；
63.根据所述综合损失值，对所述初始频谱合成模型进行调参。
64.可选的，所述第三确定模块，被配置为：
65.确定所述预测意图向量和所述标准意图向量的交叉熵，将所述交叉熵作为所述第二损失值。
66.第四方面，本技术实施例提供了一种合成音频的装置，所述装置包括：
67.第一输入模块，被配置为将所述目标文本输入训练完成的自然语言处理模型，得到目标意图分类；
68.确定模块，被配置为确定所述目标意图分类对应的目标意图向量；
69.第二输入模块，被配置为将所述目标文本和所述目标意图向量输入训练完成的频谱合成模型，根据所述目标文本和所述目标意图向量，确定所述目标文本对应的目标频谱数据；
70.第三输入模块，被配置为将所述目标文本对应的目标频谱数据输入声码器，得到所述目标文本对应的目标语音。
71.可选的，当所述频谱合成模型包括文本编码器、每个意图分类对应的意图特征信息和频谱合成模块时，所述第二输入模块，被配置为：
72.将所述目标文本输入所述文本编码器，得到所述目标文本对应的目标文本特征信息；
73.将所述目标意图向量中的每个意图分类的可能性值分别与预先存储的每个意图分类对应的意图特征信息相乘，并将相乘结果合并，得到所述目标文本对应的目标意图特征信息；
74.将所述目标文本特征信息和所述目标意图特征信息输入频谱合成模块，得到所述目标文本对应的目标频谱数据。
75.可选的，所述确定模块，被配置为：
76.将所述目标意图分类对应的可能性值设置为1，将其他意图分类对应的可能性值设置为0，并使每个意图分类对应的可能性值按照预先设置的顺序进行排序，得到所述目标意图分类对应的目标意图向量。
77.一方面，提供了一种终端，该终端包括处理器和存储器，该存储器中存储有至少一条程序代码，该至少一条程序代码由该处理器加载并执行以实现上述方法。
78.一方面，提供了一种计算机可读存储介质，该计算机可读存储介质中存储有至少一条程序代码，该至少一条程序代码由处理器加载并执行以实现上述方法。
79.一方面，提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机程序代码，该计算机程序代码存储在计算机可读存储介质中，计算机设备的处理器从计算机可读存储介质读取该计算机程序代码，处理器执行该计算机程序代码，使得该计算机设备执行上述方法。
80.在本技术实施例中，将文本样本、对应的语音样本及标准意图向量输入初始频谱合成模型，使得初始频谱合成模型提取文本样本对应的样本文本特征信息、语音样本对应的标准频谱数据与语音样本对应的预测意图向量，再根据样本文本特征信息和预测意图向量，确定文本样本对应的预测频谱数据，最后，根据预测频谱数据和标准频谱数据，以及预测意图向量和标准意图向量，共同对初始频谱合成模型进行调参。根据上述训练方法获取到的频谱合成模型可以根据意图特征信息和文本特征信息来生成频谱数据，进而声码器根据该频谱数据生成的语音，相比于现有技术中的只是根据目标文本特征信息来生成的语音，该语音的发音更加的自然，语音质量更高。
附图说明
81.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
82.图1是本技术实施例提供的一种实施环境的示意图；
83.图2是本技术实施例提供的一种训练频谱合成模型的方法的流程图；
84.图3是本技术实施例提供的一种训练频谱合成模型的方法的示意图；
85.图4是本技术实施例提供的一种合成音频的方法的流程图；
86.图5是本技术实施例提供的一种合成音频的方法的示意图；
87.图6是本技术实施例提供的一种训练频谱合成模型的装置的结构示意图；
88.图7是本技术实施例提供的一种合成音频的装置的结构示意图；
89.图8是本技术实施例提供的一种终端的结构示意图；
90.图9是本技术实施例提供的一种服务器的结构示意图。
具体实施方式
91.为使本技术的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
92.图1是本技术实施例提供的一种实施环境的示意图。如图1所示，该方法可以由终端101或服务器102实现。
93.终端101可以包括处理器、存储器等部件。处理器，可以为cpu(central processing unit，中央处理单元)等，可以用于将训练样本输入初始频谱合成模型、提取文本样本对应的样本文本特征信息、语音样本对应的标准频谱数据与语音样本对应的预测意图向量、根据样本文本特征信息和预测意图向量，确定文本样本对应的预测频谱数据、根据预测频谱数据和标准频谱数据来确定第一损失值、根据预测意图向量和标准意图向量来确定第二损失值、根据第一损失值和第二损失值，对初始频谱合成模型进行调参、若满足预设的训练结束条件，则将调参后的初始频谱合成模型确定为训练完成的频谱合成模型、若不满足预设的训练结束条件，则根据其他训练样本，继续对调参后的初始频谱合成模型进行调参等处理。存储器，可以为ram(random access memory，随机存取存储器)，flash(闪存)等，可以用于存储训练样本等。终端101还可以包括收发器、图像检测部件、屏幕、音频输出
部件和音频输入部件等。其中，音频输出部件可以是音箱、耳机等。音频输入部件可以是麦克风等。
94.服务器102可以包括处理器、存储器等部件。处理器，可以为cpu(central processing unit，中央处理单元)等，可以用于将训练样本输入初始频谱合成模型、提取文本样本对应的样本文本特征信息、语音样本对应的标准频谱数据与语音样本对应的预测意图向量、根据样本文本特征信息和预测意图向量，确定文本样本对应的预测频谱数据、根据预测频谱数据和标准频谱数据，确定第一损失值、根据预测意图向量和标准意图向量，确定第二损失值、根据第一损失值和第二损失值，对初始频谱合成模型进行调参、若满足预设的训练结束条件，则将调参后的初始频谱合成模型确定为训练完成的频谱合成模型、若不满足预设的训练结束条件，则根据其他训练样本，继续对调参后的初始频谱合成模型进行调参等处理。存储器，可以为ram(random access memory，随机存取存储器)，flash(闪存)等，可以用于存储训练样本等。
95.图2是本技术实施例提供的一种训练频谱合成模型的方法的流程图，本技术实施例由电子设备执行，该电子设备可以为服务器或者终端。参见图2，该实施例包括：
96.步骤201、将训练样本输入初始频谱合成模型。
97.其中，训练集中包括多个训练样本，每个训练样本包括文本样本、对应的语音样本及标准意图向量。标准意图向量为标准意图分类对应的向量。标准意图分类为技术人员根据经验对语音样本所做的分类。本技术实施例中的意图分类包括：通知类意图、疑问类意图、建议类意图以及接受、拒绝和命令类的意图。
98.本技术实施例根据标准意图分类获取标准意图向量的步骤为：将标准意图分类的可能性值设置为1，将除标准意图分类之外的其他意图分类的可能性值设置为0，进而得到每个意图分类的可能性值。将每个意图分类的可能性值按照预先设置的顺序进行排列，得到标准意图向量。
99.例如，如果某语音样本对应的标准意图分类为通知类意图，则将该通知类意图的可能性值设置为1，将除通知类意图之外的其他意图分类的可能性值设置为0。如果预先设置的顺序为通知类意图、疑问类意图、建议类意图以及接受、拒绝和命令类的意图，则将每个意图分类的可能性值按照预先设置的顺序进行排序后，得到的标准意图向量为[1,0,0,0]。
[0100]
步骤202、提取文本样本对应的样本文本特征信息、语音样本对应的标准频谱数据与语音样本对应的预测意图向量。
[0101]
其中，样本文本特征信息由样本音素特征信息、样本分词特征信息和样本韵律特征信息组成。样本音素特征信息、样本分词特征信息以及样本韵律特征信息以及样本音频特征信息均以向量或者矩阵的形式存在。频谱数据可以为梅尔频谱，获取梅尔频谱的方法可以为现有技术中获取梅尔频谱的方法，此处不再赘述。
[0102]
可选的，如图3所示，本技术实施例中的频谱合成模型包括文本编码器、语音编码器以及第一自注意学习模块。得到文本样本对应的样本文本特征信息、语音样本对应的标准频谱数据与语音样本对应的预测意图向量的步骤包括：将文本样本输入文本编码器，得到文本样本对应的样本文本特征信息。提取语音样本的频谱数据，作为标准频谱数据。将语音样本对应的标准频谱数据输入语音编码器，得到语音向量。将语音向量输入第一自注意
学习模块，得到语音样本的预测意图向量，其中，预测意图向量是由每个意图分类对应的可能性值按照预先设置的顺序排列而成的。
[0103]
本技术实施例中的文本编码器包括音素转换模块、分词模块和子编码器。其中，子编码器为神经网络模块，音素转换模块和分词模块既可以是神经网络模块，也可以是非神经网络模块。本技术实施例以音素转换模块和分词模块为非神经网络模块为例，将文本样本输入文本编码器来得到文本样本对应的样本文本特征信息的具体步骤为：将该文本样本输入音素转换模块，得到该文本样本对应的样本音素序列，其中，音素转换模块中存储有字与音素之间的对应关系。将文本样本输入分词模块，根据分词模块中存储的样本分词结果，对文本样本进行划分，得到至少一个样本分词结果。对每个样本分词结果进行分析，确定每个样本分词结果的停顿时长。将停顿时长按照样本分词结果在文本样本中的顺序进行排序，得到样本韵律序列。在得到样本音素序列、样本分词结果以及样本韵律序列之后，使用子编码器分别对该样本音素序列、样本分词结果以及样本韵律序列进行编码，得到样本音素特征信息、样本分词特征信息以及样本韵律特征信息。将样本音素特征信息、样本分词特征信息以及样本韵律特征信息按照预先设置的顺序进行拼接，得到样本文本特征信息。
[0104]
如果音素转换模块和分词模块均为神经网络模块，则需要单独训练音素转换模块和分词模块，并使用训练完成的音素转换模块和训练完成的分词模块应用至上述过程中。训练音素转换模块和分词模块的方法如现有技术所述，本技术不在赘述。
[0105]
需要说明的是，如果样本音素特征信息、样本分词特征信息以及样本韵律特征信息分别对应的位数相同，还可以将样本音素特征信息、样本分词特征信息以及样本韵律特征信息进行对位相加，得到样本文本特征信息。
[0106]
除了上述得到样本音素特征信息、样本分词特征信息以及样本韵律特征信息的方法外，还可以根据现有技术中的其他方法得到样本音素特征信息、样本分词特征信息以及样本韵律特征信息，具体步骤不再赘述。
[0107]
在得到的语音样本的预测意图向量的过程中，使用的语音编码器和第一自注意学习模块均为神经网络模型。语音编码器的作用为对语音样本对应的标准频谱数据进行编码，得到语音向量。第一自注意学习模块的作用为对语音向量进行自注意学习，得到该语音向量在每个意图分类下的可能性值，进而将各意图分类对应的可能性值按照预先设置的顺序排列，得到预测意图向量。
[0108]
需要说明的是，预测意图向量中每个意图分类的可能性值的取值范围为[0,1]，例如，[0.2，0.8,0,0]。而标准意图向量中每个意图分类的可能性值为1或0。
[0109]
步骤203、根据样本文本特征信息和预测意图向量，确定文本样本对应的预测频谱数据。
[0110]
可选的，频谱合成模型还包括每个意图分类对应的意图特征信息和频谱合成模块。根据样本文本特征信息和预测意图向量来确定文本样本对应的预测频谱数据的具体步骤为：将预测意图向量中的每个意图分类的可能性值分别与预先存储的每个意图分类对应的意图特征信息相乘，并将相乘结果合并，得到语音样本对应的样本意图特征信息。将样本文本特征信息和样本意图特征信息输入频谱合成模块，得到文本样本对应的预测频谱数据。
[0111]
其中，频谱合成模块为神经网络模块，该模块用于根据样本文本特征信息和样本
意图特征信息，预测出文本样本对应的预测频谱数据。
[0112]
在实施中，将每个意图分类的可能性值分别与预先存储的每个意图分类对应的意图特征信息相乘，并将相乘结果进行拼接，得到语音样本对应的样本意图特征信息。或者，将相乘结果进行对位相加，得到语音样本对应的样本意图特征信息。将样本文本特征信息和样本意图特征信息输入频谱合成模块，得到文本样本对应的预测频谱数据。
[0113]
需要说明的是，在第一次训练过程中，即初始频谱合成模型中预先存储的每个意图分类对应的意图特征信息是技术人员预先设置的，而在之后的训练过程中，即频谱合成模型中预先存储的每个意图分类对应的意图特征信息是在上次训练过程中训练调整后的意图特征信息。
[0114]
进一步的，频谱合成模块包括合并模块、第二自注意学习模块和解码器。合并模块为算法模块，用于将两个特征信息合并成一个特征信息，即将两个向量合并为一个向量。第二自注意学习模块为机器学习模块，用于对特征信息进行自注意学习，得到经过自注意学习之后的特征信息。解码器为机器学习模块，用于对特征信息进行解码处理，得到预测频谱数据。
[0115]
在实施中，将样本文本特征信息和样本意图特征信息输入频谱合成模块中的合并模块，得到合并后的第一样本特征信息。将合并后的第一样本特征信息输入第二自注意学习模块，得到第二样本特征信息。将第二样本特征信息输入解码器，得到样本文本对应的预测频谱数据。
[0116]
步骤204、根据预测频谱数据和标准频谱数据，确定第一损失值。
[0117]
在实施中，将预测频谱数据和标准频谱数据输入第一损失函数，得到第一损失值。
[0118]
步骤205、根据预测意图向量和标准意图向量，确定第二损失值。
[0119]
可选的，通过第二损失函数，确定预测意图向量和标准意图向量的交叉熵，将交叉熵作为第二损失值。其中，第二损失函数为交叉熵函数。
[0120]
步骤206、根据第一损失值和第二损失值，对初始频谱合成模型进行调参。
[0121]
可选的，根据第一损失值、第一损失值对应的第一权重、第二损失值以及第二损失值对应的第二权重，确定综合损失值。根据综合损失值，对初始频谱合成模型进行调参。
[0122]
其中，第一权重和第二权重为技术人员预先设置的数值。
[0123]
在实施中，将第一损失值与第一权重进行相乘，得到加权后的第一损失值。将第二损失值与第二权重进行相乘，得到加权后的第二损失值。将加权后的第一损失值和加权后的第二损失值进行相加，得到综合损失值。根据综合损失值，对初始频谱合成模型进行调参。
[0124]
或者，直接将第一损失值和第二损失值进行相加，得到综合损失值。根据综合损失值，对初始频谱合成模型进行调参。
[0125]
需要说明的是，在对初始频谱合成模型进行调参时，对初始频谱模型中的待调整的模块和待调整的参数进行调整。其中，待调节的模块包括文本编码器中的子编码器、语音编码器、第一自注意学习模块以及频谱合成模块中的第二自注意学习模块和解码器。待调节的参数为每个意图分类对应的意图特征信息。
[0126]
步骤207、若满足预设的训练结束条件，则将调参后的初始频谱合成模型确定为训练完成的频谱合成模型。
[0127]
其中，预设的训练结束条件可以是综合损失值小于预设数值，也可以是调参后的初始频谱合成模型中的各个参数收敛。
[0128]
步骤208、若不满足预设的训练结束条件，则根据其他训练样本，继续对调参后的初始频谱合成模型进行调参。
[0129]
在本技术实施例中，将文本样本、对应的语音样本及标准意图向量输入初始频谱合成模型，使得初始频谱合成模型提取文本样本对应的样本文本特征信息、语音样本对应的标准频谱数据与语音样本对应的预测意图向量，再根据样本文本特征信息和预测意图向量，确定文本样本对应的预测频谱数据，最后，根据预测频谱数据和标准频谱数据，以及预测意图向量和标准意图向量，共同对初始频谱合成模型进行调参。根据上述训练方法获取到的频谱合成模型可以根据意图特征信息和文本特征信息来生成频谱数据，进而声码器根据该频谱数据生成的语音，相比于现有技术中的只是根据目标文本特征信息来生成的语音，该语音的发音更加的自然，语音质量更高。
[0130]
图4是本技术实施例提供的一种合成音频的流程图。参见图4，该实施例包括：
[0131]
步骤401、将目标文本输入训练完成的自然语言处理模型，得到目标意图分类。
[0132]
其中，目标文本为待合成音频对应的文本。该文本可以为有声小说中的一段文字，也可以为有声资讯中的一段文字。在本技术实施例中，自然语言处理模型为神经网络模型，用于将目标文本输入训练完成的自然语言处理模型，得到目标文本对应的目标意图分类。
[0133]
本技术中的自然语言处理模型的训练方法是独立与实施例1中的训练方法。即实际使用过程中的自然语言处理模型是单独训练出来的。其中，训练自然语言处理模型的具体过程为：获取文本样本以及文本样本对应的样本意图分类，并将样本意图分类作为标准意图分类。将文本样本输入自然语言处理模型，得到预测意图分类。将标准意图分类和预测意图分类输入第三损失函数，得到第三损失值。如果该第三损失值大于预设数值，则根据第三损失值，对自然语言处理模型进行调参，得到调参后的自然语言处理模型。使用其他样本文本和对应样本意图分类继续对上次调参后的自然语言处理模型进行调参，直至第三损失信息小于预设数值，得到训练完成的自然语言处理模型。
[0134]
当然，也可以通过现有技术中获取文本的意图分类的方法来获取到目标文本对应的目标意图分类。
[0135]
步骤402、确定目标意图分类对应的目标意图向量。
[0136]
可选的，将目标意图分类对应的可能性值设置为1，将其他意图分类对应的可能性值设置为0，并使每个意图分类对应的可能性值按照预先设置的顺序进行排序，得到目标意图分类对应的目标意图向量。
[0137]
需要说明的是，本技术实施例中的预先设置的顺序和实施例1中涉及到预先设置集的顺序相同。
[0138]
步骤403、将目标文本和目标意图向量输入训练完成的频谱合成模型，根据目标文本和目标意图向量，确定目标文本对应的目标频谱数据。
[0139]
在实施中，如图4所示，将目标文本和目标意图向量输入训练完成的频谱合成模型中，使得训练完成的频谱合成模型可以根据目标文本和目标意图向量，确定目标文本对应的目标频谱数据。
[0140]
可选的，当频谱合成模型包括文本编码器、每个意图分类对应的意图特征信息和
频谱合成模块时，根据目标文本和目标意图向量，确定到目标文本对应的目标频谱数据，包括：将目标文本输入文本编码器，得到目标文本对应的目标文本特征信息。将目标意图向量中的每个意图分类的可能性值分别与预先存储的每个意图分类对应的意图特征信息相乘，并将相乘结果合并，得到目标文本对应的目标意图特征信息。将目标文本特征信息和目标意图特征信息输入频谱合成模块，得到目标文本对应的目标频谱数据。
[0141]
如实施例1所述的方法，本技术实施例中的文本编码器包括音素转换模块、分词模块和子编码器。将目标文本输入文本编码器，得到目标文本对应的目标文本特征信息的具体步骤为：将该目标文本输入音素转换模块，得到该目标文本对应的目标音素序列，其中，音素转换模块中存储有字与音素之间的对应关系。将目标文本输入分词模块，根据分词模块中存储的目标分词结果，对目标文本进行划分，得到至少一个目标分词结果。对每个目标分词结果进行分析，确定每个目标分词结果的停顿时长。将停顿时长按照目标分词结果在目标文本中的顺序进行排序，得到目标韵律序列。在得到目标音素序列、目标分词结果以及目标韵律序列之后，使用子编码器分别对该目标音素序列、目标分词结果以及目标韵律序列进行编码，得到目标音素特征信息、目标分词特征信息以及目标韵律特征信息。将目标音素特征信息、目标分词特征信息以及目标韵律特征信息按照预先设置的顺序进行拼接，得到目标文本特征信息。
[0142]
预先存储的每个意图分类对应的意图特征信息可以是在频谱合成模型训练完成后得到的每个意图分类对应的意图特征信息，也可以是根据训练完成的频谱合成模型，确定目标意图分类对应的目标意图特征信息，具体步骤为：根据训练完成的频谱合成模型，重新确定样本训练集中每个训练样本对应的第一意图特征信息。根据每个训练样本对应的标准意图分类和第一意图特征信息，确定每个意图分类对应的多个第一意图特征信息。对于每个意图分类，对意图分类对应的多个第一意图特征信息进行平均处理，得到该意图分类对应的第二意图特征信息，进而得到预先存储的每个意图分类对应的意图特征信息。
[0143]
如实施例1所述的频谱合成模块，该频谱合成模块包括频谱合成模块包括合并模块、第二自注意学习模块和解码器。将目标文本特征信息和目标意图特征信息输入频谱合成模块，得到目标文本对应的目标频谱数据，包括：将目标文本特征信息和目标意图特征信息输入频谱合成模块中的合并模块，得到合并后的第一目标特征信息。将合并后的第一目标特征信息输入第二自注意学习模块，得到第二目标特征信息。将第二目标特征信息输入解码器，得到目标文本对应的预测频谱数据。
[0144]
步骤404、将目标文本对应的目标频谱数据输入声码器，得到目标文本对应的目标语音。
[0145]
其中，声码器用于将频谱数据生成合成音频。声码器可以为机器学习模型，也可以为非机器学习模型。例如声码器可以为wavernn声码器，wavenet声码器，melgan声码器，hifigan声码器，lpcnet声码器等。
[0146]
在实施中，如图5所示，将目标文本对应的目标频谱数据输入声码器，得到目标文本对应的目标语音。
[0147]
如果声码器为机器学习模型，则需要单独的训练声码器。训练声码器的方法可以为：获取语音样本和语音样本的频谱数据，并将语音样本作为基准音频。将频谱数据输入声码器，得到预测语音。将语音样本和预测语音输入第四损失函数，得到第四损失值。当第四
损失值不满足预设条件时，对声码器进行训练调整。使用其他语音样本对声码器进行训练调整，直至第四损失值满足预设条件，得到训练完成的声码器。
[0148]
图6是本技术实施例提供的一种训练频谱合成模型的装置的结构示意图，参见图6，该装置包括：
[0149]
输入模块610，被配置为将训练样本输入初始频谱合成模型，所述训练样本包括文本样本、对应的语音样本及标准意图向量；
[0150]
提取模块620，被配置为提取所述文本样本对应的样本文本特征信息、所述语音样本对应的标准频谱数据与所述语音样本对应的预测意图向量；
[0151]
第一确定模块630，被配置为根据所述样本文本特征信息和所述预测意图向量，确定所述文本样本对应的预测频谱数据；
[0152]
第二确定模块640，被配置为根据所述预测频谱数据和所述标准频谱数据，确定第一损失值；
[0153]
第三确定模块650，被配置为根据所述预测意图向量和所述标准意图向量，确定第二损失值；
[0154]
调参模块660，被配置为根据所述第一损失值和所述第二损失值，对所述初始频谱合成模型进行调参；
[0155]
第一判断模块670，被配置为若满足预设的训练结束条件，则将调参后的初始频谱合成模型确定为训练完成的频谱合成模型；
[0156]
第二判断模块680，被配置为若不满足预设的训练结束条件，则根据其他训练样本，继续对调参后的初始频谱合成模型进行调参。
[0157]
可选的，所述频谱合成模型包括文本编码器、语音编码器以及第一自注意学习模块；
[0158]
所述提取模块620，被配置为：
[0159]
将所述文本样本输入文本编码器，得到所述文本样本对应的样本文本特征信息；
[0160]
提取所述语音样本的频谱数据，作为标准频谱数据；
[0161]
将所述语音样本对应的标准频谱数据输入语音编码器，得到语音向量；
[0162]
将所述语音向量输入第一自注意学习模块，得到所述语音样本的预测意图向量，其中，所述预测意图向量是由每个意图分类对应的可能性值按照预先设置的顺序排列而成的。
[0163]
可选的，所述频谱合成模型包括每个意图分类对应的意图特征信息和频谱合成模块；
[0164]
所述第一确定模块630，被配置为：
[0165]
将所述预测意图向量中的每个意图分类的可能性值分别与预先存储的每个意图分类对应的意图特征信息相乘，并将相乘结果合并，得到所述语音样本对应的样本意图特征信息；
[0166]
将所述样本文本特征信息和所述样本意图特征信息输入频谱合成模块，得到所述文本样本对应的预测频谱数据。
[0167]
可选的，所述调参模块660，被配置为：
[0168]
根据所述第一损失值、所述第一损失值对应的第一权重、所述第二损失值以及所
述第二损失值对应的第二权重，确定综合损失值；
[0169]
根据所述综合损失值，对所述初始频谱合成模型进行调参。
[0170]
可选的，所述第三确定模块650，被配置为：
[0171]
确定所述预测意图向量和所述标准意图向量的交叉熵，将所述交叉熵作为所述第二损失值。
[0172]
需要说明的是：上述实施例提供的训练频谱合成模型的装置在训练频谱合成模型时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的训练频谱合成模型的装置与训练频谱合成模型的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0173]
图7是本技术实施例提供的一种合成音频的装置的结构示意图，参见图7，该装置包括：
[0174]
第一输入模块710，被配置为将所述目标文本输入训练完成的自然语言处理模型，得到目标意图分类；
[0175]
确定模块720，被配置为确定所述目标意图分类对应的目标意图向量；
[0176]
第二输入模块730，被配置为将所述目标文本和所述目标意图向量输入训练完成的频谱合成模型，根据所述目标文本和所述目标意图向量，确定所述目标文本对应的目标频谱数据；
[0177]
第三输入模块740，被配置为将所述目标文本对应的目标频谱数据输入声码器，得到所述目标文本对应的目标语音。
[0178]
可选的，当所述频谱合成模型包括文本编码器、每个意图分类对应的意图特征信息和频谱合成模块时，所述第二输入模块730，被配置为：
[0179]
将所述目标文本输入所述文本编码器，得到所述目标文本对应的目标文本特征信息；
[0180]
将所述目标意图向量中的每个意图分类的可能性值分别与预先存储的每个意图分类对应的意图特征信息相乘，并将相乘结果合并，得到所述目标文本对应的目标意图特征信息；
[0181]
将所述目标文本特征信息和所述目标意图特征信息输入频谱合成模块，得到所述目标文本对应的目标频谱数据。
[0182]
可选的，所述确定模块720，被配置为：
[0183]
将所述目标意图分类对应的可能性值设置为1，将其他意图分类对应的可能性值设置为0，并使每个意图分类对应的可能性值按照预先设置的顺序进行排序，得到所述目标意图分类对应的目标意图向量。
[0184]
需要说明的是：上述实施例提供的合成音频的装置在合成音频时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将设备的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的合成音频的装置与合成音频的方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0185]
图8示出了本技术一个示例性实施例提供的终端800的结构框图。该终端800可以
是：智能手机、平板电脑、mp3播放器(moving picture experts group audio layer iii，动态影像专家压缩标准音频层面3)、mp4(moving picture experts group audio layer iv，动态影像专家压缩标准音频层面4)播放器、笔记本电脑或台式电脑。终端800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。
[0186]
通常，终端800包括有：处理器801和存储器802。
[0187]
处理器801可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器801可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器801可以集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器801还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。
[0188]
存储器802可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器802中的非暂态的计算机可读存储介质用于存储至少一个程序代码，该至少一个程序代码用于被处理器801所执行以实现本技术中方法实施例提供的训练频谱合成模型和合成音频的方法。
[0189]
在一些实施例中，终端800还可选包括有：外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地，外围设备包括：射频电路804、显示屏805、摄像头组件806、音频电路808、定位组件808和电源809中的至少一种。
[0190]
外围设备接口803可被用于将i/o(input/output，输入/得到)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中，处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上；在一些其他实施例中，处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现，本实施例对此不加以限定。
[0191]
射频电路804用于接收和发射rf(radio frequency，射频)信号，也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送，或者，将接收到的电磁信号转换为电信号。可选地，射频电路804包括：天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于：城域网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wireless fidelity，无线保真)网络。在一些实施例中，射频电路804还可以包括nfc(near field communication，近距离无线通信)有关的电路，本技术对此不加以限定。
[0192]
显示屏805用于显示ui(user interface，用户界面)。该ui可以包括图形、文本、图
标、视频及其它们的任意组合。当显示屏805是触摸显示屏时，显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时，显示屏805还可以用于提供虚拟按钮和/或虚拟键盘，也称软按钮和/或软键盘。在一些实施例中，显示屏805可以为一个，设置在终端800的前面板；在另一些实施例中，显示屏805可以为至少两个，分别设置在终端800的不同表面或呈折叠设计；在另一些实施例中，显示屏805可以是柔性显示屏，设置在终端800的弯曲表面上或折叠面上。甚至，显示屏805还可以设置成非矩形的不规则图形，也即异形屏。显示屏805可以采用lcd(liquid crystal display，液晶显示屏)、oled(organic light-emitting diode,有机发光二极管)等材质制备。
[0193]
摄像头组件806用于采集图像或视频。可选地，摄像头组件806包括前置摄像头和后置摄像头。通常，前置摄像头设置在终端的前面板，后置摄像头设置在终端的背面。在一些实施例中，后置摄像头为至少两个，分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种，以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtual reality，虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中，摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯，也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合，可以用于不同色温下的光线补偿。
[0194]
音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波，并将声波转换为电信号输入至处理器801进行处理，或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的，麦克风可以为多个，分别设置在终端800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器，也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时，不仅可以将电信号转换为人类可听见的声波，也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中，音频电路807还可以包括耳机插孔。
[0195]
定位组件808用于定位终端800的当前地理位置，以实现导航或lbs(location based service，基于位置的服务)。定位组件808可以是基于美国的gps(global positioning system，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
[0196]
电源809用于为终端800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
[0197]
在一些实施例中，终端800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于：加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815以及接近传感器816。
[0198]
加速度传感器811可以检测以终端800建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号，控制显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。
[0199]
陀螺仪传感器812可以检测终端800的机体方向及转动角度，陀螺仪传感器812可以与加速度传感器811协同采集用户对终端800的3d动作。处理器801根据陀螺仪传感器812采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0200]
压力传感器813可以设置在终端800的侧边框和/或显示屏805的下层。当压力传感器813设置在终端800的侧边框时，可以检测用户对终端800的握持信号，由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在显示屏805的下层时，由处理器801根据用户对显示屏805的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0201]
指纹传感器814用于采集用户的指纹，由处理器801根据指纹传感器814采集到的指纹识别用户的身份，或者，由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器801授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置在终端800的正面、背面或侧面。当终端800上设置有物理按键或厂商logo时，指纹传感器814可以与物理按键或厂商logo集成在一起。
[0202]
光学传感器815用于采集环境光强度。在一个实施例中，处理器801可以根据光学传感器815采集的环境光强度，控制显示屏805的显示亮度。具体地，当环境光强度较高时，调高显示屏805的显示亮度；当环境光强度较低时，调低显示屏805的显示亮度。在另一个实施例中，处理器801还可以根据光学传感器815采集的环境光强度，动态调整摄像头组件806的拍摄参数。
[0203]
接近传感器816，也称距离传感器，通常设置在终端800的前面板。接近传感器816用于采集用户与终端800的正面之间的距离。在一个实施例中，当接近传感器816检测到用户与终端800的正面之间的距离逐渐变小时，由处理器801控制显示屏805从亮屏状态切换为息屏状态；当接近传感器816检测到用户与终端800的正面之间的距离逐渐变大时，由处理器801控制显示屏805从息屏状态切换为亮屏状态。
[0204]
本领域技术人员可以理解，图8中示出的结构并不构成对终端800的限定，可以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0205]
本技术实施例提供的计算机设备可提供为一种服务器。图8是本技术实施例提供的一种服务器的结构示意图，该服务器800可因配置或性能不同而产生比较大的差异，可以包括一个或一个以上处理器(central processing units，cpu)801和一个或一个以上的存储器802，其中，该存储器802中存储有至少一条程序代码，该至少一条程序代码由该处理器801加载并执行以实现上述各个方法实施例提供的合成音频方法。当然，该服务器还可以具有有线或无线网络接口、键盘以及输入得到接口等部件，以便进行输入得到，该服务器还可以包括其他用于实现设备功能的部件，在此不做赘述。
[0206]
在示例性实施例中，还提供了一种计算机可读存储介质，例如包括程序代码的存储器，上述程序代码可由终端或服务器中的处理器执行以完成上述实施例中的合成音频方法。例如，所述计算机可读存储介质可以是只读内存(read-only memory，rom)、随机存取存储器(random access memory)，ram)、只读光盘(compact-disc read-only memory)、磁带、
软盘和光数据存储设备等。
[0207]
本领域普通技术人员可以理解实现上述实施例的全部或部分步骤可以通过硬件来完成，也可以通过程序来程序代码相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，上述提到的存储介质可以是只读存储器，磁盘或光盘等。
[0208]
以上所述仅为本技术的可选实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。