本申请属于人工智能，具体涉及一种训练数据集构建方法、装置及电子设备。
背景技术：
1、大型语言模型是近年发展出现的语言模型，主要特点包括：模型参数量大，用于模型训练的数据量大，模型训练所需的算力大，模型能力与以往模型相比有显著提升，在数学、推理、代码、多语言理解等有难度的任务效果上呈现非线性提升。
2、训练大型语言模型需要大规模和高质量的训练数据。但是现有技术中，一方面无法在模型训练前发现训练数据不充足，这会导致模型训练完成后根据实际遇到的情况再去追查相关数据是否存在不足，重新训练模型的成本高，模型迭代的周期长，并且难以系统解决数据问题。另一方面，无法在模型训练前发现不同类别的数据是否冗余，这会导致数据收集工作缺乏针对性的目标，容易变成有什么数据就用什么数据，而不是从更好的模型泛化能力的角度去考虑收集数据。
技术实现思路
1、本申请实施例的目的是提供一种训练数据集构建方法、装置及电子设备，能够基于数据饱和度能够确定训练数据是否存在不充足或冗余，从而根据数据饱和度调整所述训练语料样本集，得到高质量的训练数据集，解决了现有技术无法在大模型训练前确定训练数据是否存在不足或冗余的问题。
2、第一方面，本申请实施例提供了一种训练数据集构建方法，包括：
3、根据参考语料样本集，确定训练语料样本集的数据饱和度，所述数据饱和度用于表征所述训练语料样本集是否存在不足或冗余，所述训练语料样本集包括至少两个数据类别，每个所述数据类别对应一个数据饱和度；
4、根据所述数据饱和度，调整所述训练语料样本集，得到训练数据集。
5、第二方面，本申请实施例提供了一种训练数据集构建装置，包括：
6、确定模块，用于根据参考语料样本集，确定训练语料样本集的数据饱和度，所述数据饱和度用于表征所述训练语料样本集是否存在不足或冗余，所述训练语料样本集包括至少两个数据类别，每个所述数据类别对应一个数据饱和度；
7、处理模块，用于根据所述数据饱和度，调整所述训练语料样本集，得到训练数据集。
8、第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的信号发送方法的步骤。
9、第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的信号发送方法的步骤。
10、第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的信号发送方法的步骤。
11、第六方面，本申请实施例提供一种计算机程序产品，该程序产品被存储在存储介质中，该程序产品被至少一个处理器执行以实现如第一方面所述的信号发送方法的步骤。
12、在本申请实施例中，根据参考语料样本集，确定训练语料样本集的数据饱和度，所述数据饱和度用于表征所述训练语料样本集是否存在不足或冗余，所述训练语料样本集包括至少两个数据类别，每个所述数据类别对应一个数据饱和度；根据所述数据饱和度，调整所述训练语料样本集，得到训练数据集。这样，基于数据饱和度能够确定训练数据是否存在不充足或冗余，从而根据数据饱和度调整所述训练语料样本集，得到高质量的训练数据集，解决了现有技术无法在大模型训练前确定训练数据是否存在不充足或冗余的问题。
1.一种训练数据集构建方法，其特征在于，包括：
2.根据权利要求1所述的训练数据集构建方法，其特征在于，所述根据所述参考语料样本集，确定训练语料样本集的数据饱和度，包括：
3.根据权利要求2所述的训练数据集构建方法，其特征在于，所述根据每个数据类别对应的所述参考损失值和所述训练损失值，确定每个数据类别的所述训练语料样本子集对应的数据饱和度，包括：
4.根据权利要求3所述的训练数据集构建方法，其特征在于，所述根据所述差值与所述参考损失值的比值，确定每个数据类别的所述训练语料样本子集对应的数据饱和度，包括：
5.根据权利要求1所述的训练数据集构建方法，其特征在于，所述根据所述参考语料样本集，确定训练语料样本集的数据饱和度，包括：
6.根据权利要求5所述的训练数据集构建方法，其特征在于，所述根据所述参考向量和所述候选向量，得到每个数据类别对应的候选训练语料样本数量，包括：
7.根据权利要求1所述的训练数据集构建方法，其特征在于，所述根据所述数据饱和度调整所述训练语料样本集，得到训练数据集，包括：
8.根据权利要求7所述的训练数据集构建方法，其特征在于，所述根据所述数据饱和度确定数据采样率，包括：
9.根据权利要求1所述的训练数据集构建方法，其特征在于，所述方法还包括：
10.一种训练数据集构建装置，其特征在于，包括：
11.根据权利要求10所述的训练数据集构建装置，其特征在于，所述确定模块具体用于：
12.根据权利要求11所述的训练数据集构建装置，其特征在于，所述确定模块具体用于：
13.根据权利要求12所述的训练数据集构建装置，其特征在于，所述确定模块具体用于：
14.根据权利要求10所述的训练数据集构建装置，其特征在于，所述确定模块具体用于：
15.根据权利要求14所述的训练数据集构建装置，其特征在于，所述确定模块具体用于：
16.根据权利要求10所述的训练数据集构建装置，其特征在于，所述处理模块具体用于：
17.根据权利要求16所述的训练数据集构建装置，其特征在于，所述处理模块具体用于：
18.根据权利要求10所述的训练数据集构建装置，其特征在于，所述装置还包括：
19.一种电子设备，其特征在于，包括处理器和存储器，所述存储器存储可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如权利要求1至9中任一项所述的训练数据集构建方法的步骤。
