本发明涉及语音识别,具体为基于自然语言处理的语音交互式数据分析系统。
背景技术:
1、数据分析是指通过收集、清洗、处理和解释数据,以识别、分析和提取数据中的模式、趋势、关联性和洞见的过程。它涉及使用统计学、机器学习、数据挖掘和可视化等技术和方法,从大量的数据中提取有用的信息,为决策制定、问题解决和业务优化提供支持和指导。
2、通过语音交互的数据分析方式,可以获取更丰富的数据信息。除了用户的语音命令之外,语音交互还可以捕获到语音的情感、语调、语速等信息,这些信息对于用户行为分析和情感识别等方面的数据分析具有重要意义。
3、语音识别(speech recognition)是语音交互的关键技术,在语音识别的应用中,专业领域通常有许多行业术语和专业名词,这些词汇可能在通用语言模型中缺乏训练数据,导致识别准确率降低。对于这些特定领域的术语,如果准备大量的行业数据进行专门的训练或定制,会导致应用成本急剧上升,而且还会面临由于训练数据的完整性问题,导致语音识别结果不符合预期,对于特定领域需要一种准确率高且成本低的语音识别机制来满足语音式交互的数据分析。为此,我们提出基于自然语言处理的语音交互式数据分析系统。
技术实现思路
1、本发明的目的在于提供基于自然语言处理的语音交互式数据分析系统,以解决上述背景技术中提出的问题。
2、为实现上述目的,本发明提供如下技术方案:基于自然语言处理的语音交互式数据分析系统,包括通用语言识别层,所述通用语言识别层包含对自然语言处理的通用模型,用于对从语音识别获得的文本进行自然语言理解,包括解析句式结构、识别关键词和理解上下文;
3、包括附加语料层,所述附加语料层用于将传入的文本转换成专业术语,所述附加语料层包含对专业术语的建模和匹配功能;
4、包括转换识别层,所述转换识别层包括转换文本判断模型,所述转换文本判断模型用于判断通用语言识别层输出的文本是否需要传入附加语料层进行二次转换,需要二次转换的文本在经过转换后会得到用于替换其本身的专业术语,所述转换识别层对转换前的文本使用转换后的专业术语进行替换,得到语音识别最终的解析文本。
5、优选的,所述附加语料层包括字典树、字符匹配器和树构造器,字典树采用散列表数据结构存储语料的状态机,字典树中每个节点都包含私有的二维字母数组和目标文本,字母数组用于标记目标文本的匹配路径;
6、所述字符匹配器包含ascii码运算器,通过ascii码运算器实现快速定位字母数组的索引,并寻找出完整的目标文本路径;
7、所述树构造器提供语料的增删功能,用于构建和调试符合预期的字典树状态机。
8、优选的,所述转换文本判断模型包括特征提取模块、数据标记模块和模型训练模块,所述特征提取模块将通用模型输出的文本作为关键词提取特征,所述数据标记模块将提取的特征转化成便于分类的数值向量,所述模型训练模块使用逻辑回归算法构建分类模型,所述分类模型以数据标记模块转化的数值向量作为输入,以分类的结果作为输出。
9、优选的,采用逻辑回归的二分类算法构建分类模型,将分类的标记抽象为0和1,使用对数几何函数实现映射关系:
10、
11、式中,x表示数据标记模块转化的数值向量,z表示任意实数,y表示逻辑回归的结果,w表示权重向量,b表示偏移量,t为转置标记,表示将w从列向量转置为行向量,使用对数几率函数将逻辑回归从负无穷到正无穷的输出范围压缩到(0, 1)之间,逻辑回归的结果 y=0.5,视为一个分界点;当y>=0.5时,逻辑回归的结果判为正例,分类的标记为1,视为文本需要传入附加语料层进行二次转换;当y<0.5时,逻辑回归的结果判为反例,分类的标记为0,视为文本不需要传入附加语料层进行二次转换。
12、优选的,所述特征提取模块提取的关键词特征包括词频、词长、前后词的词性和词形变化。
13、优选的,将训练数据分为训练集、验证集和测试集,训练集用于训练分类模型,验证集用于调整分类模型的参数,测试集用于评估分类模型的性能。
14、优选的,包括查询反馈层,所述查询反馈层用于将转换识别层最终解析的文本映射到相应的数据查询或分析任务,并将查询分析结果反馈给用户,反馈的方式包括语音播报、图形界面展示和文本输出。
15、优选的,包括异常处理层,所述异常处理层用于处理系统无法理解的输入指令,提供错误处理和反馈机制。
16、优选的,包括隐私保护层,所述隐私保护层用于对用户的语音输入和数据查询的输出结果进行数据加密,确保数据在传输和存储过程中的安全性。
17、优选的,所述隐私保护层采取的措施还包括身份认证和授权、数据脱敏,基于令牌认证机制控制系统的用户访问。
18、与现有技术相比,本发明的有益效果是:
19、1、本发明通过附加语料层和转换识别层结合传统的通用自然语言处理模型,可以对特定领域的术语在语音交互时实现高准确率的识别,增大了语音交互的应用场景和提升了用户体验。
20、2、本发明通过附加语料层的高可维护性,可使语音识别结果持续迭代,识别准确率随着迭代持续提升;在保证高准确率的前提下,降低了语音交互在特定领域的应用成本,且转换识别层在获得识别训练模型后,可复用在各个特定领域,达到了一次训练多处复用的目的。
1.基于自然语言处理的语音交互式数据分析系统,其特征在于:
2.根据权利要求1所述的基于自然语言处理的语音交互式数据分析系统,其特征在于:
3.根据权利要求2所述的基于自然语言处理的语音交互式数据分析系统,其特征在于:所述转换文本判断模型包括特征提取模块、数据标记模块和模型训练模块,所述特征提取模块将通用模型输出的文本作为关键词提取特征,所述数据标记模块将提取的特征转化成便于分类的数值向量,所述模型训练模块使用逻辑回归算法构建分类模型,所述分类模型以数据标记模块转化的数值向量作为输入,以分类的结果作为输出。
4.根据权利要求3所述的基于自然语言处理的语音交互式数据分析系统,其特征在于:采用逻辑回归的二分类算法构建分类模型,将分类的标记抽象为0和1,使用对数几何函数实现映射关系:
5.根据权利要求4所述的基于自然语言处理的语音交互式数据分析系统,其特征在于:所述特征提取模块提取的关键词特征包括词频、词长、前后词的词性和词形变化。
6.根据权利要求5所述的基于自然语言处理的语音交互式数据分析系统,其特征在于:将训练数据分为训练集、验证集和测试集,训练集用于训练分类模型,验证集用于调整分类模型的参数,测试集用于评估分类模型的性能。
7.根据权利要求6所述的基于自然语言处理的语音交互式数据分析系统,其特征在于:包括查询反馈层,所述查询反馈层用于将转换识别层最终解析的文本映射到相应的数据查询或分析任务,并将查询分析结果反馈给用户,反馈的方式包括语音播报、图形界面展示和文本输出。
8.根据权利要求7所述的基于自然语言处理的语音交互式数据分析系统,其特征在于:包括异常处理层,所述异常处理层用于处理系统无法理解的输入指令,提供错误处理和反馈机制。
9.根据权利要求8所述的基于自然语言处理的语音交互式数据分析系统,其特征在于:包括隐私保护层,所述隐私保护层用于对用户的语音输入和数据查询的输出结果进行数据加密,确保数据在传输和存储过程中的安全性。
10.根据权利要求9所述的基于自然语言处理的语音交互式数据分析系统,其特征在于:所述隐私保护层采取的措施还包括身份认证和授权、数据脱敏,基于令牌认证机制控制系统的用户访问。
