本公开涉及机器学习领域或金融科技领域,具体地,涉及一种测试案例的评估方法、装置、设备、介质和程序产品。
背景技术:
1、在软件项目的测试流程中,测试案例起着指导测试和保证质量的重要作用。然而,目前测试过程中,对测试案例执行效果的分析方法相对有限。通常只进行定期统计案例相关的指标,如案例覆盖率和通过率,但这些统计数据往往无法全面评估一个测试案例的好坏。
2、随着应用从主机到分布式平台的演进,现代软件系统的功能场景变得更加复杂,对测试案例的要求也越来越高。测试人员往往面临着测试案例数量庞大、分析难度大的挑战,无法准确评估测试案例的效果。
技术实现思路
1、鉴于现有技术中存在的上述问题,本公开提供了一种测试案例的评估方法、装置、设备、介质和程序产品。
2、根据本公开的第一个方面,提供了一种测试案例的评估方法,包括:获取待评估的测试案例,对所述待评估的测试案例进行解析,提取案例评价参数;基于所述案例评价参数查询案例评价参数表,获取与所述案例评价参数对应的案例评价参数值;将所述案例评价参数值输入案例评分模型,利用所述案例评分模型对所述案例评价参数值进行处理,获取测试案例的案例评分;以及基于所述案例评分对所述测试案例进行分级,并基于分级结果对所述测试案例进行后处理。
3、根据本公开的实施例,所述案例评价参数包括案例等级,案例创建或修改时间,断言数量,案例执行时长,案例执行成功率,上一次执行结果,案例可自动化执行性,案例推荐次数或案例引用次数中的至少两种。
4、根据本公开的实施例,所述基于所述案例评分对所述测试案例进行分级,并基于分级结果对所述测试案例进行后处理的方法包括:当所述测试案例的案例评分低于阈值时,将所述测试案例判定为待优化案例;将所述待优化案例及对应的案例评分发送给测试人员。
5、根据本公开的实施例,所述案例评分模型为逻辑回归模型。
6、根据本公开的实施例,所述案例评分模型预训练得到,包括:获取训练数据集,所述训练数据集包括多个测试案例样本;对测试案例样本进行参数解析,提取测试案例样本评价参数,并基于所述测试案例样本评价参数查询案例评价参数表,获取与所述测试案例样本评价参数对应的测试案例样本评价参数值;将所述测试案例样本评价参数值输入至初始的案例评分模型,基于测试案例样本评分标签和所述测试案例样本评价参数值更新所述初始的案例评分模型的模型参数,以训练得到所述案例评分模型,其中,所述初始的案例评分模型包含初始化的权重参数和偏移量,所述权重参数与测试案例样本评价参数存在映射关系。
7、根据本公开的实施例,所述基于测试案例样本评分标签和所述测试案例样本评价参数值,更新所述初始的案例评分模型的模型参数的方法包括:利用逻辑函数计算测试案例样本为正样本的概率预测值,其中,所述概率预测值的计算基于所述初始的案例评分模型进行;利用对数似然函数损失函数的梯度计算公式,迭代计算所述对数似然函数损失函数关于所述初始化的权重参数和偏移量的偏导数,直至函数收敛,其中,所述偏导数的计算与所述测试案例样本为正样本的概率预测值及所述测试案例样本评分标签关联。
8、本公开的第二方面提供了一种测试案例的评估装置,包括:获取模块,配置为获取待评估的测试案例,对所述待评估的测试案例进行解析,提取案例评价参数;映射模块,配置为基于所述案例评价参数查询案例评价参数表,获取与所述案例评价参数对应的案例评价参数值;评价模块,配置为将所述案例评价参数值输入案例评分模型,利用所述案例评分模型对所述案例评价参数值进行处理,获取测试案例的案例评分;以及分级模块,配置为基于所述案例评分对所述测试案例进行分级,并基于分级结果对所述测试案例进行后处理。
9、本公开的第三方面提供了一种测试案例的评估装置,包括:该实施例的测试案例的评估装置包括训练数据提取模块、解析模块和计算模块。其中,训练数据提取模块被配置为获取训练数据集,所述训练数据集包括多个测试案例样本。解析模块用于对测试案例样本进行参数解析,提取测试案例样本评价参数,并基于所述测试案例样本评价参数查询案例评价参数表,获取与所述测试案例样本评价参数对应的测试案例样本评价参数值。计算模块被配置为将所述测试案例样本评价参数值输入至初始的案例评分模型,基于测试案例样本评分标签和所述测试案例样本评价参数值更新所述初始的案例评分模型的模型参数,以训练得到所述案例评分模型,其中,所述初始的案例评分模型包含初始化的权重参数和偏移量,所述权重参数与测试案例样本评价参数存在映射关系。
10、本公开的第四方面提供了一种电子设备,包括:一个或多个处理器;存储器,用于存储一个或多个程序,其中,当所述一个或多个程序被所述一个或多个处理器执行时,使得一个或多个处理器执行上述测试案例的评估方法。
11、本公开的第五方面还提供了一种计算机可读存储介质,其上存储有可执行指令,该指令被处理器执行时使处理器执行上述测试案例的评估方法。
12、本公开的第六方面还提供了一种计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现上述测试案例的评估方法。
1.一种测试案例的评估方法,其特征在于,所述方法包括:
2.根据权利要求1所述的测试案例的评估方法,其特征在于,所述案例评价参数包括案例等级,案例创建或修改时间,断言数量,案例执行时长,案例执行成功率,上一次执行结果,案例可自动化执行性,案例推荐次数或案例引用次数中的至少两种。
3.根据权利要求1所述的测试案例的评估方法,其特征在于,所述基于所述案例评分对所述测试案例进行分级,并基于分级结果对所述测试案例进行后处理的方法包括:
4.根据权利要求1~3任一项所述的测试案例的评估方法,其特征在于,所述案例评分模型为逻辑回归模型。
5.根据权利要求4所述的测试案例的评估方法,其特征在于,所述案例评分模型预训练得到,包括:
6.根据权利要求5所述的测试案例的评估方法,其特征在于,所述基于测试案例样本评分标签和所述测试案例样本评价参数值,更新所述初始的案例评分模型的模型参数的方法包括:
7.一种测试案例的评估装置,其特征在于,所述装置包括:
8.一种电子设备,包括:
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现根据权利要求1~6中任一项所述方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,所述计算机程序被处理器执行时实现根据权利要求1~6中任一项所述方法的步骤。