一种数据质量检测方法、装置、电子设备及存储介质与流程

专利检索2025-01-13  29


本发明实施例涉及数据质量检测技术,尤其涉及一种数据质量检测方法、装置、电子设备及存储介质。


背景技术:

1、日常生产活动中,在线上模型运行过程中会出现运行错误的情况,如运行失败、运行超时或者模型给出错误结果等。模型的输入数据异常会导致模型出现运行错误的情况。例如,模型的输入数据异常为数据量相较往期有较大的波动,从而导致模型运行失败或模型给出错误结果。

2、目前,在模型上线后,通常采用人工检测的方式对模型的输入数据进行质量检测。然而,这种人工检测的方式存在漏检的情况,会使模型基于输入的异常数据出现运行错误的情况,从而导致模型运行效率和效果下降。并且在模型运行报错、运行超时或者下游反馈数据结果错误时,才会统一排查和定位异常数据。可见,急需一种节省资源和时间成本的数据质量检测方式。


技术实现思路

1、本发明实施例提供一种数据质量检测方法、装置、电子设备及存储介质,以实现自动对待输入模型中的数据进行质量检测,提高模型运行效率和准确性。

2、第一方面,本发明实施例提供了一种数据质量检测方法,包括:

3、获取已交付模型对应的目标数据质量门禁规则和待执行的当前模型任务数据,其中,所述目标数据质量门禁规则是针对数据类型、数据量、数据值和数据字段空值率中至少一个设置的;

4、基于所述目标数据质量门禁规则对所述当前模型任务数据进行数据质量检测,确定所述当前模型任务数据对应的目标数据质量检测结果;

5、基于所述目标数据质量检测结果,控制执行所述当前模型任务数据对应的当前模型任务。

6、第二方面,本发明实施例还提供了一种数据质量检测装置,该装置包括:

7、数据获取模块,用于获取已交付模型对应的目标数据质量门禁规则和待执行的当前模型任务数据,其中,所述目标数据质量门禁规则是针对数据类型、数据量、数据值和数据字段空值率中至少一个设置的;

8、目标数据质量检测结果确定模块,用于基于所述目标数据质量门禁规则对所述当前模型任务数据进行数据质量检测,确定所述当前模型任务数据对应的目标数据质量检测结果;

9、当前模型任务执行模块,用于基于所述目标数据质量检测结果,控制执行所述当前模型任务数据对应的当前模型任务。

10、第三方面,本发明实施例还提供了一种电子设备,所述电子设备包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如本发明任一实施例所述的数据质量检测方法。

11、第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本发明任一实施例所述的数据质量检测方法。

12、本发明实施例的技术方案,通过获取已交付模型对应的目标数据质量门禁规则和待执行的当前模型任务数据,其中,所述目标数据质量门禁规则是针对数据类型、数据量、数据值和数据字段空值率中至少一个设置的;基于所述目标数据质量门禁规则对所述当前模型任务数据进行数据质量检测,确定所述当前模型任务数据对应的目标数据质量检测结果;基于所述目标数据质量检测结果,控制执行所述当前模型任务数据对应的当前模型任务,从而可以自动对待输入模型中的数据进行质量检测,提高模型运行效率和准确性。



技术特征:

1.一种数据质量检测方法,其特征在于,包括:

2.根据权利要求1所述的方法,其特征在于,所述基于所述目标数据质量门禁规则对所述当前模型任务数据进行数据质量检测,确定所述当前模型任务数据对应的目标数据质量检测结果,包括:

3.根据权利要求1所述的方法,其特征在于,所述基于所述目标数据质量检测结果,控制执行所述当前模型任务数据对应的当前模型任务,包括:

4.根据权利要求3所述的方法,其特征在于,所述基于所述目标数据质量门禁规则所属于的规则类型,控制执行所述当前模型任务数据对应的当前模型任务,包括:

5.根据权利要求1所述的方法,其特征在于,在获取已交付模型对应的目标数据质量门禁规则之前,所述方法还包括:

6.根据权利要求5所述的方法,其特征在于,所述对所述预设数据质量门禁规则进行规则约束校验,确定预设数据质量门禁规则对应的目标规则约束校验结果,包括:

7.根据权利要求5所述的方法,其特征在于,所述基于所述目标规则约束校验结果,对所述待交付模型进行上线交付控制,包括:

8.一种数据质量检测装置,其特征在于,所述装置包括:

9.一种电子设备,其特征在于,所述电子设备包括:

10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7中任一所述的数据质量检测方法。


技术总结
本发明实施例公开了一种数据质量检测方法、装置、电子设备及存储介质。该方法包括:获取已交付模型对应的目标数据质量门禁规则和待执行的当前模型任务数据,其中,目标数据质量门禁规则是针对数据类型、数据量、数据值和数据字段空值率中至少一个设置的;基于目标数据质量门禁规则对当前模型任务数据进行数据质量检测,确定当前模型任务数据对应的目标数据质量检测结果;基于目标数据质量检测结果,控制执行当前模型任务数据对应的当前模型任务。通过本发明实施例的技术方案,能够实现自动对待输入模型中的数据进行质量检测,提高模型运行效率和准确性。

技术研发人员:司忠平,胡斐,王鑫毅,魏鹏,王长生,李海博
受保护的技术使用者:中国农业银行股份有限公司
技术研发日:
技术公布日:2024/5/29
转载请注明原文地址:https://win.8miu.com/read-1148600.html

最新回复(0)