本技术实施例涉及计算机领域，具体而言，涉及一种基于客户评级模型的模型检测方法及装置。
背景技术：
1、目前国内各机构对模型风险的监测还处于分散化的模式、手工的方式，该方式存在如下问题：
2、一是模型监测未实现自动化。金融机构研发的模型散落在各家机构内部，由于缺乏专业工具支持，大部分模型处于手工监测或处于没有监测的状态，监测效率较低，完成一次监测周期较长，模型监测方式多以基于数据仓库对模型风险进行手工写代码方式监控，耗时耗力效率低。一旦编代码人员同时从事其他工作，则模型风险监控的及时性无法保证。不同监控人员编写代码水平的高低将直接影响到模型监控的质量和效果。同时，机构对这些模型的表现未能及时掌握了解，存在潜在的模型风险。
3、二是模型监测未实现集中化。成熟的金融机构通常会研发大量应用在客户营销、风险控制或业务决策等相关条线的分析模型。各个条线、部门都是基于自己的业务需求分散的开展模型监测，由于缺乏集中化监测机制，对各机构是否开展了必要监测、监测的标准和内容均存在较大差异，导致模型监测结果不可比、部分模型应该监测的内容未实现监测，不能统一归集各类机构的模型监测表现情况，导致机构缺乏对全行模型表现的集中统一的了解。
4、三是模型支持体系未能进行监控。此前，各类机构对模型支持体系的监控是监控中处于空白的领域。模型支持体系包括模型治理架构、模型的使用政策和流程、数据、it系统、模型应用、模型开发和应用的文档等。其中，模型支持体系中，可以定量化分析的部分如使用政策和流程、数据、模型应用情况均可以纳入模型监测装置中实现自动化监测。通过模型应用情况的监控，可以评估模型应用政策和流程设计的合理性、政策和流程执行的有效性，为有针对性对模型应用政策和流程进行及时重检提供了支持，改变了此前模型支持体系的监控空白的现状。
5、四是对模型监测结果的判定缺乏统一标准。目前各机构对模型监测出来的结果高度依赖专家经验判断，缺乏统一量化标准。导致对机构内部不同模型，存在对模型表现状态判定结果不一致的情况，导致对全机构各类模型表现结果的判定不一，模型表现的结论判定缺乏统一的标准，主要靠经验判断，影响各机构模型风险管理的统一性、准确性和有效性。
6、五是对模型监控结果缺乏统一的报告。模型监测结果出来以后，机构普遍采用人工的方式撰写形成报告，效率低，周期长，减少了报告的时效性。通过该装置，运用人工智能和模型技术，实现了自动化出监控报告，及时将结果传送到相关决策层进行决策。
技术实现思路
1、本技术实施例提供了一种基于客户评级模型的模型检测方法及装置，以至少解决相关技术中对模型的检测效率低、准确性低的问题。
2、根据本技术的一个实施例，提供了一种基于客户评级模型的模型检测方法，包括：获取客户评级模型的模型数据，其中，上述模型数据包括上述客户评级模型对客户进行违约评级的过程中的数据；利用上述模型数据对上述客户评级模型的运行进行监控，得到监控数据，其中，上述监控数据包括对上述模型数据的数据分布进行监控产生的数据以及对上述客户评级模型的评级能力进行监控产生的数据；按照预设检测顺序和上述监控数据检测上述客户评级模型的模型风险，其中，上述预设检测顺序是基于上述客户评级模型的运行过程确定的。
3、根据本技术的另一个实施例，提供了一种基于客户评级模型的模型检测装置，包括：第一获取模块，用于获取客户评级模型的模型数据，其中，上述模型数据包括上述客户评级模型对客户进行违约评级的过程中的数据；第一监控模块，用于利用上述模型数据对上述客户评级模型的运行进行监控，得到监控数据，其中，上述监控数据包括对上述模型数据的数据分布进行监控产生的数据以及对上述客户评级模型的评级能力进行监控产生的数据；第一检测模块，用于按照预设检测顺序和上述监控数据检测上述客户评级模型的模型风险，其中，上述预设检测顺序是基于上述客户评级模型的运行过程确定的。
4、在一个示例性实施例中，上述第一获取模块，包括：第一获取单元，用于获取上述客户评级模型的以下数据，得到上述模型数据：输入至上述客户评级模型的输入数据，其中，上述输入数据包括上述客户的客户数据，上述输入数据为将上述客户数据转化为单指标格式后的数据；上述客户评级模型处理上述输入数据的中间数据，其中，上述中间数据包括：上述客户评级模型中的第一子模块基于上述输入数据输出的上述客户的定性得分和定量得分，上述客户评级模型中的第二子模块基于上述定性得分和上述定量得分输出的总得分，上述客户评级模型中的第三子模块基于上述总得分输出的上述客户的初始等级，上述客户评级模型中的第四子模块对上述初始等级进行调整后输出的目标等级；输出数据，其中，上述输出数据中包括上述客户评级模型中的第五子模块基于上述目标等级输出的上述客户的违约状态。
5、在一个示例性实施例中，第一监控模块，包括：第一检测单元，用于利用上述模型数据检测上述客户评级模型的数据分布，得到数据检测结果，其中，上述数据检测结果包括以下至少之一：数据缺失率，数据稳定性，上述客户评级模型中每个子模块的输入数据和输出数据的分布情况；第二获取单元，用于从上述模型数据中获取上述客户评级模型中多个子模型输出的多个数据处理结果；第一比对单元，用于将每个上述数据处理结果与对应的上述子模型的预设处理结果进行比对，以检测每个上述子模型的数据处理性能；第二检测单元，用于利用每个上述子模型的数据处理性能检测上述客户评级模型的评级能力。
6、在一个示例性实施例中，上述第一检测模块，包括：第一计算单元，用于计算上述客户评级模型输出的违约评级结果和上述客户的实际违约结果之间的匹配度，得到第一数值；第二计算单元，用于计算审定前的违约评级和上述实际违约结果之间的相关度，得到第二数值，其中，上述审定前的违约评级是基于上述客户的历史信用数据确定的，上述审定前的违约评级和上述实际违约结果之间呈正相关；第三计算单元，用于计算目标系统的系统等级和上述实际违约结果之间的相关度，得到第三数值，其中，上述客户评级模型是上述目标系统中的模型，上述系统等级用于表示上述目标系统对上述客户违约的惩罚程度，上述系统等级与上述实际违约结果之间呈负相关；第四计算单元，用于计算上述客户评级模型输出的总评级得分与上述实际违约结果之间的相关度，得到第四数值；第五计算单元，用于计算上述客户评级模块中的多个子模型输出的多个评级得分与上述实际违约结果之间的相关度，得到多个第五数值；第一确定单元，用于基于上述第一数值、上述第二数值、上述第三数值、上述第四数值以及多个上述第五数值确定上述客户评级模型的模型风险。
7、在一个示例性实施例中，上述第一确定单元，包括：第一确定子单元，用于利用上述第一数值和第一预设阈值之间的比较结果确定上述客户评级模型的有效性；第二确定子单元，用于利用上述第一数值和第二数值之间的比较结果确定目标对象对上述客户评级模型的审批的有效性；第三确定子单元，用于利用上述第二数值和第三数值之间的比较结果确定对上述客户评级模型的数据处理规则的调整的有效性；第四确定子单元，用于利用上述第四数值和第二预设阈值之间的比较结果确定上述客户评级模型的评级性能；第五确定子单元，用于利用多个上述第五数值和第三预设阈值之间的比较结果确定上述客户评级模型中异常参数指标。
8、在一个示例性实施例中，上述装置还包括：第二检测模块，用于按照预设检测顺序和上述监控数据检测上述客户评级模型的模型风险之后，在确定上述模型风险是上述客户评级模型的区分能力和谨慎能力造成的情况下，检测与上述区分能力和上述谨慎能力对应的风险原因，其中，上述区分能力用于表示上述客户评级模型区分不同客户的能力，上述谨慎能力用于表示上述客户评级模型在对上述客户进行违约评级时的谨慎程度；或者，第三检测模块，用于检测与上述模型风险对应的风险原因。
9、根据本技术的又一实施例，还提供了一种计算机程序产品，包括计算机程序，上述计算机程序被设置为处理器执行上述任一项方法实施例中的步骤。
10、根据本技术的又一个实施例，还提供了一种计算机可读存储介质，上述计算机可读存储介质中存储有计算机程序，其中，上述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
11、根据本技术的又一个实施例，还提供了一种电子设备，包括存储器和处理器，上述存储器中存储有计算机程序，上述处理器被设置为运行上述计算机程序以执行上述任一项方法实施例中的步骤。
12、通过本技术，由于获取了客户评级模型对客户进行违约评级的过程中的数据；利用这些数据对客户评级模型的运行进行监控，得到监控数据，其中，监控数据包括对模型数据的数据分布进行监控产生的数据以及对客户评级模型的评级能力进行监控产生的数据，并按照预设检测顺序和监控数据检测客户评级模型的模型风险。实现了对客户评级模型进行自动化检测的目的，以及对客户评级模型的运行进行有效监控的目的。因此，可以解决相关技术中对模型的检测效率低、准确性低的问题，达到提高对模型的检测效率以及准确性的效果。
1.一种基于客户评级模型的模型检测方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，获取客户评级模型的模型数据，包括：
3.根据权利要求1所述的方法，其特征在于，利用所述模型数据对所述客户评级模型的运行进行监控，得到监控数据，包括：
4.根据权利要求1所述的方法，其特征在于，按照预设检测顺序和所述监控数据检测所述客户评级模型的模型风险，包括：
5.根据权利要求4所述的方法，其特征在于，基于所述第一数值、所述第二数值、所述第三数值、所述第四数值以及所述第五数值确定所述客户评级模型的模型风险，包括：
6.根据权利要求1所述的方法，其特征在于，按照预设检测顺序和所述监控数据检测所述客户评级模型的模型风险之后，所述方法还包括：
7.一种基于客户评级模型的模型检测装置，其特征在于，包括：
8.一种计算机程序产品，包括计算机程序，其特征在于，所述计算机程序被处理器执行时实现所述权利要求1至6任一项中所述的方法的步骤。
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机程序，其中，所述计算机程序被处理器执行时实现所述权利要求1至6任一项中所述的方法的步骤。
10.一种电子设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现所述权利要求1至6任一项中所述的方法的步骤。
