金融天地
商业银行内部评级模型验证研究
邱作文 国家开发银行
摘要：风险计量模型在现代银行风险管理工作中扮演着重要角色。但是由于种种原因，模型输出可能与业务实际存在差异，进而给银行运营带来负面影响。为了控制和消除这种差异，保持模型的有效性，商业银行有必要建立系统的模型验证制度来监控模型表现能力。
关键词：商业银行；内部评级；评级模型；模型验证
中图分类号：F830.33 文献标识码：A 文章编号：1001-828X（2013）07-0321-02
风险计量模型的应用为银行风险管理工作提供了强有力的工具，但是，由于模型的复杂性、数据清洗和样本筛选不当、变量分布特征的误判、风险驱动因素考虑不够全面、模型环境发生变化等方面的原因，可能会导致模型风险，对银行经营活动产生负面影响。因此，商业银行应该通过制定相应的模型验证制度来监控模型表现能力，控制模型风险。
价模型效果的一类方法。由于以实际生产数据为基础，返回检验能够比较准确的评估模型性能。但是，返回检验的应用条件比较高，其结论的准确性不仅依赖于验证方法的科学性、合理性，也依赖于数据质量的高低。如果可以获得足够的历史违约债务人/债项样本数据并能够保证一定的数据质量要求，就可以对模型进行返回检验。
2.基准测试
基准测试是以设定标准为依据来评估模型性能的。常用的基准有：(1)使用第三方估值模型，例如标普或穆迪有关模型，或其他商业银行使用的模型等，比较所用模型与外部模型的估计结果；(2)比较专家经验判断与模型估值来评价模型；(3)将模型输出与市场中能够反应信用质量的指标进行比较，如股票价格，债券点差，或信用衍生品的风险溢价等。
一、模型验证的内容与标准
广义的模型验证范围包括银行的内部评级体系，比如部门分工、模型开发应用流程、IT系统环境等。对于单个模型而言，验证主要包括以下内容：
1.理论基础审查和数据审查。统计理论和经济理论是建模的逻辑基础。在理论选择的过程中，可能发生一些概念或逻辑错误。银行必须对这些理论进行审查，或者通过行外专家的认可。数据是建模的基础，如果数据存在着错误，即使其他建模过程都是正确的，得到的模型质量也无法保证，因此必须对建模数据进行独立审查。
2.模型假设审查。建模经常会使用各种假设。这些假设可能来自各种金融理论，也可能来自银行的内部研究。但无论如何，银行应该将这些假设和实际情况进行比较，并随着外界形势的变化，对相关假设进行调整。
3.程序审查和结果审查。为了保证运算程序的正确，银行最好选择经验丰富的编码专家逐行进行检查，并与其他的模型结果进行对比，保证输出结果准确、易于理解。
根据巴塞尔新资本协议，信用风险度量模型有三个重要判断标准：①准确性。这是指模型输出和实际情况的偏差要小，这是对模型最根本的要求。②一致性。是指模型在不同行业、不同地区间的一致性。例如，具有相同信用等级的制造业客户和金融业客户应该具有相同的违约概率。③稳定性。即模型表现在不同时间段内尽可能一致，以便保持业务连续性。
四、定量验证方法
1.CAP曲线和AR值
CAP曲线(Cumulative Accuracy Profile)是常用的衡量风险模型的验证方法之一，它描绘了各个评分(或评级)结果下，累积违约客户比例和累积客户比例之间的关系。
为了画出CAP曲线，需先根据模型的结果，自高风险(差评级别)至低风险(好评级别)对评级客户进行排列，对于横坐标客户总数中特定的比例。纵坐标描画风险评级分数小于或等于横坐标x中的违约个数百分比。一个有效的模型应在样本客户同一排除率的情况下，排除
更高百分比的坏客户。图1为CAP曲线示意图：
二、模型定性分析
定性分析是对模型开发理念、适用条件、变量逻辑关系、参数设定等方面的考察。模型架构与计量对象的一致性、业务定义的合理性、风险因素的全面性、参数估计的合理性、模型的可操作性等，都是定性评价的重要内容。由于模型的构建往往是建立在数据分析上的，开发人员往往会犯两类错误：一是尽力将所有可能的风险因素都包含在模型当中，导致参数个数超过由样本规模与所用结构决定的上限，引起过度拟合问题。二是过多的重视量化关系，忽视实际业务含义。实践中，在定性分析时要特别注意充分发挥业务专家的作用。
图1 CAP曲线示意图
在完美的模型下，CAP曲线会是一条斜率为(1/违约率)并且停留在1的水平线。这时，所有表现差的客户都排在左边，表现好的客户都排在右面。图中最佳曲线就是这种情况。如果模型完全没有区分能力，CAP曲线会是一条45度的直线(图中随机曲线)。此时，模型无法区分客户的好坏，违约案例随机分布在所有客户中。
具有合理预测能力的模型通常介于最佳曲线和随机曲线之间，如图中待验证评级模型曲线。这表示该模型会给多数表现差的客户较低的评分，而给多数表现好的客户较高的评分。在少数情况下，也会给表现差的客户较好的评分，而给表现好的客户较低的评分。CAP曲线越接近左上角，模型预测能力越好。
为了度量模型区分能力，人们通常使用AR值这一指标。AR值被定义为模型的CAP曲线和45度线间的区域与完美曲线和45度线的区域
三、模型定量验证
根据验证依据的不同，模型验证一般包含返回检验和基准测试。1.返回检验
返回检验是通过统计工具比较实际值与模型输出之间的差异来评
321
金融天地
商业银行内部评级模型验证研究
邱作文 国家开发银行
摘要：风险计量模型在现代银行风险管理工作中扮演着重要角色。但是由于种种原因，模型输出可能与业务实际存在差异，进而给银行运营带来负面影响。为了控制和消除这种差异，保持模型的有效性，商业银行有必要建立系统的模型验证制度来监控模型表现能力。
关键词：商业银行；内部评级；评级模型；模型验证
中图分类号：F830.33 文献标识码：A 文章编号：1001-828X（2013）07-0321-02
风险计量模型的应用为银行风险管理工作提供了强有力的工具，但是，由于模型的复杂性、数据清洗和样本筛选不当、变量分布特征的误判、风险驱动因素考虑不够全面、模型环境发生变化等方面的原因，可能会导致模型风险，对银行经营活动产生负面影响。因此，商业银行应该通过制定相应的模型验证制度来监控模型表现能力，控制模型风险。
价模型效果的一类方法。由于以实际生产数据为基础，返回检验能够比较准确的评估模型性能。但是，返回检验的应用条件比较高，其结论的准确性不仅依赖于验证方法的科学性、合理性，也依赖于数据质量的高低。如果可以获得足够的历史违约债务人/债项样本数据并能够保证一定的数据质量要求，就可以对模型进行返回检验。
2.基准测试
基准测试是以设定标准为依据来评估模型性能的。常用的基准有：(1)使用第三方估值模型，例如标普或穆迪有关模型，或其他商业银行使用的模型等，比较所用模型与外部模型的估计结果；(2)比较专家经验判断与模型估值来评价模型；(3)将模型输出与市场中能够反应信用质量的指标进行比较，如股票价格，债券点差，或信用衍生品的风险溢价等。
一、模型验证的内容与标准
广义的模型验证范围包括银行的内部评级体系，比如部门分工、模型开发应用流程、IT系统环境等。对于单个模型而言，验证主要包括以下内容：
1.理论基础审查和数据审查。统计理论和经济理论是建模的逻辑基础。在理论选择的过程中，可能发生一些概念或逻辑错误。银行必须对这些理论进行审查，或者通过行外专家的认可。数据是建模的基础，如果数据存在着错误，即使其他建模过程都是正确的，得到的模型质量也无法保证，因此必须对建模数据进行独立审查。
2.模型假设审查。建模经常会使用各种假设。这些假设可能来自各种金融理论，也可能来自银行的内部研究。但无论如何，银行应该将这些假设和实际情况进行比较，并随着外界形势的变化，对相关假设进行调整。
3.程序审查和结果审查。为了保证运算程序的正确，银行最好选择经验丰富的编码专家逐行进行检查，并与其他的模型结果进行对比，保证输出结果准确、易于理解。
根据巴塞尔新资本协议，信用风险度量模型有三个重要判断标准：①准确性。这是指模型输出和实际情况的偏差要小，这是对模型最根本的要求。②一致性。是指模型在不同行业、不同地区间的一致性。例如，具有相同信用等级的制造业客户和金融业客户应该具有相同的违约概率。③稳定性。即模型表现在不同时间段内尽可能一致，以便保持业务连续性。
四、定量验证方法
1.CAP曲线和AR值
CAP曲线(Cumulative Accuracy Profile)是常用的衡量风险模型的验证方法之一，它描绘了各个评分(或评级)结果下，累积违约客户比例和累积客户比例之间的关系。
为了画出CAP曲线，需先根据模型的结果，自高风险(差评级别)至低风险(好评级别)对评级客户进行排列，对于横坐标客户总数中特定的比例。纵坐标描画风险评级分数小于或等于横坐标x中的违约个数百分比。一个有效的模型应在样本客户同一排除率的情况下，排除
更高百分比的坏客户。图1为CAP曲线示意图：
二、模型定性分析
定性分析是对模型开发理念、适用条件、变量逻辑关系、参数设定等方面的考察。模型架构与计量对象的一致性、业务定义的合理性、风险因素的全面性、参数估计的合理性、模型的可操作性等，都是定性评价的重要内容。由于模型的构建往往是建立在数据分析上的，开发人员往往会犯两类错误：一是尽力将所有可能的风险因素都包含在模型当中，导致参数个数超过由样本规模与所用结构决定的上限，引起过度拟合问题。二是过多的重视量化关系，忽视实际业务含义。实践中，在定性分析时要特别注意充分发挥业务专家的作用。
图1 CAP曲线示意图
在完美的模型下，CAP曲线会是一条斜率为(1/违约率)并且停留在1的水平线。这时，所有表现差的客户都排在左边，表现好的客户都排在右面。图中最佳曲线就是这种情况。如果模型完全没有区分能力，CAP曲线会是一条45度的直线(图中随机曲线)。此时，模型无法区分客户的好坏，违约案例随机分布在所有客户中。
具有合理预测能力的模型通常介于最佳曲线和随机曲线之间，如图中待验证评级模型曲线。这表示该模型会给多数表现差的客户较低的评分，而给多数表现好的客户较高的评分。在少数情况下，也会给表现差的客户较好的评分，而给表现好的客户较低的评分。CAP曲线越接近左上角，模型预测能力越好。
为了度量模型区分能力，人们通常使用AR值这一指标。AR值被定义为模型的CAP曲线和45度线间的区域与完美曲线和45度线的区域
三、模型定量验证
根据验证依据的不同，模型验证一般包含返回检验和基准测试。1.返回检验
返回检验是通过统计工具比较实际值与模型输出之间的差异来评
321