在模型变量与参数确定后，如何评估其效果呢？

1、KS值

常用的模型评价指标之一是KS值。

KS值衡量的是好坏样本累计分部之间的差异。差异越大，KS值越高，表明模型的风险区分能力越强。

KS值的计算步骤如下：

1、根据模型结果对每个账户进行打分。

2、将所有账户按评分排序，分为10组或20组。

3、计算每个评分区间的好坏账户数。

4、计算每个评分区间的累计好账户数占总好账户数比率(good%)和累计坏账户数占总坏账户数比率(bad%)。

5、计算每个评分区间累计坏账户占比与累计好账户占比差的绝对值，取最大值即为此评分模型的K-S值。

例如，模型的KS值为65.57。分组越多，KS值越大，理论上每个账户作为一个分组时，KS值达到最大。

KS值在行业内有一定的规范，一般要达到20以上才是一个可用的模型。然而，KS值越高越好，但过高可能会引起对使用未来变量的怀疑，需要注意。

2、ROC曲线

ROC曲线（receiver operating characteristic）上每个点反映着对同一信号刺激的感受性。

横轴为负正类率(false positive rate FPR)特异度，纵轴为真正类率(true positive rate TPR)灵敏度。

对于一个二分类问题，将实例分为正类或负类。实际分类中，会出现四种情况。

1) 正类被预测为正类，即真正类(True Positive TP)。

2) 正类被预测为负类，即假负类(False Negative FN)。

3) 负类被预测为正类，即假正类(False Positive FP)。

4) 负类被预测为负类，即真负类(True Negative TN)。

TP: 正确的肯定数目

FN: 漏报，未找到正确匹配的数目

FP: 误报，匹配不正确

TN: 正确拒绝的非匹配数目

ROC曲线通过设定不同的阈值，将实例分为正类或负类，得到一系列的FPR和TPR，在平面上得到对应坐标点。随着阈值的逐渐减小，正类中掺杂的负实例越来越多，TPR和FPR同时增大。

ROC曲线越靠近(0,1)点，越偏离45度对角线，Sensitivity、Specificity越大，效果越好。

如何绘制ROC曲线

假设已得出一系列样本被划分为正类的概率，然后按大小排序。从高到低，依次将“Score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。每次选取一个不同的threshold，我们就可以得到一组FPR和TPR，即ROC曲线上的一点。

AUC(Area under Curve)：ROC曲线下的面积，介于0.1和1之间。AUC值越大，分类器越好。

为什么使用ROC和AUC评价分类器

ROC曲线具有很好的特性：当测试集中的正负样本的分布变换时，ROC曲线能够保持不变。在实际的数据集中，样本类不平衡或测试数据中的正负样本可能随时间变化。

ROC曲线与Precision-Recall曲线相比，ROC曲线在正负样本比例差距较大或测试数据中的正负样本随时间变化时，基本保持原貌，而Precision-Recall曲线变化较大。