模型评估指标之概率分布评估指标(二)

文章目录

• • 一. ROC曲线：
  • 二.提升图：
  • 三.洛伦兹图:
  • 四.K-S曲线:
  • 五.总结：
  • 六.其他模型评估指标

一. ROC曲线：

横轴是FPR(False Positive Rate)，纵轴是TPR(True Positive Rate)。
　
关于ROC的绘制过程上篇文章已经讲解过了ROC曲线的绘制
咱们在这里简单介绍一下：

一个完美的模型可以通过设定一个概率阈值点，使得大于该概率阈值的样本均为正样本即坏样本，小于该概率阈值的样本均为负样本即好样本。

由图可以看出：

• ROC 曲线由 A 点经过 B 点到达 C 点，表示在舍弃 0%的好用户的前提下，可以 100%地拒绝坏用户，即没有坏用户被准入
• 图中虚线可以看出，在舍弃 50%的好用户的前提下，可以避免 50%的坏用户，此时错杀了一半的好用户，并且有一半的坏用户没有识别出来。

ROC 曲线应该在虚线的左上部且越靠近 B 点时模型的表现越好
ROC 曲线的量化表示为 AUC

AUC: ROC 曲线与坐标轴围成的面积,面积越大表示模型的性能越好。

由于 AUC 的取值在 0.5～1 之间，我们更习惯于一个取值范围在 0～1 之间的指标，这时候就有了归一化后的 AUC 表示方式就是基尼系数或基尼统计量
注意，这里的基尼系数和决策树的基尼系数是不同的，只是名称类似.
公式：

ROC 曲线的本质:反映了舍弃一定数量的好用户可以避免多少坏用户之间的相互关系.

二.提升图：

提升图的作用：提升图比较的是采用模型与不采用模型带来的改善，即采用模型后对坏样本识别能力的提升程度。
提升图的计算过程： 提升图衡量的是在用模型进行样本准入审核后对坏样本分布的改变，进而将坏样本集中在前几组中，通过合理设置通过率来降低坏账率。
举例说明：
　　以坏样本为正样本，假设样本总体为 10,000，实际违约率为7%，即实际违约的样本为 700 个。构建评分卡模型，给出预测正样本的概率输出。将概率降序排列（概率越大逾期的可能性越高），然后将概率等分为 10 组，分别计算每组的实际违约数、占总违约数的占比，累计占比．
　　
如图：

坏样本占比的计算公式为组内实际的坏样本数比坏样本总数，累计占比为坏样本占比的累加结果。

提升图的绘制：采用模型判断得到的每组坏样本占比与随机判断每组的坏样本占比绘图得到提升图
注意：注意，组内样本数均为 1,000，是随机猜想状态下样本应该均匀地分布在不同的组内而得到的，实际样本数不会是完全均等的每组 1,000 个样本。

由提升图可以发现，随着模型预测概率（预测坏样本）的下降，其实际的坏样本的占比逐渐下降，即模型的预测结果与真实的违约情况有很好的单调关系

如图 9-8 所示，第 6 组的坏样本占比高于第 5 组的坏样本占比，需要重新建模。

提升图的另外一种表现形式：
　　为了直观地比较有模型判断与随机判断在识别坏样本的提升程度上的差别，可以将采用模型判断得到的每组坏样本占比与随机判断每组的坏样本占比做比值,更加直观地看到性能的提升.
　　

三.洛伦兹图:

洛伦兹图绘制：采用模型判断得到的每组累计坏样本占比与随机判断每组的累计坏样本占比进行绘图，就得到了累计提升图也叫洛伦兹图。

较好的模型的洛伦兹图应该更偏向于左上坐标轴
洛伦兹图与ROC曲线图这两种比较模型性能的方式相同。

• ROC 曲线的计算过程是将总体样本按预测概率降序排列（预测坏样本的概率），并将概率分为 10 等份，这个过程与洛伦兹曲线的计算过程一致。
• ROC 曲线以每个概率值作为 cutoff 重新计算整体的 TPR 和 FPR。这里的 TPR 与洛伦兹曲线是一致的。
• 洛伦兹曲线计算表中，每个组别（概率区间）的实际违约占比就是该组内TPR其分子为该组内的 TP 值，而分母为整个真实正样本数为 TP+FN=700。累计占比为各个组别内的占比加和，由于分母都是 TP+FN=700，所以这与在 ROC 曲线中直接计算某一概率为cutoff 时 计 算 TPR 是 等 价 的 ， 即 纵 坐 标 就 是TPR=P(p≥cutoff|B)=TP/(TP+FN)。

不同点：

• 横坐标的表示，ROC 曲线中横坐标是 FPR=P(p≥cutoff|G)=FP/(FP+TN)代表的是对不逾期样本的误判率。
• 而洛伦兹图的横坐标为分组数，因为同样对预测概率分组，所以分组形式隐含表示了每组的概率边界及通过率等信息

总结：洛伦兹曲线与 ROC 曲线本质是相同的，只是横坐标表示的信息有所不同。

洛伦兹图横坐标可以表示通过率。
　　　比如以 4 组的虚线位置为 cutoff，则 1 到 4 组作为拒绝的样本，将 5 到 10 组作为通过的样本，此时通过率为 60%，对应的概率边界为 0.6，对应的 cutoff=0.6，即模型预测概率大于等于 0.6 的样本都拒绝授信，只将概率小于 0.6 的样本作为准入样本。比较模型 1 和模型 2 的性能，在通过率为 60%的情况下，模型 1 可以识别出 89%的坏样本，而模型 2 只能识别出 79%的坏样本。对于模型 1 来说意味着只有 11%的漏报率，即将 11%的坏样本作为好样本给予授信．
　　　简单点说就是模型以坏样本为正样本。所以横坐标为通过率 ，即在4为cutoff时通过率为60%，通过率大于等于60%的都是拒绝样本，小于60%的准入样本。
　　　
模型性能：洛伦兹曲线中可以知道，越接近左上坐标轴，模型的性能越好。
量化模型性能：用洛伦兹曲线与随机判断对角线围成的面积A 来量化模型的性能。

• A 的面积等于 A+B 的和，此时可以完美地识别所有坏样本；
• 如果 A 的面积为0，此时为随机判断方法。我们将可提升的面积与提升的极限做比值定义为基尼系数，因此，基尼系数的取值范围是[ 0 , 1 ]。

基尼系数的计算公式可表示为：

令图中的矩形面积为 1，那么 A+B 的面积为 0.5。AUC =C+A，因此，G=2AUC-1。需要注意的是基尼系数和 AR（AccuracyRatio）是等价的

四.K-S曲线:

K-S本质：K-S 曲线的本质就是坏样本的洛伦兹曲线和好样本的洛
伦兹曲线。(就是两条落轮兹曲线，一条好，一条坏。)

在介绍洛伦兹曲线时已经证明逾期样本的累积占比曲线就是TPR。同理，不逾期样本的累积占比曲线就是 FPR。在 K-S 曲线中可以看出，横坐标的概率分组其实就是 ROC 曲线中给定不同的cutoff 切分点。

KS 值，计算公式：KS=Max(TPR-FPR)

KS值作用：KS 值反应了模型对好坏样本的区分能力，KS 值越大表示对好坏样本的区分能力越强。

K-S 曲线作用：不同的概率分组下或者理解为不同的 cutoff 下模型对逾期样本与不逾期样本的识别能力。

注意：KS 值表征的是模型对正负样本的区分能力，但ks值本身没有倾向性对正样本区分好一些与对负样本好一些，其KS 值可能是一样的。因此，在实际使用中不能单看 KS 这一单个指标，不能认为 KS 值很高，就断言模型可用。此时需要查看 Recall和 Percison 指标，衡量模型对正样本的区分能力的好坏。

五.总结：

• ROC 曲线与坐标轴围成的面积,面积越大表示模型的性能越好。
• 提升图的作用是采用模型后对坏样本识别能力的提升程度。
• 洛伦兹曲线中可以知道，越接近左上坐标轴，模型的性能越好。
• KS值反应了模型对好坏样本的区分能力，KS 值越大表示对好坏样本的区分能力越强。

六.其他模型评估指标

模型的评估指标(一)

本文来自互联网用户投稿，文章观点仅代表作者本人，不代表本站立场，不承担相关法律责任。如若转载，请注明出处。 如若内容造成侵权/违法违规/事实不符，请点击【内容举报】进行投诉反馈！