新知一下
海量新知
6 5 1 6 1 1 2

【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

拓端tecdat | “一站式”数据分析学习和咨询 2022/09/23 16:47

全文下载链接:http://tecdat.cn/?p=20650


本文旨在帮助您以一种简单的语言理解 ROC 曲线,以便您可以在 ROC 曲线背后建立一些基本思想。

相关视频


本文将帮助您回答以下问题:
  1. ROC曲线是什么?

  2. 曲线下的面积是多少?

  3. 二元分类的决策阈值是多少?

  4. 分类模型可接受的 AUC值是多少?

  5. 什么是精确召回曲线?

  6. 什么时候应该使用精确召回和 ROC 曲线?

什么是ROC曲线?

如果你用搜索 ROC 曲线,你会得到以下答案:

“_接受者操作特征曲线_或 ROC 曲线是一个图形,它说明了二元分类器系统在其区分阈值变化时的诊断能力。”

这个定义不容易理解,对初学者来说可能听起来很吓人。


在我们进入 ROC 曲线之前,我们需要记住混淆矩阵是什么。

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

混淆矩阵

混淆矩阵帮助我们可视化模型在区分两个类别时是否“错误”。它是一个 2x2 矩阵。行名是测试集中的实际值,列名是模型预测的。

Positive Negative 是 ML 模型预测标签的名称。每当预测错误时,第一个词是 False ,当预测正确时,第一个词是 True

ROC曲线基于从混淆矩阵得出的两个指标:真正例率 ( TPR  ) 和假正例率 ( FPR  )。 TPR 与召回率相同。它是正确预测的正样本除以数据集中可用的所有实际正样本的比率。

TPR 侧重于实际的正类:

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

真正例率公式

反过来,FPR 是假正例预测与真负样本总数的比率。

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

FPR公式

ROC 曲线是基于 TPR 和 FPR 绘制的。

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

ROC曲线示例

通过使用 TPR 和 FPR,ROC 曲线显示了您的分类模型在所有分类阈值下的性能。

但是分类决策阈值是多少?

首先,你的分类 ML 模型输出是一个概率。例如,您构建一个分类器来根据给定人的体重预测性别(女性或男性)。假设正类是女性(1),负类是男性(0)。然后,您将 150 公斤的重量样本传递给您的 ML 模型,该模型预测的概率为 0.23。

默认情况下,您的分类阈值为 0.5。任何高于 0.5 的概率将被归类为 1 类(正),低于 0.5 的概率将被归为 0 类(负)。给定 0.23 的概率,体重 150 公斤的人将被归类为负类(男性)。

简而言之,您使用此阈值作为截止值,将预测结果分类为正类或负类。这是一个后处理步骤,将预测概率作为二进制类别返回。通过更改阈值,您的 TP、TN、FP 和 FN 将发生变化,因此您可以根据要改进的指标对其进行优化。

因此,ROC 反过来会告诉您您的 ML 模型能够在多大程度上区分不同阈值的两个类别。

您使用称为 AUC曲线下面积 来测量 ROC。您使用 AUC 来评估算法的质量,以便在两个类别之间进行检测。

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

A  rea U  under the Curve: AUC

让我们通过图形示例来回顾 ROC。

假设我们正在建立一个模型来预测:申请人是偿还贷款还是坏帐。

在下图中,蓝线是正类预测概率的分布,表示申请者拒付(未能偿还),红线是负类预测概率分布,表示申请者将偿还。

在以下情况下,AUC 为 0.70。这意味着该模型能够正确区分正类和负类之间的 70%。

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

AUC=0.7

显然,我们离理想的情况还很远。曲线将重叠,这意味着我们的 ML 模型会犯错误,我们将其视为误报。

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

理想分类器示例

上述案例说明了当我们的 ML 模型正确预测两个类时的理想情况。分布之间没有重叠。该模型可以完美区分正类和负类,是一个理想的分类器。

可能存在 AUC 为 0.5 的情况。这意味着我们的 ML 模型无法区分正类和负类。它实际上是一个随机分类器。

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

AUC = 0.5

有时 AUC 为 0。这意味着模型反向预测类别。该模型认为负类是正类,反之亦然。

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

AUC = 0

总而言之,合理的 AUC 超过 0.5(随机分类器),而好的分类模型的 AUC > 0.9。然而,这个值高度依赖于它的应用。


R语言实例:生存分析模型的时间依赖性ROC曲线可视化


使用随时间变化的时间相关ROC可以更全面地描述这种情况下的预测模型。

相关视频


时间相关的ROC定义

令 Mi为用于死亡率预测的基线(时间0)标量标记。 当随时间推移观察到结果时,其预测性能取决于评估时间 _t_。直观地说,在零时间测量的标记值应该变得不那么相关。因此,ROC测得的预测性能(区分)是时间_t_的函数 。

累积病例

累积病例/动态ROC定义了在时间_t_ 处的阈值_c_处的 灵敏度和特异性,  如下所示。

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

累积灵敏度将在时间_t_之前死亡的视为分母(疾病),而将标记值高于 _c_ 的作为真实阳性(疾病阳性)。动态特异性将在时间_t_仍然活着作为分母(健康),并将标记值小于或等于 _c_ 的那些作为真实阴性(健康中的阴性)。将阈值 _c_ 从最小值更改为最大值会在时间_t_处显示整个ROC曲线 。

新发病例

新发病例ROC1在时间_t_ 处以阈值 _c_定义灵敏度和特异性,  如下所示。

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

累积灵敏度将在时间_t处_死亡的人  视为分母(疾病),而将标记值高于 _Ç_ 的人视为真实阳性(疾病阳性)。

数据准备

我们以 survival 为例。事件发生的时间就是死亡的时间。Kaplan-Meier图如下。

 ## 变成data_frame
data <- as_data_frame(data)
## 绘图
plot(survfit(Surv(futime, fustat) ~ 1,
data = data)


可视化结果:

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

在数据集中超过720天没有发生任何事件。



点击标题查阅往期内容


新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

R语言如何在 生存分析与Cox回归中计算IDI,NRI指标

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现


左右滑动查看更多


新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

01

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

02

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

03

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

04

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现




 ## 拟合cox模型
coxph(formula = Surv(futime, fustat) ~ pspline(age, df = 4) +
##获得线性预测值
predict(coxph1, type = "lp")


新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

累积病例

实现了累积病例

 ## 定义一个辅助函数,以在不同的时间进行评估
ROC_hlp <- function(t) {
survivalROC(Stime
status
marker
predict.time = t,
method = "NNE",
span = 0.25 * nrow(ovarian)^(-0.20))
}
## 每180天评估一次
ROC_data <- data_frame(t = 180 * c(1,2,3,4,5,6)) %>%
mutate(survivalROC = map(t, survivalROC_helper),
## 提取AUC
auc = map_dbl(survivalROC, magrittr::extract2, "AUC"),
## 在data_frame中放相关的值
df_survivalROC = map(survivalROC, function(obj) {

## 绘图
ggplot(mapping = aes(x = FP, y = TP)) +
geom_point() +
geom_line() +
facet_wrap( ~ t) +


可视化结果:

新知达人, 【视频】分类模型评估:精确率、召回率、ROC曲线、AUC与R语言生存分析时间依赖性ROC实现

180天的ROC看起来是最好的。因为到此刻为止几乎没有事件。在最后观察到的事件(t≥720)之后,AUC稳定在0.856。这种表现并没有衰退,因为高风险分数的人死了。

新发病例

实现新发病例

 ## 定义一个辅助函数,以在不同的时间进行评估

## 每180天评估一次

## 提取AUC
auc = map_dbl(risksetROC, magrittr::extract2, "AUC"),
## 在data_frame中放相关的值
df_risksetROC = map(risksetROC, function(obj) {
## 标记栏
marker <- c(-Inf, obj[["marker"]], Inf)

## 绘图

ggplot(mapping = aes(x = FP, y = TP)) +
geom_point() +
geom_line() +
geom_label(data = risksetROC_data %>% dplyr::select(t,auc) %>% unique,
facet_wrap( ~ t) +


可视化结果:

这种差异在后期更为明显。最值得注意的是,只有在每个时间点处于风险集中的个体才能提供数据。所以数据点少了。表现的衰退更为明显,也许是因为在那些存活时间足够长的人中,时间零点的风险分没有那么重要。一旦没有事件,ROC基本上就会趋于平缓。

结论

总之,我们研究了时间依赖的ROC及其R实现。累积病例ROC可能与_风险_ (累积发生率)预测模型的概念更兼容 。新发病例ROC可用于检查时间零标记在预测后续事件时的相关性。

参考

  1. Heagerty,Patrick J. and Zheng,Yingye,  _Survival Model Predictive Accuracy and ROC Curves_,Biometrics,61(1),92-105(2005). doi:10.1111 / j.0006-341X.2005.030814.x.




本文摘选 R语言中生存分析模型的时间依赖性ROC曲线可视化 ,点击“ 阅读原文 ”获取 全文完整资料。





本文中的 病例 数据 分享到 会员群 ,扫描下面二维码即可加群!


点击标题查阅往期内容

如何在生存分析与Cox回归中计算IDI,NRI指标
R语言中的生存分析Survival analysis晚期肺癌患者4例
R语言生态学建模:增强回归树(BRT)预测短鳍鳗生存分布和影响因素
R语言使用限制平均生存时间RMST比较两条生存曲线分析肝硬化患者
R语言生存分析: 时变竞争风险模型分析淋巴瘤患者
R语言生存分析数据分析可视化案例
R语言生存分析可视化分析
R语言生存分析数据分析可视化案例
R语言如何在生存分析与Cox回归中计算IDI,NRI指标
R语言绘制生存曲线估计|生存分析|如何R作生存曲线图
R语言解释生存分析中危险率和风险率的变化
R语言中的生存分析Survival analysis晚期肺癌患者4例
R语言绘制生存曲线估计|生存分析|如何R作生存曲线图


欲获取全文文件,请点击左下角“ 阅读原文 ”。


欲获取全文文件,请点击左下角“ 阅读原文 ”。

新知精选

更多新知精选