将介绍预测模型的评估。评估预后模型背后的基本思想是检查它在成对患者中的表现。
假设以这两个苹果为代表的病人。左手苹果看起来不新鲜,两天后就会过期,但我右手的苹果在接下来的两天里是新鲜的。现在我们想要一个好的风险模型来给不新鲜的苹果更高的风险评分,这就是风险模型(risk model )评价背后的基本思想。风险评估模型背后的基本思想是比较它分配给个人的风险评分。要评估这些风险评分,我们需要知道病人是否真的发生了事件。
在这里,我们正在研究十年内的死亡。因此,我们需要知道病人 A 病人在未来十年内死亡,但病人 B 没有。鉴于病人 A 和 B 让我们考虑一个好的预后模型会给他们风险评分。一个好的预后模型应该给病人 A 提供比患者 B 风险评分较高。
现在,这些数字不必介于 0 和 1 它们之间不一定是概率,我们想从模型中得到的只是一个分配给病人的 A 比病人有更高的风险 B。
Concordant Pairs, Risk Ties, Permissible Pairs
一般来说,结果最差的患者风险评分越高,这种配对称为一致性(Concordant)。
现在,当结果最差的病人,这个病人 A 没有更高的风险评分,这被称为不一致(not Concordant)。再考虑两种情况
在这种情况下,我们不认为它是 Concordant 或 not Concordant。我们把这些分类为相同的风险分数(risk ties)。
请注意,如果两个病人在十年内死亡,或者两个病人在十年内死亡怎么办?事实证明,我们不能使用这些配对来确定谁应该有更高的风险评分。
因此,在评估预后模型时,我们只考虑不同结果的配对。不同的一对称结果被称为允许对(Permissible Pairs)。正是有了这样的配对,我们才能评估预后模型。
使用所有这些信息,我们现在可以给concordant允许对,得分+1,risk tie 允许配对,分为+0.5。换句话说,risk tie 权重是concordant的一半。
C-Index
Concordance index(C-index) 公式如上。C-index 有以下解释。
它告诉我们,如果我们给一个模型和两个随机病人 A 和 B,让它们有不同的结果,A的结果更糟。
结果最差的患者A的概率是多少?风险分数更高吗?一个完全随机的模型只能猜对一半,C-index=0.5。完美的C模型-index=1。
让我们计算以下示例 C-index。这里有五个病人。
分别进行两两对配对,共有几种组合,其中 permission pairs, condordant pairs, risk ties是什么组合?(不知道区别,学习以上内容)直接给出答案