近年来,临床预测模型研究越来越受到关注,而且大量的研究也在探索应用多种不同的建模方法建立临床预测模型。临床预测模型作为风险与获益评估的量化工具,可为医生、患者以及卫生行政人员的决策提供更为客观、准确的信息,因此其应用也越来越普遍。本期肿瘤资讯特别邀请北京协和医院张丁丁博士从临床预测模型的概念、分类、构建方法与流程,报告规范与临床预测模型案例等进行分享。
北京协和医院
主要研究方向为脑血管病、神经退行性疾病流行病学和遗传流行病学,罕见病流行病学
主持中央高水平医院临研专项青年培优项目和医科院青年基金各1项,参加国家级课题多项
第一或通讯作者发表SCI论文10余篇,共同作者发表SCI论文30余篇
有较丰富人群调查、队列研究、临床研究和全基因组关联研究工作经验
临床预测模型的概念
临床预测模型研究是一种在近期逐渐流行起来的研究方法,在整个医学领域备受瞩目。该方法的普及与R语言统计分析软件的开发密不可分,降低了临床预测模型研究门槛,即使缺乏统计学和流行学基础的研究人员也能方便地进行该研究。因此,近年来临床预测模型研究数量不断增加,且研究质量逐步提高。预测是基于一定的统计学分析算法或人工智能非参数的方法,是可重复的过程,即一个人应用同一种临床预测模型,能够得出相同的结果。女影星安吉丽娜朱莉因BRCA1突变而进行乳腺和卵巢的切除手术来预防乳腺癌和卵巢癌,也使该研究方法一步走进大众的视野。
临床预测模型研究主要分为两大类,一类是诊断预测模型,可以通过诊断预测模型预测患者是否患有某种疾病。第二类预测模型叫预后预测模型。通过采集患者目前的一些信息,然后来预测今后一段时间内,患者新发某种疾病或者是预后转归的预测模型。诊断预测模型就是利用横断面的数据来进行诊断预测的模型,预后预测模型就是利用前瞻性的数据来预测新发某种疾病或者是预后转归的一种预测模型。
临床预测模型的构建方法与流程
临床预测模型的主要流程包含以下四个方面:第一是建立预测模型;第二是验证预测模型;第三是应用与维护预测模型;第四是报告预测模型。建立预测模型遵循的流程就是第一步是要明确它要预测一个什么样的临床问题,预测诊断的问题还是预测新发疾病的问题还是预测预后转归的问题。第二步是明确数据来源。第三步是预测变量的处理。第四步就是预测变量的筛选。然后利用筛选出来的预测变量,拟合一个预测模型,最后评估该模型。评估预测模型,主要分为两个步骤:一个是内部验证;一个是外部验证。通过内部验证和外部验证的模型,才能够称为是可以在临床上加以应用的一个临床预测模型。理想情况下,开发出一个临床预测模型之后,还需要评价这个模型是否有效。接下来还需要对模型进行更新以适应最新的人群的一个状况。报告模型就是在完成一个临床预测模型研究之后,对模型进行撰写与发表。
建立临床预测模型还需要重点注意以下几点:第一步是明确预测模型是诊断预测模型还是预后预测模型;第二步就是找数据,临床研究要求要有基于临床个体的数据来开发预测模型。
临床预测模型研究在模型建立或拟合方面主要分为两类方法:第一类是传统的生物统计方法,利用回归分析建立预测模型;第二类是人工智能或机器学习方法,是一种非参数的方法,近年来越来越受到关注且应用广泛,是建立预测模型的热门方法。
这两类方法如何选择呢?个人观点是,由于临床研究的预测模型基于相对明确的病理生理机制,所以大部分情况下,传统的生物统计分析方法已经可以取得较好的预测模型效果。如果在应用传统生物统计分析方法(如回归分析)进行预测变量筛选时效果不满意,我们可以尝试使用人工智能或机器学习方法建立临床预测模型,以探索其是否能够比传统的生物统计方法获得更好的效果。
在临床预测模型研究中,确定适当的样本量也非常关键。2020年发表在英国医学杂志BMJ的一篇文章介绍了如何精确地确定床预测模型所需的样本量,提倡使用精确的估计方法,而非传统的简单估计方法。传统的简单估计方法通常是使用十倍预测变量的个数或事件数进行估算,但这种方法存在明显的不足和缺陷。而精确的估计方法应满足四个方面的要求,即1.准确估计人群的平均期望风险/值;2.使得个体风险估计值的误差越小越好;3.预期纳入的预测因子个数;4.预期达到的性能(如回归模型的R方等)。该项研究还开发了一个名为pmsampsize的R软件统计分析包,通过使用该包可以精确估算开展临床预测模型研究所需的样本量。因此,在进行临床预测模型研究时,样本量估计是至关重要的,并建议使用精确估计方法和pmsampsize软件包来确保可靠的研究结果。
在建立模型的过程中,预测变量的处理是非常重要的。对预测变量进行处理是因为在很多情况下,如果只是简单地使用原始值来建立预测模型,往往效果并不理想。因此,在大多数情况下,我们需要对预测变量进行一定的处理。常见的处理方法包括以下几个方面:首先是处理缺失值,可以进行填补或删除具有缺失值的研究对象,这是常见的缺失值处理方法。其次是将连续性变量转换为分类变量,或者将多分类变量简化为二分类或三分类变量,这些处理方式都很常见。另外,对于不符合正态分布的连续性变量,可以通过一定的转换函数将其转化为符合正态分布的连续变量。这些处理方法在建立预测模型时非常关键,对预测变量进行处理后可以明显提升预测模型的效果。
第二个关键步骤是预测变量筛选, 它对临床预测模型的预测效果达到临床实践需求起着关键作用。预测变量的筛选可以通过以下三种方法进行推进:首先是基于既往文献报道,主观选择与特定结局具有明确相关性的预测变量,并将其纳入模型。第二种是基于医学知识和病理生理机制,主观选择在疾病发生的病理生理制上明确相关的因素,从而选择预测变量。第三种是基于统计分析方法进行预测变量的选择,常见方法包括LASSO回归方法,AIC、BIC、IDI或NRI的指标比较。根据比较结果选择效果最佳的预测模型从中选择最合适的预测变量。因此,目前在预测变量的筛选中,主要是通过上述三个方法进行预测变量的筛选,以得到最佳的预测模型。
临床预测模型的评价和验证
在预测变量处理和筛选完成后,我们将初步建立一个预测模型。如何评价预测模的效果呢?这时有一个ABCD的评估原则,从以下几个方面评估预测模型的效果,第一个是“区分能力”,指通过C统计量或AUC曲线面积评估预测模型的C统计量和AUC值,以评估预测模型在区分高、低风险人群能力上的表现。第二个非关键的角度是“校准度”,即评估预测模型预测出来的风险与研究对象实际观察到的风险之间的一致性。我们可以观察校准曲线,将预测出来的风险与观察到的风险比较。当所有点都落在45度角的直线上时,表明我们的模型校准能力非常好。因此,这两个方面分别是预测模型效果评估中的“区分能力”和“校准度”,是非常重要且必须考虑的因素之一。
在具备高区分度和校准能力的基础上,我们通常会进一步进行决策曲线分析,以评估预测模型在临床应用中相比猜测或者P值的获益。这个评估需要进行两个逻辑评估,一个是内部验证,即在预测模型开发的样本中进行内部验证,包括区分度、校准度和决策曲线的验证。
如果我们想在广大人群中推广这个预测模型,那么外部验证也是不可缺少的。外部验证也需要进行前面提到的三个方面的验证:区分度、校准能力和决策曲线。临床预测模型研究至少需要进行内部验证,如果进行了外部验证,则效果会更好。这是一个重要的原则!
内部验证通常有四种方法,而目前比较推崇的方法是使用Bootstrap重抽样方法进行内部验证。外部验证通常是选取与建立模型的人群不相关的人群,对建立的模型进行验证。它包括三个方面:时段验证,空间验证和领域验证。领域验证非常容易理解,例如在预测模型开发时用消化科病人来建立模型,可以选择另一个科室的病人来进行外部验证。这是内部验证和外部验证,这非常重要。因此,在开展临床预测模型研究时,必不可少的是内部验证,并最终进行外部验证。
临床预测模型的应用
如何把预测模型投放到临床实践中加以应用呢?常见的有以下几种呈现类型,可以做一个得分表,可以做一个列线图,可以开发一个在EXCEL软件当中计算风险的软件;或者开发一个可以计算风险的网站;或者是开发一个可以装在智能手机上的APP,可以随时随地的评估患者的风险。
在这里给出一个例子,展示了预测模型的应用示例。这个例子是关于开发一个预测模的评分表格,通过几个预测因素可以计算出患者的风险。这个评分表格非常直观地告诉我们患者风险是高、中还是低,这种形式非常便于临床医生在实践中应用这个预测模型。
另外,列线图示意图也是在临床实践中非常方便应用的式。还有就是我国基于自身人群队列开发的心脑血管疾病风险预测模型,这也是一种形式。
至于临床预测模型研究的类型,主要分为几类。我们可以进行预测模型建立的研究,也可以进行仅预测模型的内部和外部验证研究,还可以进行全流程的研究,包括模型的建立、验证和应用,也选择其中的某个环节开展研究。
临床预测模型研究的报告
在完成临床预测模型研究后,需要遵循国际通用的TRIPOD报告规范对其进行报告或撰写论文。该规范旨在通过一个清单,对研究中的重要点进行说明,使读者能快速了解该临床预测模型的类型、品质、可靠性和是否可适用于临床实践。该清单可以帮助进行快速的评估,以进行进一步的应用研究。因此,在撰写临床预测模型研究报告时需要遵循TRIPOD报告规范。
该报告规范共包含22个条目,针对临床预测模型研究报告或论文的六个部分,提出了一系列的报告要求。我们选择几个重要的点进行进一步说明。
首先,报告规范要求在临床预测模型研究的标题中明确说明模型是否为多因素预测模型。此外,研究可以是模型建立研究、模型验证研究,或同时包括建立和验证两个部分。还需要模型的目标人群以及预测的结局,这些问题通常在论文标题中进行交代。例如,一个示例的标题表明了QRISK3模型的开发和验证,在题目中就交代了该模型用于预测未来心血管疾病的风险。
第二个重要点是在处理变量时,缺失数据的处理非常关键。在撰写预测模型研究论文或报告时,需要详细说明如何处理缺失数据。
第三个重要点是在撰写预测模型研究报告或论文时,需要对模型进行全面的报告。这意味着读者在阅读完论文或报告后,能够基于其中的内容计算个体的风险。简而言之,我们需要详细报告回归分析的回归系数、模型的常数项等内容,以便读者能够基于我们发表的报告或论文方便地应用该模型。
临床预测模型实例分享
2021年,Lancet Oncol杂志上发表了一项有关前列癌患者预后预测模型的研究。该研究旨在开发一个前瞻性预测模型,以预测此类患者的预后转归。
研究使用Bootstrap重抽样的方法进行内部的验证,就是把样本分成开发队列和验证队列的这种方法。该研究纳入多国家多中心的数据,并将数据按照2:1的比例划分为开发队列和验证队列。研究使用LASSO回归方法对预测因素进行筛选,分析的主要终点为总生存期和无进展生存期,次要终点是PSA50(前列腺特异性抗原下降50%以上)。研究开发了三个预测模型,分别用于预测总生存期、无进展生存期和PSA50。
该研究使用C指数及95%置信区间和校准曲线来评估预测模型。内部验证通过Bootstrap重抽样的方法进行,而外部验证则按照2:1的比例将数据划分为开发队列和验证队列,虽然严格来说更适合称为内部验证。预测模型开发的样本量为270名前列腺癌患者,中位生存期为21个月,针对总生存期、无进展生存期和PSA50开发了三个预测模型。这些预测模型均表现出色,ROC曲线下面积达到0.71和0.7,且内部验证和外部验证结果接近,具有较高的区分度和校准度。根据预测风险将患者分为高风险和低风险两组,高风险组总生存期和无进展生存期长。校准曲线和N图可方便地应用于临床实践中。总的来说,该预测模型具有较高的可性,可为临床医生提供辅助决策。
最终研究发布于柳叶刀子刊上,使用经典的方法进行预测模型研究,细致地处理和筛选预测变量,进行内部和外部验证。预测模型的应用和维护的进一步研究也能使临床预测模型研究更完整。总之,在撰写研究报告和论文时需要遵循TRIPOD报告规范,以进行合理的科学报告和阐述研究结果。
总结
当下医学模式快速更新迭代,数据的价值得到前所未有的重视,大数据时代数据的获取、存储以及分析与预测技术的迅速发展使得个性化医疗的构想越来越成为可能。从医疗实践的模式更迭发展的角度来看,临床预测模型的应用将成为当下精准医学模式的内在要求。
排版编辑:肿瘤资讯-IRIS