临床预测模型重要且复杂 近年来,临床预测模型在诊断治疗决策、患者预后管理、公共卫生资源配置等方面的应用越来越重要,但是建立临床预测模型是一项复杂的系统工程。本文回顾了相关的权威研究,对临床预测模型建立全过程进行总结,同时也介绍了其中的概念及重要原则。 建立临床预测模型的5个阶段 在个性化医学时代,预测流行或偶发疾病(诊断)或未来疾病进程(预后)的结果对医护人员的病人管理变得更加重要。临床预测模型用于研究特定条件下患者的未来或未知结果(终点)和基线健康状态(起点)之间的关系,通常会结合多个参数,帮助医生洞察模型中每个预测因子的相对影响。 模型需要准确预测特定事件,且相对简单易用。一方面,如果预测模型提供了对未来事件发生的不准确估计,它将误导医疗专业人员;另一方面,如果模型具有很高的可预测性,但难以应用(如,计算复杂或不熟悉的问题项目或单位),耗时、成本高或相关性低(例如,针对所有病人进行无差别的筛查),则不会被临床普遍使用。因此,在可预测性和可操作性之间取得平衡是建立一个良好的临床预测模型的关键。 虽然目前对预测模型的理想构建方法还没有达成共识,但众多临床研究领域的专家在预测研究策略提出了许多方法来提高模型开发的质量和影响。本文基于以往研究成果,将建立临床预测模型的全过程总结为5个主要阶段: 建立临床预测模型的5个阶段 1hr第一阶段:定义研究问题 从统计技术的角度来说,临床预测模型是临床研究中比较高级的研究类型,但并非所有的问题都适合用临床预测模型来回答。例如,干预暴露措施的效应估计与比较则适合用t检验方差分析、卡方检验、Logrank检验等传统的统计学假设检验或者校正模型来回答。 临床预测模型则适合回答疾病的诊断或预后相关问题,特别是预测因子的组合如何准确的估计患病或事件发生的概率,其本质是利用临床数据集建立一个多变量、高精度、有意义的预测模型。首先,我们需要阐明几个重要的研究问题: 1)目标疾病领域的目标结果是什么?如糖尿病、心血管疾病;某一并发症、死亡。 2)目标患者是谁?如普通人群、65岁以上老年人或2型糖尿病患者。 3)预测模型的目标用户是谁?如疾病领域内其他医生、健康相关组织、有患病风险的群体、其他关心该疾病的群体。 根据以上问题的答案,结合目标领域、患者选择相关领域的数据集,目标用户的类别将决定指标的选择和处理过程,这将影响临床预测模型的专业度和复杂性。 预测模型可应用的问题类型 2hr第二阶段:选择数据集 在融合的过程中,医教研管等应用层面的落地,需要人才的聚集和产业生态的建立。自2013年成立以来,近百家中国领先医疗研究机构(排名前150)和政府机构与医疗人工智能公司医渡云达成合作。医渡云在发展中,凭借战略的国际化和文化的多元性,吸引了全球知名科学家及专业领域的优秀人才,为医院处理和集成融合了横跨10余年的医学信息,覆盖40余类重大病种,创建3000多个专科疾病模型,自主开发了医学数据智能平台。 数据集是临床预测模型最重要的组成部分之一,现实中需要搜索最适合的数据集并将其最大利用。通常也可以选择使用专业的临床数据源辅助和管理工具,梳理和建立包含研究终点和所有关键预测因子的主数据集。研究人员可根据预测模型的目的使用方法从中提取不同的子数据集。 不同的临床预测模型问题适合用不同的研究设计数据来回答。对于诊断类问题,其预测因子与结局均在同一时点或很短的时间内,适合采用横断面研究数据构建诊断模型;对于预后类问题,其预测因子与结局有纵向的时间逻辑,适合采用队列研究数据拟合预后模型。随机对照临床试验可视为更为严格前瞻性队列,因此也可用于建立预后模型,但在外推性受限。不同类型的临床预测模型特点如下表所示: 不同预测模型的特点及数据的选择 对于数据集中样本数量的最低要求,没有绝对共识。一般来说,大型、较新的数据集能够更好地反映目标群体的特征,可以增强模型的相关性、可重复性和可推广性,是建模的理想选择。 为了客观验证建模结果,通常需要将研究数据分成两个部分:训练数据集和验证数据集。根据研究者的特定目标,分割率可能会有所不同,但一般来说,应将更多的研究对象分配给开发数据集,而不是验证数据集。 临床预测模型首先通过算法从训练集的中提取规律,其预测性能应根据验证集在不同人群中进行评估。为了确定模型的扩展性和鲁棒性,还可以根据数据集的格式尽可能使用来自外部研究人群或队列组建测试数据集进行外部验证。 医疗大数据已成为预测模型数据集的重要选择 3hr第三阶段:处理特征变量 首先要对确定的数据集进行基本清洗,包含包括检查数据一致性,处理无效值和错误值等。由于数据集包含的变量通常多于最终预测模型使用的变量,因此在建立模型前需要评估和选择最具预测性和敏感性的预测因子。一般来说,对特征变量的评估有三个主要方面: 1、需要核查人员对缺失数据进行处理在大多数数据分析中,丢失数据是一个长期的问题,丢失原因各有差异,包括未收集、不可用或不适用、被调查者拒绝、或不知道等。为了解决这个问题,研究人员可以考虑采用插补技术,将答案分为是和其他,或者允许未知作为单独的类别,尽可能提高数据的填充率。 2、需要专家的经验判断之前被发现的具有重要意义的预测因子,通常应被视为候选变量,如糖尿病风险评分中的糖尿病家族史。需要注意的是,并非所有重要的预测因子都需要纳入最终模型,如p0。05。预测因子的选择必须始终以临床相关性判断为指导,以防止无意义或相关性较低或用户不友好的变量被纳入模型。 此外,与其他变量高度相关的变量可能被排除在外,因为它们贡献的唯一信息很少。另一方面,不具有统计学意义或影响较小的变量可能仍然对模型有贡献。根据研究者的判断,可以根据不同的试用场景来选择不同的变量户,例如,一个不需要实验室变量的简单临床预测模型和一个可以同时为非专业人士和医疗保健提供者设计的综合模型。 3、需要数据科学家对变量编码分类变量和连续变量的处理方法有所不同。对于分类变量,可以结合临床的现实意义以及数据特征进行类别的合并或者重分类。例如,基本人口学特征中,教育程度往往分为小学、初中、高中、大专、本科、研究生、博士等,根据分析的需求和过往研究,是否高中毕业可能为一个重要分界点,此时可重新划分为小学、中学、本科及以上。这样可以使各类别人数相对平衡,避免过度细分。 连续变量的相对效应由模型中使用的测量尺度决定。例如,空腹血糖水平对心血管疾病风险的影响,可以解释为每10mgdl比每1mgdl通常对结果会有更大的影响。 完成特征变量的评估和处理后,由于不同算法所需的数据类型不同,需要将数据和算法进行适配。通常情况下连续变量通常会携带比分类变量更丰富和精准的信息,但同时可能增加模型复杂度和使用难度或难以被外行理解。研究人员可以在建模过程中通过对一些预测因素的观察对变量类型进行进一步调整,从而优化模型。 处理特征变量的工作比例 4hr第四阶段:预测模型建立 虽然在选择预测目标变量和确定预测模型方面还没有形成业内一致的指导方针,但可以借鉴统计分析的概念。根据预期用途,将问题解决方式定义为分类预测模型、线性预测模型和风险预测模型。建立临床预测模型的一些建议: 将所有候选变量包括在模型中,可采用反向淘汰法或逐步选择法去除一些不重要的候选变量。包含所有候选变量可避免过度拟合和选择偏差。可参考赤池信息量准则(AIC)和贝叶斯信息准则(BIC),进行模型拟合度检查。AIC是一个模型拟合的索引,通常AIC值越低,模型拟合越好。也有一些人士认为AIC涉及解释,而BIC涉及预测,其中BIC可以被视为针对贝叶斯算法的对应指标。如果研究人员更熟悉高级算法,则可以考虑通过机器学习算法进行模型拟合。按照响应变量(因变量Y)的类型,可以分配不同建模算法,类似研究中经常使用的算法如下。 常用算法及特点 5hr第五阶段:模型评估验证(内部外部) 在模型生成之后,研究人员应该使用一个独立的测试数据集来评估他们提出的模型的预测能力。不同类型问题的评价指标不同,这些指标可以反映模型不同方面的特点。下面分别列举了分类问题和回归问题的评价指标,在实际建模工作中,还需要理解各个指标的含义,对这些指标进行合理应用解读。 分类问题中的指标 回归问题中的指标 预测模型的验证与应用方向 由于模型开发比较复杂,与数据科学家和统计专家协商可以提高预测模型研究的有效性和整体质量。在开发模型之后,应尽可能多的在使用该模型之前,用多个外部数据集进行有力的验证,并向相关方进行有效的传播。 临床预测模型的应用场景不仅局限在医疗机构内部。基于国内现况,Web或智能移动端的应用程序可以更好地成为向公众宣传和推广预测模型的重要渠道。 希望本文内容,能够帮助医生研究人员对临床预测模型有初步理解,并能支持现实科研工作。我们将在以后的推文中,详细介绍预测模型中用到的回归方式、算法等话题。 参考文献:MoonsKG,RoystonP,VergouweY,GrobbeeDE,AltmanDG。Prognosisandprognosticresearch:what,why,andhow?BMJ2009;338:b375。HemingwayH,CroftP,PerelP,HaydenJA,AbramsK,TimmisA,etal。Prognosisresearchstrategy(PROGRESS)1:aframeworkforresearchingclinicaloutcomes。BMJ2013;346:e5595。GreenlandS。Theneedforreorientationtowardcosteffectiveprediction:commentson‘Evaluatingtheaddedpredictiveabilityofanewmarker。FromareaundertheROCcurvetoreclassificationandbeyond’byM。J。Pencinaetal。,StatisticsinMedicine(DOI:10。1002sim。2929)。StatMed2008;27:199206。GriffinSJ,LittlePS,HalesCN,KinmonthAL,WarehamNJ。Diabetesriskscore:towardsearlierdetectionoftype2diabetesingeneralpractice。DiabetesMetabResRev2000;16:16471。GoffDCJr,LloydJonesDM,BennettG,CoadyS,D’AgostinoRB,GibbonsR,etal。2013ACCAHAguidelineontheassessmentofcardiovascularrisk:areportoftheAmericanCollegeofCardiologyAmericanHeartAssociationTaskForceonPracticeGuidelines。Circulation2014;129(25Suppl2):S4973。SteyerbergEW,VergouweY。Towardsbetterclinicalpredictionmodels:sevenstepsfordevelopmentandanABCDforvalidation。EurHeartJ2014;35:192531。AltmanDG,RoystonP。Whatdowemeanbyvalidatingaprognosticmodel?StatMed2000;19:45373。SteyerbergEW。Clinicalpredictionmodels:apracticalapproachtodevelopment,validation,andupdating。NewYork:Springer;2009。SteyerbergEW,MoonsKG,vanderWindtDA,HaydenJA,PerelP,SchroterS,etal。PrognosisResearchStrategy(PROGRESS)3:prognosticmodelresearch。PLoSMed2013;10:e1001381。CollinsGS,ReitsmaJB,AltmanDG,MoonsKG。TransparentReportingofamultivariablepredictionmodelforInpidualPrognosisorDiagnosis(TRIPOD):theTRIPODstatement。AnnInternMed2015;162:5563。LeeYH,BangH,ParkYM,BaeJC,LeeBW,KangES,etal。Nonlaboratorybasedselfassessmentscreeningscorefornonalcoholicfattyliverdisease:development,validationandcomparisonwithotherscores。PLoSOne2014;9:e107584。BangH,EdwardsAM,BombackAS,BallantyneCM,BrillonD,CallahanMA,etal。Developmentandvalidationofapatientselfassessmentscorefordiabetesrisk。AnnInternMed2009;151:77583。KotronenA,PeltonenM,HakkarainenA,SevastianovaK,BergholmR,JohanssonLM,etal。Predictionofnonalcoholicfattyliverdiseaseandliverfatusingmetabolicandgeneticfactors。Gastroenterology2009;137:86572。HarrellFEJr。Regressionmodelingstrategies:withapplicationstolinearmodels,logisticregression,andsurvivalanalysis。NewYork:Springer;2001。BoersmaE,PoldermansD,BaxJJ,SteyerbergEW,ThomsonIR,BangaJD,etal。Predictorsofcardiaceventsaftermajorvascularsurgery:roleofclinicalcharacteristics,dobutamineechocardiography,andbetablockertherapy。JAMA2001;285:186573。ShmueliG。Toexplainortopredict?StatSci2010:289310。HeikesKE,EddyDM,ArondekarB,SchlessingerL。Diabetesriskcalculator:asimpletoolfordetectingundiagnoseddiabetesandprediabetes。DiabetesCare2008;31:10405。BreimanL。Statisticalmodeling:thetwocultures(withcommentsandarejoinderbytheauthor)。StatistSci2001;16:199231。SteyerbergEW,VickersAJ,CookNR,GerdsT,GonenM,ObuchowskiN,etal。Assessingtheperformanceofpredictionmodels:aframeworkfortraditionalandnovelmeasures。Epidemiology2010;21:12838。MeffertPJ,BaumeisterSE,LerchMM,MayerleJ,KratzerW,VolzkeH。Development,externalvalidation,andcomparativeassessmentofanewdiagnosticscoreforhepaticsteatosis。AmJGastroenterol2014;109:140414。HildenJ。Commentary:onNRI,IDI,andgoodlookingstatisticswithnothingunderneath。Epidemiology2014;25:2657。 领略医学之美,幸福科研人生。欢迎关注公众号【启帆医学BioSCI】,公众号专注于生物医学研究、科研课题设计、SCI论文写作等领域的知识梳理和资料分享,为广大医务工作者提供便利。