Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
So sánh các chiến lược cập nhật động cho các mô hình dự đoán lâm sàng
Tóm tắt
Các mô hình dự đoán đóng vai trò quan trọng trong nhiều quyết định y tế, nhưng hiệu suất của chúng thường suy giảm theo thời gian. Nhiều chiến lược cập nhật theo thời gian rời rạc đã được đề xuất trong tài liệu, bao gồm điều chỉnh lại mô hình và sửa đổi. Tuy nhiên, các chiến lược này chưa được so sánh trong bối cảnh cập nhật động. Chúng tôi đã sử dụng dữ liệu sống sau phẫu thuật ghép phổi trong giai đoạn 2010-2015 và so sánh Điểm Brier (BS), khả năng phân biệt và điều chỉnh của các chiến lược cập nhật sau: (1) không bao giờ cập nhật, (2) cập nhật theo quy trình kiểm tra đóng được đề xuất trong tài liệu, (3) luôn luôn điều chỉnh lại giao điểm, (4) luôn luôn điều chỉnh lại giao điểm và độ dốc, và (5) luôn luôn điều chỉnh/ sửa đổi mô hình. Trong mỗi trường hợp, chúng tôi đã khám phá các khoảng thời gian cập nhật là 1, 2, 4 và 8 quý. Chúng tôi cũng đã xem xét cách mà hiệu suất của các chiến lược cập nhật thay đổi khi số lượng dữ liệu cũ được bao gồm trong cập nhật (tức là, độ dài của cửa sổ trượt) tăng lên. Tất cả các phương pháp cập nhật mô hình đều dẫn đến cải thiện có ý nghĩa về BS so với việc không cập nhật. Việc cập nhật thường xuyên hơn mang lại BS, khả năng phân biệt và điều chỉnh tốt hơn, bất kể chiến lược cập nhật nào được áp dụng. Các chiến lược điều chỉnh lại dẫn đến cải thiện ổn định hơn và ít biến động hơn theo thời gian so với các chiến lược cập nhật khác. Việc sử dụng các cửa sổ trượt dài hơn không có ảnh hưởng đáng kể đến các chiến lược điều chỉnh lại, nhưng đã cải thiện khả năng phân biệt và điều chỉnh của quy trình kiểm tra đóng và các chiến lược sửa đổi mô hình. Việc cập nhật mô hình dẫn đến BS cải thiện, với việc cập nhật thường xuyên hơn hoạt động tốt hơn so với cập nhật ít thường xuyên hơn. Các chiến lược điều chỉnh lại mô hình dường như ít nhạy cảm hơn với khoảng thời gian cập nhật và độ dài của cửa sổ trượt.
Từ khóa
#cập nhật động #mô hình dự đoán lâm sàng #Điểm Brier #điều chỉnh mô hình #dữ liệu sống sau phẫu thuật ghépTài liệu tham khảo
Steyerberg EW. Updating for a New Setting. In: Clinical Prediction Models: A Practical Approach to Development, Validation, and Updating. New York: Springer Science+Business Media, LLC; 2010.
Jenkins DA, Sperrin M, Martin GP, Peek N. Dynamic models to predict health outcomes: current status and methodological challenges. Diagn Progn Res. 2018;2(1):23. https://doi.org/10.1186/s41512-018-0045-2.
Steyerberg EW, Vergouwe Y. Towards better clinical prediction models: seven steps for development and an ABCD for validation. Eur Heart J. 2014;35(29):1925–31. https://doi.org/10.1093/eurheartj/ehu207.
Van Calster B, et al. A calibration hierarchy for risk models was defined: from Utopia to empirical data. J Clin Epidemiol. 2016;74:167–76. https://doi.org/10.1016/j.jclinepi.2015.12.005.
Vergouwe Y, Nieboer D, Oostenbrink R, Debray TPA, Murray GD, Kattan MW, et al. A closed testing procedure to select an appropriate method for updating prediction models. Stat Med. 2017;36(28):4529–39. https://doi.org/10.1002/sim.7179.
Su TL, Jaki T, Hickey GL, Buchan I, Sperrin M. A review of statistical updating methods for clinical prediction models. Stat Methods Med Res. 2018;27(1):185–97. https://doi.org/10.1177/0962280215626466.
Cox D, Two further applications of a model for binary regression. Miscellanea, 1958.
Miller ME, Langefeld CD, Tierney WM, Hui SL, McDonald CJ. Validation of probabilistic predictions. Med Decis Making. 1993;13(1):49–58. https://doi.org/10.1177/0272989X9301300107.
Van Calster B, et al. Validation and updating of risk models based on multinomial logistic regression. Diagn Progn Res. 2017;1(1):2. https://doi.org/10.1186/s41512-016-0002-x.
Hickey GL, Grant SW, Caiado C, Kendall S, Dunning J, Poullis M, et al. Dynamic prediction modeling approaches for cardiac surgery. Circ Cardiovasc Qual Outcomes. 2013;6(6):649–58. https://doi.org/10.1161/CIRCOUTCOMES.111.000012.
Minne L, Eslami S, de Keizer N, de Jonge E, de Rooij SE, Abu-Hanna A. Statistical process control for monitoring standardized mortality ratios of a classification tree model. Methods Inf Med. 2012;51(4):353–8. https://doi.org/10.3414/ME11-02-0044.
Davis SE, et al. Comparison of prediction model performance updating protocols: using a data-driven testing procedure to guide updating. AMIA Annu Symp Proc. 2019;2019:1002–10.
Organ Procurement and Transplantation Network (OPTN) Policies, effective 1 March 2020. Available: https://optn.transplant.hrsa.gov/media/1200/optn_policies.pdf. Accessed 10 Mar 2020.
Gottlieb J. Lung allocation. J Thorac Dis. 2017;9(8):2670–4. https://doi.org/10.21037/jtd.2017.07.83.
Egan TM, Edwards LB. Effect of the lung allocation score on lung transplantation in the United States. J Heart Lung Transplant. 2016;35(4):433–9. https://doi.org/10.1016/j.healun.2016.01.010.
Schneeweiss S. A basic study design for expedited safety signal evaluation based on electronic healthcare data. Pharmacoepidemiol Drug Saf. 2010;19(8):858–68. https://doi.org/10.1002/pds.1926.
Davis SE, Greevy RA Jr, Fonnesbeck C, Lasko TA, Walsh CG, Matheny ME. A nonparametric updating method to correct clinical prediction model drift. J Am Med Inform Assoc. 2019;26(12):1448–57. https://doi.org/10.1093/jamia/ocz127.
Steyerberg EW, Borsboom GJJM, van Houwelingen HC, Eijkemans MJC, Habbema JDF. Validation and updating of predictive logistic regression models: a study on sample size and shrinkage. Stat Med. 2004;23(16):2567–86. https://doi.org/10.1002/sim.1844.
Davis SE, Greevy RA Jr, Lasko TA, Walsh CG, Matheny ME. Detection of calibration drift in clinical prediction models to inform model updating. J Biomed Inform. 2020;112:103611. https://doi.org/10.1016/j.jbi.2020.103611.