Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Xác định kích thước mẫu thích ứng cho việc phát triển các mô hình dự đoán lâm sàng
Tóm tắt
Chúng tôi đề xuất một phương pháp tính toán kích thước mẫu thích ứng cho việc phát triển các mô hình dự đoán lâm sàng, trong đó hiệu suất mô hình được theo dõi một cách tuần tự khi dữ liệu mới được đưa vào. Chúng tôi minh họa phương pháp này bằng cách sử dụng dữ liệu cho việc chẩn đoán ung thư buồng trứng (n = 5914, tỷ lệ sự kiện 33%) và bệnh động mạch vành tắc nghẽn (CAD; n = 4888, tỷ lệ sự kiện 44%). Chúng tôi đã sử dụng hồi quy logistic để phát triển một mô hình dự đoán chỉ bao gồm các yếu tố dự đoán đã được chọn trước và giả định mối quan hệ tuyến tính cho các yếu tố dự đoán liên tục. Chúng tôi đã mô phỏng việc tuyển chọn bệnh nhân một cách có triển vọng bằng cách phát triển mô hình trên 100 bệnh nhân được chọn ngẫu nhiên, và chúng tôi đã sử dụng phương pháp bootstrap để xác thực nội bộ mô hình. Chúng tôi đã lần lượt thêm 50 bệnh nhân mới một cách ngẫu nhiên cho đến khi đạt được kích thước mẫu 3000 và ước lượng lại hiệu suất mô hình tại mỗi bước. Chúng tôi đã xem xét kích thước mẫu cần thiết để thỏa mãn quy tắc dừng sau đây: đạt được độ dốc hiệu chỉnh ≥ 0.9 và độ lạc quan trong thống kê c (hay AUC) < = 0.02 tại hai kích thước mẫu liên tiếp. Quy trình này đã được lặp lại 500 lần. Chúng tôi cũng đã điều tra tác động của các chiến lược mô hình hóa thay thế: mô hình hóa các mối quan hệ phi tuyến cho các yếu tố dự đoán liên tục và điều chỉnh độ thiên lệch trên các ước lượng của mô hình (điều chỉnh Firth). Phân biệt tốt hơn đã được đạt được trong dữ liệu ung thư buồng trứng (thống kê c 0.9 với 7 yếu tố dự đoán) so với dữ liệu CAD (thống kê c 0.7 với 11 yếu tố dự đoán). Hiệu chỉnh thích hợp và độ lạc quan hạn chế trong sự phân biệt đã được đạt được sau trung vị 450 bệnh nhân (khoảng tứ phân 450–500) cho dữ liệu ung thư buồng trứng (22 sự kiện trên tham số (EPP), 20–24) và 850 bệnh nhân (750–900) cho dữ liệu CAD (33 EPP, 30–35). Một tiêu chí nghiêm ngặt hơn, yêu cầu lạc quan AUC < = 0.01, đã được đáp ứng với trung vị 500 (23 EPP) và 1500 (59 EPP) bệnh nhân, tương ứng. Những kích thước mẫu này cao hơn nhiều so với quy tắc 10 EPP nổi tiếng và hơi cao hơn một phương pháp tính toán kích thước mẫu cố định được công bố gần đây bởi Riley và cộng sự. Kích thước mẫu lớn hơn được yêu cầu khi mô hình hóa các mối quan hệ phi tuyến, và kích thước mẫu thấp hơn khi sử dụng điều chỉnh Firth. Việc xác định kích thước mẫu thích ứng có thể là một bổ sung hữu ích cho các tính toán kích thước mẫu cố định đã được xác định trước, vì nó cho phép điều chỉnh kích thước mẫu theo bối cảnh mô hình dự đoán cụ thể một cách linh hoạt.
Từ khóa
#kích thước mẫu thích ứng #mô hình dự đoán lâm sàng #hồi quy logistic #ung thư buồng trứng #bệnh động mạch vành tắc nghẽnTài liệu tham khảo
Kleinrouweler CE, Cheong-See FM, Collins GS, Kwee A, Thangaratinam S, Khan KS, et al. Prognostic models in obstetrics: available, but far from applicable. Am J Obs Gynecol. 2016;214(1):79–90.e36.
Wessler BS, Paulus J, Lundquist CM, Ajlan M, Natto Z, Janes WA, et al. Tufts PACE Clinical Predictive Model Registry: update 1990 through 2015. Diagn Progn Res. 2017;1(1):20–8.
Wynants L, Van Calster B, Bonten MMJ, Collins GS, Debray TPA, De Vos M, et al. Prediction models for diagnosis and prognosis of covid-19 infection: systematic review and critical appraisal. BMJ. 2020;369:m1328.
Peduzzi P, Concato J, Kemper E, Holford TR, Feinstem AR. A simulation study of the number of events per variable in logistic regression analysis. J Clin Epidemiol. 1996;49(12):1373–9.
Steyerberg EW, Eijkemans MJC, Harrell FE, Habbema JDF. Prognostic modeling with logistic regression analysis: in search of a sensible strategy in small data sets. Med Decis Mak. 2001;21(1):45–56.
Riley RD, Ensor J, Snell KIE, Harrell FE, Martin GP, Reitsma JB, et al. Calculating the sample size required for developing a clinical prediction model. BMJ. 2020;368:m441.
Courvoisier DS, Combescure C, Agoritsas T, Gayet-Ageron A, Perneger TV. Performance of logistic regression modeling: beyond the number of events per variable, the role of data structure. J Clin Epidemiol. 2011;64(9):993–1000.
van Smeden M, Moons KGM, de Groot JAH, Collins GS, Altman DG, Eijkemans MJC, et al. Sample size for binary logistic prediction models: beyond events per variable criteria. Stat Methods Med Res. 2019;28(8):2455–74.
van Smeden M, de Groot JAH, Moons KGM, Collins GS, Altman DG, Eijkemans MJC, et al. No rationale for 1 variable per 10 events criterion for binary logistic regression analysis. BMC Med Res Methodol. 2016;16(1):163.
Riley RD, Snell KIE, Ensor J, Burke DL, Harrell FE Jr, Moons KGM, et al. Minimum sample size for developing a multivariable prediction model: PART II-binary and time-to-event outcomes. Stat Med. 2019;38(7):1276–96.
Riley RD, Snell KIE, Ensor J, Burke DL, Harrell FE Jr, Moons KGM, et al. Minimum sample size for developing a multivariable prediction model: part I–continuous outcomes. Stat Med. 2019;38(7):1262–75.
Steyerberg EW, Schemper M, Harrell FE. Logistic regression modeling and the number of events per variable: selection bias dominates. J Clin Epidemiol. 2011;64(12):1464–5. https://doi.org/10.1016/j.jclinepi.2011.06.016.
Austin PC, Steyerberg EW. Events per variable (EPV) and the relative performance of different strategies for estimating the out-of-sample validity of logistic regression models. Stat Methods Med Res. 2017;26(2):796–808.
Collins GS, Ogundimu EO, Cook JA, Le Manach Y, Altman DG. Quantifying the impact of different approaches for handling continuous predictors on the performance of a prognostic model. Stat Med. 2016;35(23):4124–35.
Van Calster B, Van Hoorde K, Valentin L, Testa AC, Fischerova D, Van Holsbeke C, et al. Evaluating the risk of ovarian cancer before surgery using the ADNEX model to differentiate between benign, borderline, early and advanced stage invasive, and secondary metastatic tumours: prospective multicentre diagnostic study. BMJ. 2014;349:g5920.
Edlinger M, Wanitschek M, Dörler J, Ulmer H, Alber HF, Steyerberg EW. External validation and extension of a diagnostic model for obstructive coronary artery disease: a cross-sectional predictive evaluation in 4888 patients of the Austrian Coronary Artery disease Risk Determination in Innsbruck by diaGnostic ANgiography (CA. BMJ Open. 2017;7(4):e014467.
Harrell FE Jr. Regression modeling strategies: with applications to linear models, logistic and ordinal regression, and survival analysis. Cham: Springer; 2015.
Steyerberg EW. Clinical prediction models. Cham: Springer; 2019.
Steyerberg EW, Harrell FE Jr, Borsboom GJJM, Eijkemans MJC, Vergouwe Y, Habbema JDF. Internal validation of predictive models: efficiency of some procedures for logistic regression analysis. J Clin Epidemiol. 2001;54(8):774–81.
Wahl S, Boulesteix A-L, Zierer A, Thorand B, van de Wiel MA. Assessment of predictive performance in incomplete data by combining internal validation and multiple imputation. BMC Med Res Methodol. 2016;16(1):144.
Musoro JZ, Zwinderman AH, Puhan MA, ter Riet G, Geskus RB. Validation of prediction models based on lasso regression with multiply imputed data. BMC Med Res Methodol. 2014;14(1):116. https://doi.org/10.1186/1471-2288-14-116.
Firth D. Bias reduction of maximum likelihood estimates. Biometrika. 1993;80(1):27–38.
Steyerberg EW, Uno H, Ioannidis JPA, van Calster B, Ukaegbu C, Dhingra T, et al. Poor performance of clinical prediction models: the harm of commonly applied methods. J Clin Epidemiol. 2018;98:133–43.
Cox DR. The regression analysis of binary sequences. J R Stat Soc Ser B. 1958;20(2):215–42 Available from: http://www.jstor.org/stable/2983890.
Copas JB. Regression, prediction and shrinkage. J R Stat Soc Ser B. 1983;45(3):311–35. https://doi.org/10.1111/j.2517-6161.1983.tb01258.x.
Van Houwelingen JC, Le Cessie S. Predictive value of statistical models. Stat Med. 1990;9(11):1303–25. https://doi.org/10.1002/sim.4780091109.
Van Calster B, van Smeden M, De Cock B, Steyerberg EW. Regression shrinkage methods for clinical prediction models do not guarantee improved performance: simulation study. Stat Methods Med Res. 2020;29:3166-78.
Van Calster B, Nieboer D, Vergouwe Y, De Cock B, Pencina MJ, Steyerberg EW. A calibration hierarchy for risk models was defined: from utopia to empirical data. J Clin Epidemiol. 2016;74:167–76.
van der Ploeg T, Austin PC, Steyerberg EW. Modern modelling techniques are data hungry: a simulation study for predicting dichotomous endpoints. BMC Med Res Methodol. 2014;14(1):137.