Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Tạo ra hiệu suất trong việc trích xuất dữ liệu từ các thử nghiệm ngẫu nhiên: đánh giá dự kiến về công cụ học máy và khai thác văn bản
Tóm tắt
Các công cụ học máy tự động một phần việc trích xuất dữ liệu có thể tạo ra hiệu suất trong việc sản xuất các đánh giá hệ thống. Chúng tôi đã đánh giá khả năng của một công cụ học máy và khai thác văn bản để (a) tự động trích xuất các yếu tố dữ liệu từ các thử nghiệm ngẫu nhiên, và (b) tiết kiệm thời gian so với việc trích xuất và xác minh thủ công. Đối với 75 thử nghiệm ngẫu nhiên, chúng tôi đã thủ công trích xuất và xác minh dữ liệu cho 21 yếu tố dữ liệu. Chúng tôi đã tải lên các thử nghiệm ngẫu nhiên vào một công cụ học máy và khai thác văn bản trực tuyến, và định lượng hiệu suất bằng cách đánh giá khả năng của nó trong việc xác định báo cáo của các yếu tố dữ liệu (đã báo cáo hoặc không báo cáo), và độ liên quan của các câu, đoạn trích và giải pháp tổng thể đã được trích xuất. Đối với mỗi thử nghiệm ngẫu nhiên, chúng tôi đã đo thời gian hoàn thành việc trích xuất và xác minh thủ công, và để xem xét và sửa đổi dữ liệu được trích xuất bởi công cụ. Chúng tôi đã tính toán thời gian trung vị (khoảng tứ phân [IQR]) cho việc trích xuất dữ liệu thủ công và bán tự động, và tổng thời gian tiết kiệm. Công cụ đã xác định báo cáo (đã báo cáo hoặc không báo cáo) của các yếu tố dữ liệu với độ chính xác trung vị (IQR) 91% (75% đến 99%). Trong số năm câu hàng đầu cho mỗi yếu tố dữ liệu, ít nhất một câu có liên quan trong trung vị (IQR) 88% (83% đến 99%) trường hợp. Trong số một trung vị (IQR) 90% (86% đến 97%) câu có liên quan, các đoạn trích phù hợp đã được làm nổi bật bởi công cụ; các khớp chính xác không đáng tin cậy (trung vị (IQR) 52% [33% đến 73%]). Một trung vị 48% giải pháp hoàn toàn đúng, nhưng hiệu suất khác nhau lớn giữa các yếu tố dữ liệu (IQR 21% đến 71%). Sử dụng ExaCT để hỗ trợ người đánh giá đầu tiên đã dẫn đến tiết kiệm thời gian khi so với việc trích xuất thủ công từ một người đánh giá duy nhất (17.9 so với 21.6 giờ tổng thời gian trích xuất trên 75 thử nghiệm ngẫu nhiên). Việc sử dụng ExaCT để hỗ trợ trích xuất dữ liệu đã tạo ra những cải thiện khiêm tốn về hiệu suất so với việc trích xuất thủ công. Công cụ đã đáng tin cậy trong việc xác định báo cáo của hầu hết các yếu tố dữ liệu. Khả năng của công cụ trong việc xác định ít nhất một câu có liên quan và làm nổi bật các đoạn trích phù hợp thường là tốt, nhưng thường cần thay đổi trong việc chọn câu và/hoặc làm nổi bật.
Từ khóa
Tài liệu tham khảo
Borah R, Brown AW, Capers PL, Kaiser KA. Analysis of the time and workers needed to conduct systematic reviews of medical interventions using data from the PROSPERO registry. BMJ Open. 2017;7(2): e012545. https://doi.org/10.1136/bmjopen-2016-012545.
Bastian H, Glasziou P, Chalmers I. Seventy-five trials and eleven systematic reviews a day: how will we ever keep up? PLoS Med. 2010;7(9): e1000326. https://doi.org/10.1371/journal.pmed.1000326.
U.S. National Library of Medicine. Trends, charts, and maps [Internet]. 2020. Available from: https://clinicaltrials.gov/ct2/resources/trends. Accessed 27 July 2020.
Elliott JH, Synnot A, Turner T, Simmonds M, Akl EA, McDonald S, et al. Living systematic review: 1. Introduction—the why, what, when, and how. J Clin Epidemiol. 2017;91:23–30. https://doi.org/10.1016/j.jclinepi.2017.08.010.
Marshall C. SR Tool Box [Internet]. 2020. Available from: http://systematicreviewtools.com/about.php. Accessed 1 March 2020.
O’Mara-Eves A, Thomas J, McNaught J, Miwa M, Ananiadou S. Using text mining for study identification in systematic reviews: a systematic review of current approaches. Syst Rev. 2015;4(1):5. https://doi.org/10.1186/2046-4053-4-5.
Jonnalagadda SR, Gowal P, Huffman MD. Automating data extraction in systematic reviews: a systematic review. Syst Rev. 2015;4(1):78. https://doi.org/10.1186/s13643-015-0066-7.
Tsertsvadze A, Chen Y-F, Moher D, Sutcliffe P, McCarthy N. How to conduct systematic reviews more expeditiously? Syst Rev. 2015;4(1):160. https://doi.org/10.1186/s13643-015-0147-7.
Tsafnat G, Glasziou P, Choong MK, Dunn A, Galgani F, Coiera E. Systematic review automation technologies. Syst Rev. 2014;3(1):74. https://doi.org/10.1186/2046-4053-3-74.
Marshall IJ, Wallace BC. Toward systematic review automation: a practical guide to using machine learning tools in research synthesis. Syst Rev. 2019;8(1):163. https://doi.org/10.1186/s13643-019-1074-9.
Marshall IJ, Wallace BC. Automating biomedical evidence synthesis: robotreviewer. Proc Conf Assoc Comput Linguist Meet. 2017;2017:7–12. https://doi.org/10.18653/v1/P17-4002.
Marshall IJ, Kuiper J, Wallace BC. RobotReviewer: evaluation of a system for automatically assessing bias in clinical trials. J Am Med Inform Assoc. 2015;23(1):193–201. https://doi.org/10.1093/jamia/ocv044.
Kiritchenko S, de Bruijn B, Carini S, Martin J, Sim I. ExaCT: automatic extraction of clinical trial characteristics from journal publications. BMC Med Inform Decis Mak. 2010;10(1):56. https://doi.org/10.1186/1472-6947-10-56.
Gates A, Hartling L, Vandermeer B, Caldwell P, Contopoulos-Ioannidis DG, Curtis S, et al. The conduct and reporting of child health research: an analysis of randomized controlled trials published in 2012 and evaluation of change over 5 years. J Pediatr. 2018;193:237-244.e37. https://doi.org/10.1016/j.jpeds.2017.09.014.
Hamm MP, Hartling L, Milne A, Tjosvold L, Vandermeer B, Thomson D, et al. A descriptive analysis of a representative sample of pediatric randomized controlled trials published in 2007. BMC Pediatr. 2010;10:96. https://doi.org/10.1186/1471-2431-10-96.
Mathes TP, Klaßen P, Pieper D. Frequency of data extraction errors and methods to increase data extraction quality: a methodological review. BMC Med Res Methodol. 2017;17(1):152. https://doi.org/10.1186/s12874-017-0431-4.
Li T, Higgins JPT, Deeks JJ (editors). Chapter 5: Collecting data. In: Higgins JPT, Thomas J, Chandler J, Cumpston M, Li T, Page MF, Welch VA (editors). Cochrane Handbook for Systematic Reviews of Interventions version 6.0 (updated July 2019). Cochrane, 2019. Available at: www.training.cochrange.org/handbook.
Gates A, Vandermeer B, Hartling L. Technology-assisted risk of bias assessment in systematic reviews: a prospective cross-sectional evaluation of the RobotReviewer machine learning tool. J Clin Epidemiol. 2018;96:54–62. https://doi.org/10.1016/j.jclinepi.2017.12.015.
Horton J, Vandermeer B, Hartling L, Tjosvold L, Klassen TP, Buscemi N. Systematic review data extraction: cross-sectional study showed that experience did not increase accuracy. J Clin Epidemiol. 2010;63(3):289–98. https://doi.org/10.1016/j.jclinepi.2009.04.007.