Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Độ lặp lại giữa các đánh giá viên trong phương pháp có cấu trúc để chọn lựa tóm tắt cho cuộc họp khoa học thường niên của EURAPS
Tóm tắt
Cho đến nay, đáng ngạc nhiên là có rất ít sự chú ý được dành cho quy trình lựa chọn các tóm tắt được gửi đến các hội nghị y sinh và không có báo cáo nào về độ tin cậy giữa các đánh giá viên trong quy trình lựa chọn này. Chúng tôi muốn xác định độ lặp lại giữa các đánh giá viên trong quy trình lựa chọn các tóm tắt do nhiều reviewer thực hiện, của các tóm tắt được gửi đến một hội nghị khoa học về phẫu thuật thẩm mỹ. Phân tích có hệ thống về các đánh giá phân loại lặp lại có cấu trúc của năm tóm tắt bởi ba reviewer mù trong tổng số 202 tóm tắt được gửi đến cuộc họp khoa học thường niên của Hiệp hội Phẫu thuật Thẩm mỹ Châu Âu (EURAPS). Hệ số tương quan trong lớp của điểm số và điểm số lặp lại của năm tóm tắt và thống kê Kappa cho việc phân loại chấp nhận hai tóm tắt có điểm số cao nhất so với việc từ chối ba tóm tắt còn lại. Cả hai đã được tính toán cho bộ điểm số lặp lại của từng reviewer cá nhân, cũng như cho tập hợp các tổng số điểm của tất cả các reviewer. Trung vị của hệ số tương quan trong lớp cá nhân của các reviewer là 0.86 (phạm vi, −0.56–0.92). Sáu trong số 10 reviewer đã đánh giá hai tóm tắt giống nhau là top tóm tắt trong cả hai lần đánh giá, dẫn đến các thống kê Kappa dao động từ −0.15 đến 1.0 (trung vị, 0.59). Trung vị hệ số tương quan trong lớp của điểm số kết hợp là 0.93 (phạm vi, 0.92–0.97), và thống kê Kappa cho các tóm tắt có điểm số cao nhất kết hợp là 1.0. Độ lặp lại tuyệt vời của việc xếp hạng và phân loại tóm tắt dựa trên điểm số kết hợp của nhiều reviewer đồng nghiệp mang lại sự tự tin vào phương pháp có cấu trúc chọn lựa tóm tắt của EURAPS.
Từ khóa
#phẫu thuật thẩm mỹ #tóm tắt khoa học #độ tin cậy giữa các đánh giá viên #thống kê Kappa #hệ số tương quan trong lớpTài liệu tham khảo
Black N, van Rooyen S, Godlee F, Smith R, Evans S (1998) What makes a good reviewer and a good review for a general medical journal? JAMA 280:231–233
Deyo RA, Diehr P, Patrick DL (1991) Reproducibility and responsiveness of health status measures. Control Clin Trial 12:142s–158s
Fleiss JL (1981) Statistical methods for rates and proportions. Wiley, New York, NY, pp 212–236
Gardner MJ, Machin D, Campbell MJ (1986) Use of check lists in assessing the statistical content of medical studies. Br Med J 292:810–812
Jefferson T, Wager E, Davidoff F (2002) Measuring the quality of editorial peer review. JAMA 287:2786–2790
Kearney RA, Puchalski SA, Yang HYH, Skakun EN (2002) The inter-rater and intra-rater reliability of a new Canadian oral examination format in anesthesia is fair to good. Can J Anaesth 49:232–236
Marsh HW, Bazeley P (1999) Multiple evaluations of grant proposals by independent assessors: confirmatory factor analysis evaluations of reliability, validity, and structure. Multivar Behav Res 34:1–30
Miller GA (1994) The magical number seven, plus or minus two: some limits on our capacity for processing information. Psychol Rev 101:343–352
Monstrey SJ (2004) Committees 2003–2004. In: Monstrey SJ (ed) European Association of Plastic Surgeons fifteenth annual meeting. EURAPS, Gent, Belgium, pp 6–8
Montgomery AA, Graham A, Evans PH, Fahey T (2002) Inter-rater agreement in the scoring of abstracts submitted to a primary care research conference. BMC Health Serv Res 2:8
Overbeke J, Wager E (2003) The state of evidence: what we know and what we don’t know about journal peer review. In: Godlee F, Jefferson T (eds) Peer review in health sciences, 2nd edn. BMJ Books, London, UK, pp 45–61
Rennie D (2002) Fourth international congress on peer review in biomedical publication—editorial. JAMA 287:2759–2760
Rothwell PM, Martyn CN (2000) Reproducibility of peer review in clinical neuroscience. Is agreement between reviewers any greater than would be expected by chance alone? Brain 123:1964–1969
Rubin HR, Redelmeier DA, Wu AW, Steinberg EP (1993) How reliable is peer review of scientific abstracts? Looking back at the 1991 Annual Meeting of the Society of General Internal Medicine. J Gen Intern Med 8:255–258
Schouten HJA (1985) Probability of correct judgment by a majority of observers. In: Schouten HJA (ed) Statistical measurement of interobserver agreement. Academic thesis, Erasmus University, Rotterdam, The Netherlands, pp 67–68
Siegelman SS (1991) Assassins and zealots: variation in peer review. Radiology 178:637–642
Strayhorn J Jr, McDermott JF Jr, Tanguay P (1993) An intervention to improve the reliability of manuscript reviews for the Journal of the American Academy of Child and Adolescent Psychiatry. Am J Psychiatry 150:947–952
van der Steen LPE, Hage JJ, Kon M, Mazzola R (2003) Contribution of six characteristics of an abstract to the acceptance of that abstracts for the EURAPS’ annual scientific meeting. Eur J Plast Surg 26:192–197
van der Steen LPE, Hage JJ, Kon M, Mazzola R (2003) Reliability of a structured method of selecting abstracts for a plastic surgical scientific meeting. Plast Reconstr Surg 111:2215–2222
van der Steen LPE, Hage JJ, Kon M, Monstrey SJ (2004) Validity of a structured method of selecting abstracts for a plastic surgical scientific meeting. Plast Reconstr Surg 113:353–359
Vilstrup H, Sorensen HT (1998) A comparative study of scientific evaluation of abstracts submitted to the 1995 European Association for the Study of the Liver Copenhagen meeting. Dan Med Bull 45:317–319