Giảng dạy và đánh giá các cuộc tham vấn trong phẫu thuật trong giáo dục y khoa dựa trên năng lực: phát triển một công cụ đánh giá dựa trên nơi làm việc
Tóm tắt
Giáo dục y khoa dựa trên năng lực (CBME) đang được triển khai trên toàn thế giới. Trong CBME, chương trình thực tập được thiết kế xung quanh các năng lực cần có cho thực hành độc lập và sử dụng các hoạt động nghề nghiệp đáng được tin tưởng (EPAs) như là "đơn vị đánh giá" tại nơi làm việc. Các công cụ đánh giá tại nơi làm việc (WBA) được thiết kế tốt là cần thiết để ghi lại năng lực của các thực tập sinh trong các môi trường lâm sàng thực tế. Trong nghiên cứu này, chúng tôi đã phát triển một công cụ WBA để đánh giá hiệu suất của các bác sĩ thực tập trong các cuộc tham vấn mô bệnh lý trong phẫu thuật và tiến hành một cuộc điều tra về tính hợp lệ. Công cụ đánh giá mô bệnh lý theo định hướng giao phó dành cho các cuộc tham vấn trong phẫu thuật (EPA-IC) được phát triển thông qua một cuộc tham vấn lặp đi lặp lại trên toàn quốc và sử dụng các giám sát lâm sàng để đánh giá hiệu suất của các bác sĩ thực tập tại một chương trình mô bệnh lý. Những phân tích tâm lý học và các nhóm tập trung đã được thực hiện để khám phá các nguồn chứng cứ dựa trên lý thuyết về tính hợp lệ hiện đại: nội dung, quy trình phản hồi, cấu trúc nội bộ, mối quan hệ với các biến khác và hậu quả của việc đánh giá. Nội dung được coi là phù hợp, việc đánh giá là khả thi và được thực tập sinh và giám sát chấp nhận, và nó có ảnh hưởng giáo dục tích cực bằng cách cải thiện hiệu suất các cuộc tham vấn trong phẫu thuật và phản hồi cho người học. Kết quả có độ tin cậy thấp, dường như liên quan đến thiên lệch đánh giá, và các giám sát viên do dự khi hoàn toàn giao phó cho thực tập sinh vì các vấn đề văn hóa. Với việc triển khai CBME, cần có các công cụ đánh giá dựa trên nơi làm việc mới trong lĩnh vực mô bệnh lý. Trong nghiên cứu này, chúng tôi đã giới thiệu phát triển công cụ đầu tiên để đánh giá hiệu suất của các bác sĩ thực tập trong một hoạt động nghề nghiệp đáng được tin cậy kiểu mẫu trong mô bệnh lý sử dụng nguyên tắc giáo dục hiện đại và lý thuyết tính hợp lệ.
Từ khóa
Tài liệu tham khảo
Carraccio C, Wolfsthal SD, Englander R, Ferentz K, Martin C (2002) Shifting paradigms: from Flexner to competencies. Acad Med 77(5):361–367. https://doi.org/10.1097/00001888-200205000-00003
Albanese MA, Mejicano G, Mullan P, Kokotailo P, Gruppen L (2008) Defining characteristics of educational competencies. Med Educ 42(3):248–255. https://doi.org/10.1111/j.1365-2923.2007.02996.x
RCSPC (2014) Competence by design: reshaping Canadian medical education – eBook. http://www.royalcollege.ca/portal/page/portal/rc/common/documents/educational_initiatives/rc_competency-by-design_ebook_e.pdf. Accessed March 1, 2021.
The milestones guidebook - the accreditation council for graduate medical education https://www.acgme.org/Portals/0/MilestonesGuidebook.pdf?ver=2016-05-31-113245-103 Accessed March 1, 2021.
Bailey D (2016) Ensuring quality in postgraduate medical education: competency testing is the key. Virchows Arch 468(1):115–119. https://doi.org/10.1007/s00428-015-1847-z
ten Cate O, Scheele F (2007) Competency-based postgraduate training: can we bridge the gap between theory and clinical practice? Acad Med 82(6):542–547. https://doi.org/10.1097/ACM.0b013e31805559c7
ten Cate O, Snell L, Carraccio C (2010) Medical competence: the interplay between individual ability and the health care environment. Med Teach 32(8):669–675. https://doi.org/10.3109/0142159X.2010.500897
McCloskey CB, Domen RE, Conran RM, Hoffman RD, Post MD, Brissette MD, Gratzinger DA, Raciti PM, Cohen DA, Roberts CA, Rojiani AM, Kong CS, Peterson J, Johnson K, Plath S, Powell SZ (2017) Entrustable professional activities for pathology: recommendations from the College of American Pathologists Graduate Medical Education Committee. Acad Pathol 4:2374289517714283. https://doi.org/10.1177/2374289517714283
Powell DE, Wallschlaeger A (2017) Making sense of the milestones: entrustable professional activities for pathology. Hum Pathol 62:8–12. https://doi.org/10.1016/j.humpath.2016.12.027
Boateng BA, Bass LD, Blaszak RT, Farrar HC (2009) The development of a competency-based assessment rubric to measure resident milestones. J Grad Med Educ 1(1):45–48. https://doi.org/10.4300/01.01.0008
Holmboe ES, Sherbino J, Long DM, Swing SR, Frank JR (2010) The role of assessment in competency-based medical education. Med Teach 32(8):676–682. https://doi.org/10.3109/0142159X.2010.500704
Frenk J, Chen L, Bhutta ZA, Cohen J, Crisp N, Evans T, Fineberg H, Garcia P, Ke Y, Kelley P, Kistnasamy B, Meleis A, Naylor D, Pablos-Mendez A, Reddy S, Scrimshaw S, Sepulveda J, Serwadda D, Zurayk H (2010) Health professionals for a new century: transforming education to strengthen health systems in an interdependent world. Lancet 376(9756):1923–1958. https://doi.org/10.1016/S0140-6736(10)61854-5
Schuwirth L, Ash J (2013) Assessing tomorrow’s learners: in competency-based education only a radically different holistic method of assessment will work. Six things we could forget. Med Teach 35(7):555–559. https://doi.org/10.3109/0142159X.2013.787140
Hauer KE, Vandergrift J, Hess B, Lipner RS, Holmboe ES, Hood S, Iobst W, Hamstra SJ, McDonald FS (2016) Correlations between ratings on the resident annual evaluation summary and the internal medicine milestones and association with ABIM certification examination scores among US internal medicine residents, 2013–2014. JAMA 316(21):2253–2262. https://doi.org/10.1001/jama.2016.17357
Miller GE (1990) The assessment of clinical skills/competence/performance. Acad Med 65(9 Suppl):S63–S67. https://doi.org/10.1097/00001888-199009000-00045
Crossley J, Jolly B (2012) Making sense of work-based assessment: ask the right questions, in the right way, about the right things, of the right people. Med Educ 46(1):28–37. https://doi.org/10.1111/j.1365-2923.2011.04166.x
Norcini JJ, Blank LL, Arnold GK, Kimball HR (1995) The mini-CEX (clinical evaluation exercise): a preliminary investigation. Ann Intern Med 123(10):795–799. https://doi.org/10.7326/0003-4819-123-10-199511150-00008
Holmboe ES, Huot S, Chung J, Norcini J, Hawkins RE (2003) Construct validity of the miniclinical evaluation exercise (miniCEX). Acad Med 78(8):826–830. https://doi.org/10.1097/00001888-200308000-00018
Martin JA, Regehr G, Reznick R, MacRae H, Murnaghan J, Hutchison C, Brown M (1997) Objective structured assessment of technical skill (OSATS) for surgical residents. The Br J Surg 84(2):273–278. https://doi.org/10.1046/j.1365-2168.1997.02502.x
Vassiliou MC, Feldman LS, Andrew CG, Bergman S, Leffondré K, Stanbridge D, Fried GM (2005) A global assessment tool for evaluation of intraoperative laparoscopic skills. Am J Surg 190(1):107–113. https://doi.org/10.1016/j.amjsurg.2005.04.004
Doyle JD, Webber EM, Sidhu RS (2007) A universal global rating scale for the evaluation of technical skills in the operating room. Am J Surg 193(5):551–555. https://doi.org/10.1016/j.amjsurg.2007.02.003
Crossley J, Johnson G, Booth J, Wade W (2011) Good questions, good answers: construct alignment improves the performance of workplace-based assessment scales. Med Educ 45(6):560–569. https://doi.org/10.1111/j.1365-2923.2010.03913.x
Crossley J (2013) Validity and truth in assessment. Med Educ 47(12):1152–1154. https://doi.org/10.1111/medu.12317
Ten Cate O, Hart D, Ankel F, Busari J, Englander R, Glasgow N, Holmboe E, Iobst W, Lovell E, Snell LS, Touchie C, Van Melle E, Wycliffe-Jones K, International competency-based medical education collaborators (2016) entrustment decision making in clinical training. Acad Med 91(2):191–198. https://doi.org/10.1097/ACM.0000000000001044
Gofton WT, Dudek NL, Wood TJ, Balaa F, Hamstra SJ (2012) The Ottawa surgical competency operating room evaluation (O-SCORE): a tool to assess surgical competence. Acad Med 87(10):1401–1407. https://doi.org/10.1097/ACM.0b013e3182677805
Voduc N, Dudek N, Parker CM, Sharma KB, Wood TJ (2016) Development and validation of a bronchoscopy competence assessment tool in a clinical setting. Ann Am Thorac Soc 13(4):495–501. https://doi.org/10.1513/AnnalsATS.201508-548OC
Rekman J, Gofton W, Dudek N, Gofton T, Hamstra SJ (2016) Entrustability scales: outlining their usefulness for competency-based clinical assessment. Acad Med 91(2):186–190. https://doi.org/10.1097/ACM.0000000000001045
Messick S (1989) Validity. In: Linn RL (ed) Educational measurement, 3rd edn. American Council on Education and Macmillan, New York, pp 13–103
Cook DA, Beckman TJ (2006) Current concepts in validity and reliability for psychometric instruments: theory and application. Am J Med 119(2),. https://doi.org/10.1016/j.amjmed.2005.10.036
Pugh D, Hamstra SJ, Wood TJ, Humphrey-Murto S, Touchie C, Yudkowsky R, Bordage G (2015) A procedural skills OSCE: assessing technical and non-technical skills of internal medicine residents. Adv Health Sci Educ Theory Pract 20(1):85–100. https://doi.org/10.1007/s10459-014-9512-x
Taxy JB (2009) Frozen section and the surgical pathologist: a point of view. Arch Pathol Lab Med 133(7):1135–1138. https://doi.org/10.1043/1543-2165-133.7.1135
Lechago J (2005) The frozen section: pathology in the trenches. Arch Pathol Lab Med 129(12):1529–1531. https://doi.org/10.1043/1543-2165(2005)129[1529:TFSPIT]2.0.CO;2
Berck RA (2010) The secret to the “best” ratings from any evaluation scale. J Fac Dev 24(1):37–39
Pathology milestones - the accreditation council for graduate medical education https://www.acgme.org/Portals/0/PDFs/Milestones/PathologyMilestones.pdf?ver=2019-05-29-124552-550 Accessed March 1, 2021.
Pathology supplemental guide - the accreditation council for graduate medical education. https://www.acgme.org/Portals/0/PDFs/Milestones/PathologySupplementalGuide.pdf?ver=2019-07-24-112409-690. Accessed March 1, 2021.
Lineberry M (2020) Validity and quality. In: Yudkowsky R, Park YS, Downing SM (eds) Assessment in Health Professions Education, 2nd edn. Routledge, New York, pp 17–32
White K, Qualtieri J, Courville EL, Beck RC, Alobeid B, Czuchlewski DR, Teruya-Feldstein J, Soma LA, Prakash S, Gratzinger D (2021) Entrustable professional activities in hematopathology pathology fellowship training: consensus design and proposal. Acad Pathol 8:2374289521990823. https://doi.org/10.1177/2374289521990823