Thực tế ảo và thực tế tăng cường trong kỹ thuật sinh học

Springer Science and Business Media LLC - Tập 22 Số 1
Aya Taghian1, Mohammed Abo–Zahhad1, Mohammed S. Sayed1, Ahmed H. Abd El‐Malek1
1Department of Electronics and Communications Engineering, Egypt–Japan University of Science and Technology, New Borg El-Arab City, Alexandria, Egypt

Tóm tắt

Tóm tắt Thông tin nền Trong tương lai, công nghệ thực tế mở rộng sẽ được sử dụng rộng rãi. Con người sẽ được dẫn dắt để sử dụng các công nghệ thực tế ảo (VR) và thực tế tăng cường (AR) trong cuộc sống hàng ngày, sở thích, nhiều loại hình giải trí và việc làm. Thực tế tăng cường trong y tế đã phát triển với các ứng dụng từ giáo dục y tế đến phẫu thuật hướng dẫn bằng hình ảnh. Hơn nữa, một khối lượng lớn nghiên cứu tập trung vào các ứng dụng lâm sàng, với phần lớn nghiên cứu dành cho phẫu thuật hoặc can thiệp, tiếp theo là ứng dụng phục hồi chức năng và điều trị. Nhiều nghiên cứu cũng đã xem xét việc sử dụng thực tế tăng cường trong giáo dục và đào tạo y tế. Phương pháp Sử dụng các cơ sở dữ liệu như Semantic Scholar, Web of Science, Scopus, IEEE Xplore và ScienceDirect, một đánh giá phạm vi đã được thực hiện theo tiêu chí của Bảng báo cáo ưu tiên cho các đánh giá hệ thống và phân tích tổng hợp (PRISMA). Để tìm các bài báo khác, một tìm kiếm thủ công cũng đã được thực hiện trên Google Scholar. Nghiên cứu này trình bày chi tiết các nghiên cứu đã được thực hiện trong 14 năm trước (từ 2009 đến 2023). Chúng tôi phân loại lĩnh vực nghiên cứu này thành các danh mục sau: (1) AR và VR trong phẫu thuật, được trình bày trong các tiểu mục sau: tiểu mục A: MR trong phẫu thuật thần kinh; tiểu mục B: phẫu thuật cột sống; tiểu mục C: phẫu thuật hàm mặt; và tiểu mục D: tương tác người-máy gia tăng bởi AR; (2) AR và VR trong giáo dục y tế được trình bày trong các tiểu mục sau: tiểu mục A: đào tạo y tế; tiểu mục B: trường học và chương trình giảng dạy; tiểu mục C: XR trong Y sinh học; (3) AR và VR cho phục hồi chức năng được trình bày trong các tiểu mục sau: tiểu mục A: phục hồi chức năng đột quỵ trong thời kỳ COVID-19; tiểu mục B: ung thư và VR; và (4) hệ thống sóng milimet và MIMO cho AR và VR. Kết quả Tổng cộng, 77 ấn phẩm đã được chọn dựa trên tiêu chí bao gồm. Bốn nhóm ứng dụng AR và/hoặc VR khác nhau có thể được phân biệt: AR và VR trong phẫu thuật (N = 21), VR và AR trong Giáo dục Y tế (N = 30), AR và VR cho phục hồi chức năng (N = 15), và Hệ thống sóng milimet và MIMO cho AR và VR (N = 7), trong đó N là số lượng nghiên cứu được trích dẫn. Chúng tôi nhận thấy rằng phần lớn nghiên cứu được dành cho đào tạo và giáo dục y tế, trong khi các ứng dụng phẫu thuật hoặc can thiệp là thứ hai. Nghiên cứu chủ yếu tập trung vào phục hồi chức năng, liệu pháp, và các ứng dụng lâm sàng. Hơn nữa, việc ứng dụng XR trong MIMO đã là chủ đề của nhiều nghiên cứu. Kết luận Các ví dụ về các lĩnh vực ứng dụng đa dạng này được trình bày trong đánh giá này như sau: (1) thực tế tăng cường và thực tế ảo trong phẫu thuật; (2) thực tế tăng cường và thực tế ảo trong giáo dục y tế; (3) thực tế tăng cường và thực tế ảo cho phục hồi chức năng; và (4) hệ thống sóng milimet và MIMO cho thực tế tăng cường và thực tế ảo.

Từ khóa


Tài liệu tham khảo

Moga, Boesl DBO, Haidegger T, “Augmented/mixed reality technologies supporting digital surgery,” in 2021 IEEE 19th International Symposium on Intelligent Systems and Informatics (SISY), 2021.

Ferrari V, Klinker G, Cutolo F. Augmented reality in healthcare. J Healthc Eng. 2019;2019:9321535. https://doi.org/10.1155/2019/9321535.

Taghian A, Abo-Zahhad M, Sayed MS, Abdel-Malek A, “Virtual, augmented reality, and wearable devices for biomedical applications: A review,” in 2021 9th International Japan-Africa Conference on Electronics, Communications, and Computations (JAC-ECC), 2021.

Picot-Clémente J. Photonics: a pillar for extended reality technologies: an overview of how photonics will be highly invested in the future of XR and the market applications landscape. Photonics View. 2022;19(2):95–9. https://doi.org/10.1002/phvs.202200013.

Mishra R, Narayanan MDK, Umana GE, Montemurro N, Chaurasia B, Deora H. Virtual reality in neurosurgery: beyond neurosurgical planning. Int J Environ Res Public Health. 2022;19(3):1719.

Menon SS, ARiSE - augmented reality in surgery and education, Wright State University, 2021.

Jean WC, Britz GW, DiMeco F, Elmi-Terander A, McIntyre C. Introduction Virtual and augmented reality in neurosurgery: a timeline. Neurosurg Focus. 2021. https://doi.org/10.3171/2021.5.FOCUS21313.

McCloskey K, Turlip R, Ahmad HS, Ghenbot YG, Chauhan D, Yoon JW. Virtual and augmented reality in spine surgery: a systematic review. World Neurosurg. 2023;173:96–107.

Ma L, Zhao Z, Chen F, Zhang B, Fu L, Liao H. Augmented reality surgical navigation with ultrasound-assisted registration for pedicle screw placement: a pilot study. Int J Comput Assist Radiol Surg. 2017;12(12):2205–15. https://doi.org/10.1007/s11548-017-1652-z.

Burström G, Nachabe R, Persson O, Edström E, T AElmi. Augmented and virtual reality instrument tracking for minimally invasive spine surgery: a feasibility and accuracy study. Spine. 2019;44(15):1097–104. https://doi.org/10.1097/BRS.0000000000003006.

Molina CA, Nicholas T, Ahmed AK, Westbroek EM, Mirovsky Y, Harel R, et al. Augmented reality-assisted pedicle screw insertion: a cadaveric proof-of-concept study. J Neurosurg Spine. 2019. https://doi.org/10.3171/2018.12.SPINE181142.

Gibby JT, Swenson SA, Cvetko S, Rao R, Javan R. Head-mounted display augmented reality to guide pedicle screw placement utilizing computed tomography. Int J Comput Assist Radiol Surg. 2019;14(3):525–35. https://doi.org/10.1007/s11548-018-1814-7.

Edström E, Burström G, Nachabe R, Gerdhem P, Terander A. A novel augmented-reality-based surgical navigation system for spine surgery in a hybrid operating room: design, workflow, and clinical applications. Oper Neurosurg Hagerstown Md. 2020;18(5):496–502. https://doi.org/10.1093/ons/opz236.

Móga K, Ferencz A, Haidegger T. What is next in computer-assisted spine surgery? Advances in image-guided robotics and extended reality. Robotics. 2022;12(1):1.

Abe Y, Shigenobu S, Koji K, Takahiko H, Yasushi Y, Manabu I, et al. A novel 3D guidance system using augmented reality for percutaneous vertebroplasty: technical note. J Neurosurg Spine. 2013;19(4):492–501. https://doi.org/10.3171/2013.7.SPINE12917.

Umebayashi D, Yamamoto Y, Nakajima Y, Fukaya N, Hara M. Augmented reality visualization-guided microscopic spine surgery: transvertebral anterior cervical foraminotomy and posterior foraminotomy. J Am Acad Orthop Surg Glob Res Rev. 2018;2(4): e008. https://doi.org/10.5435/JAAOSGlobal-D-17-00008.

Ghaednia H, et al. Augmented and virtual reality in spine surgery, current applications and future potentials. Spine J. 2021;21(10):1617–25. https://doi.org/10.1016/j.spinee.2021.03.018.

Gsaxner C, Eck U, Schmalstieg D, Navab N, Egger J, “Augmented reality in oral and maxillofacial surgery,” in Computer-Aided Oral and Maxillofacial Surgery, Elsevier, 2021;pp. 107–139.

Kim Y, Kim H, Kim YO. Virtual reality and augmented reality in plastic surgery: a review. Arch Plast Surg. 2017;44(3):179–87.

Acidi B, Ghallab M, Cotin S, Vibert E, Golse N. Augmented reality in liver surgery, where we stand in 2023. J Visc Surg. 2023. https://doi.org/10.1016/j.jviscsurg.2023.01.008.

Sun P, et al. Application of virtual and augmented reality technology in hip surgery: systematic review. J Med Internet Res. 2023;25: e37599.

Li M, et al. HoloLens augmented reality system for transperineal free-hand prostate procedures. J Med Imaging. 2023;10(2): 025001.

Suzuki R, Karim A, Xia T, Hedayati H, Marquardt N. gmented reality and robotics: A survey and taxonomy for AR-enhanced human-robot interaction and robotic interfaces. 2022.

Suzuki R, Karim A, Xia T, Hedayati H, Marquardt N. ugmented reality and robotics: A survey and taxonomy for AR-enhanced human-robot interaction and robotic interfaces. 2022.

Fichtinger G, Troccaz J, Haidegger T. Image-guided interventional robotics: lost in translation? Proc IEEE Inst Electr Electron Eng. 2022;110(7):932–50.

Olexa J, Cohen J, Alexander T, Brown C, Schwartzbauer G, Woodworth GF. Expanding educational frontiers in neurosurgery: current and future uses of augmented reality. Neurosurgery. 2023;92(2):241–50.

Alnajdi S, “The effectiveness of implementing augmented reality to enhance trainees’ achievements,” 2023.

Guha P, Lawson J, Minty I, Kinross J, Martin G. Can mixed reality technologies teach surgical skills better than traditional methods? A prospective randomised feasibility study. BMC Med Educ. 2023;23(1):144.

Buele J, Espinoza J, Ruales B, Camino-Morejón VM, Ayala-Chauvin M. “Augmented reality application with multimedia content to support primary education,’’ in trends in artificial intelligence and computer engineering. Cham: Springer Nature Switzerland; 2023. p. 299–310.

Turney BW. Anatomy in a modern medical curriculum. Ann R Coll Surg Engl. 2007;89(2):104–7.

Sinou N, Sinou N, Filippou D. Virtual reality and augmented reality in anatomy education during COVID-19 pandemic. Cureus. 2023. https://doi.org/10.7759/cureus.35170.

Trelease RB. From chalkboard, slides, and paper to e-learning: how computing technologies have transformed anatomical sciences education: how computing transformed anatomy education. Anat Sci Educ. 2016;9(6):583–602.

Dhar P, Rocks T, Samarasinghe RM, Stephenson G, Smith C. Augmented reality in medical education: students’ experiences and learning outcomes. Med Educ Online. 2021;26(1):1953953.

Dorozhkin D, et al. OR fire virtual training simulator: design and face validity. Surg Endosc. 2017;31(9):3527–33.

Fernandez M. Augmented virtual reality: how to improve education systems. Higher Learning Research Communications, vol. 7, no. 1, 2017.

Li Y, et al. Mixed reality and haptic-based dental simulator for tooth preparation: research, development, and preliminary evaluation. JMIR Serious Games. 2022;10(1): e30653.

Yuen SC-Y, Yaoyuneyong G, Johnson E. Augmented reality: an overview and five directions for AR in education. J Educ Technol Dev Exch. 2011;4(1):11.

Liao T, Chang PF, Lee S. Augmented reality in health and medicine. in Technology and Health, Elsevier, 2020;pp. 109–128.

Tang KS, Cheng DL, Mi E, Greenberg PB. Augmented reality in medical education: a systematic review. Can Med Educ J. 2020;11(1):e81–96. https://doi.org/10.36834/cmej.61705.

Albrecht U-V, Folta-Schoofs K, Behrends M, von Jan U. Effects of mobile augmented reality learning compared to textbook learning on medical students: randomized controlled pilot study. J Med Internet Res. 2013;15(8): e182. https://doi.org/10.2196/jmir.2497.

Churchill D, Lu J, Chiu TKF, Fox B, Mobile learning design: Theories and application, 1st ed. Singapore, Singapore: Springer, 2015. https://books.google.at/books?id=GFhECwAAQBAJ

Johnson L, Horizon report: 2016 higher education edition. Nmc, 2016.

Robbins G, “UCSD surges into wearable tech market,” San Diego Union-Tribune, San Diego Union-Tribune, May 02, 2014. https://www.sandiegouniontribune.com/news/science/sdut-tech-wearables-google-2014may02-story.html. Accessed Jun 13 2022.

“U-M developing wearable tech for disease monitoring,” University of Michigan News, Aug. 06, 2014. https://news.umich.edu/u-m-developing-wearable-tech-for-disease-monitoring/. Accessed Jun 13 2022.

Proffitt R, The Institute for Creative Technologies. Playa Vista, California.

Kassutto SM, Baston C, Clancy C. Virtual, augmented, and alternate reality in medical education: socially distanced but fully immersed. ATS Sch. 2021;2(4):651–64.

Csoba I, Kunkli R. Rendering algorithms for aberrated human vision simulation. Vis Comput Ind Biomed Art. 2023;6(1):5.

Malhotra S, Halabi O, Dakua SP, Padhan J, Paul S, Palliyali W. Augmented reality in surgical navigation: a review of evaluation and validation metrics. Appl Sci. 2023;13(3):1629.

Costa N, et al. Augmented reality-assisted ultrasound breast biopsy. Sensors. 2023;23(4):1838.

Kim M, Chung M, Shin Y-G, Kim B. Automatic registration of dental CT and 3D scanned model using deep split jaw and surface curvature. Comput Methods Programs Biomed. 2023;233(107467): 107467.

Yuan J, et al. Extended reality for biomedicine. Nat Rev Methods Primers. 2023;3(1):1–16.

Gupta A, Cecil J, Pirela-Cruz M, Shamsuddin R, Kennison S, Crick C. An Investigation on the Role of Affordance in the Design of Extended Reality based Environments for Surgical Training. IEEE International Systems Conference (SysCon). Montreal, QC, Canada. 2022;2022:1–7. https://doi.org/10.1109/SysCon53536.2022.9773802.

Ebnali M, et al. Extended reality applications for space health. Aerosp Med Hum Perform. 2023;94(3):122–30.

Shaikh TA, Dar TR, Sofi S. Evolution and contribution of extended reality in smart healthcare systems. in Extended Reality for Healthcare Systems, Elsevier, 2023;pp. 159–208.

Pejovic V, Georgitzikis E, Lieberman I, Malinowski PE, Heremans P, Cheyns D. New methods for spectral imaging in shortwave infrared for augmented reality applications in optical architectures for displays and sensing in augmented, virtual, and mixed reality. VR, MR) IV: AR; 2023.

I T E P A P E R WH. Immersive media technologies: the acceleration of augmented and virtual reality in the wake of COVID-19. Weforum.org https://www3.weforum.org/docs/WEImmersiveMediaTechnologies2022.pdf. Accessed 27 May 2022.

Abo-Zahhad M, Sayed MS, Abd El-Malek AH, Fawaz A, Zakaria AA, Wahdan AE, Elsayed M, Taghian A, An IoT-based smart wearable system for remote health monitoring. 2021 9th International Japan-Africa Conference on Electronics, Communications, and Computations (JAC-ECC), 2021;192–197.

Abo-Zahhad M, Taghian A, Hossam M, Atef N, Reda S, Remote monitoring system dedicated to COVID-19 patients healthcare. 2021 9th International Japan-Africa Conference on Electronics, Communications, and Computations (JAC-ECC), 2021;187–191.

Stammler B, Flammer K, Schuster T, Lambert M, Karnath H-O. Negami: an augmented reality app for the treatment of spatial neglect after stroke. JMIR Serious Games. 2023;11: e40651.

Yang Z-Q, Du D, Wei, X-Y, Tong RK-Y. Augmented reality for stroke rehabilitation during COVID-19. Research Square, 2022. https://doi.org/10.21203/rs.3.rs-1336126/v1.

Denche-Zamorano A, et al. Rehabilitation is the main topic in virtual and augmented reality and physical activity research: a bibliometric analysis. Sensors. 2023;23(6):2987.

Sun Y, Hunt CL, Lamounier EA, Soares AB. Neurorehabilitation with virtual and augmented reality tools in handbook of neuroengineering. Singapore: Springer Nature Singapore; 2023. p. 1859–99.

Govindarajan UH, Zhang D, Anshita. Extended reality for patient recovery and wellness. in Extended Reality for Healthcare Systems, Elsevier, 2023;pp. 77–93.

Hunt CL, et al. Limb loading enhances skill transfer between augmented and physical reality tasks during limb loss rehabilitation. J Neuroeng Rehabil. 2023;20(1):16.

Auctores. Cancer and virtual reality vr, the great challenge of the century. Auctores. https://www.auctoresonline.org/article/cancer-and-virtual-reality-vr-the-great-challenge-of-the-century. Accessed Jun 13 2022.

Helfand M, Freeman M. Assessment and management of acute pain in hospitalized adult patients: a systematic review. Pain Med. 2009;10(7):1183–99.

Turk DC, Wilson HD, Cahana A. Treatment of chronic non-cancer pain. Lancet. 2011;377(9784):2226–35. https://doi.org/10.1016/S0140-6736(11)60402-9.

Shah A, Hayes CJ, Martin BC. Factors influencing long-term opioid use in opioid- naïve patients: a review of initial prescribing characteristics and etiologies of pain. J Pain. 2017;18(11):1374–83.

Dascal J, Reid M, Ishak WW, Spiegel B, Recacho J, Rosen B. Virtual reality and hospitalized patients: a systematic review of randomized controlled trials. Innov Clin Neurosci. 2017;14(1–2):14–21.

Tantri IN, Tantri AR, Manggala SK, Firdaus R, Pardede TC. The role of virtual reality in cancer pain management: a systematic literature review. Bioscmed. 2023;7(1):3018–23.

Bhattacharya P, et al. Coalition of 6G and blockchain in AR/VR space: challenges and future directions. IEEE Access. 2021;9:168455–84. https://doi.org/10.1109/access.2021.3136860.

Alaaedi H, Sabaei M. Millimeter wave massive MIMO heterogeneous networks using fuzzy-based deep convolutional neural network (FDCNN). Intell Autom Soft Comput. 2023;36(1):633–46.

. Welcome to decentraland. Decentraland.org. https://decentraland.org. Accessed Jun 21 2022.

. VIBEHub.io. Vibehub.io. https://www.vibehub.io. Accessed Jun 21 2022.

Fernandez-Carames TM, Fraga-Lamas P. A review on the applica- tion of blockchain to the next generation of cybersecure industry 4.0 smart factories. IEEE Access. 2019;7:45201–18.

Taha A, Qu Q, Alex S, Wang P, Abbott WL, Alkhateeb A. Millimeter wave MIMO based depth maps for wireless virtual and augmented reality. arXiv [eess.SP], 2021. arXiv:2102.06198

Orlosky J, Kiyokawa K, Takemura H. Virtual and augmented reality on the 5G highway. J Inf Process. 2017;25:133–41. https://doi.org/10.2197/ipsjjip.25.133.

Thông tin
Thông tin xuất bản

Springer Science and Business Media LLC

Tập 22 Số 1

Thông tin tác giả