Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Phát hiện dụng cụ dựa trên học sâu cho sự hỗ trợ robot trong phẫu thuật
Tóm tắt
Y tá phẫu thuật robot có tiềm năng trở thành giải pháp hấp dẫn cho phòng mổ. Phát hiện dụng cụ phẫu thuật là nhiệm vụ cơ bản cho các hệ thống này, và đây là trọng tâm của công trình này. Chúng tôi giải quyết vấn đề phát hiện bộ dụng cụ phẫu thuật hoàn chỉnh cho việc nhổ răng khôn, và đề xuất một kỹ thuật tăng cường dữ liệu phù hợp cho nhiệm vụ này. Sử dụng hệ thống y tá phẫu thuật robot, chúng tôi tạo ra một tập dữ liệu gồm 369 hình ảnh đa dụng cụ độc đáo với các chú thích thủ công. Sau đó, chúng tôi đề xuất phương pháp Chèn Đối Tượng Dựa Trên Mặt Nạ, có khả năng tự động tạo ra một lượng lớn hình ảnh tổng hợp. Bằng cách sử dụng cả dữ liệu thực và dữ liệu giả, các mô hình Mask R-CNN khác nhau được huấn luyện và đánh giá. Các thí nghiệm của chúng tôi cho thấy rằng các mô hình được huấn luyện trên dữ liệu tổng hợp được tạo ra bằng phương pháp của chúng tôi đạt được hiệu suất tương đương với các mô hình được huấn luyện trên hình ảnh thực. Hơn nữa, chúng tôi chứng minh rằng sự kết hợp giữa dữ liệu thực và dữ liệu giả của chúng tôi có thể dẫn đến một mức độ tổng quát vượt trội.
Từ khóa
#y tá phẫu thuật robot #phát hiện dụng cụ phẫu thuật #học sâu #tăng cường dữ liệu #nhổ răng khôn #Mask R-CNNTài liệu tham khảo
Aini FAN, Purwalaksana AZ, Manalu IP (2019) Object detection of surgical instruments for assistant robot surgeon using knn. In: 2019 international conference on advanced mechatronics, intelligent manufacture and industrial automation (ICAMIMIA), pp 37–40. IEEE
Carpintero E, Perez C, Morales R, Garcia N, Candela A, Azorin J (2010) Development of a robotic scrub nurse for the operating theatre. In: 2010 3rd IEEE RAS and EMBS international conference on biomedical robotics and biomechatronics, pp 504–509
Dalal R, Moh T (2018) Fine-grained object detection using transfer learning and data augmentation. In: IEEE/ACM international conference on advances in social networks analysis and mining (ASONAM), pp 893–896
Dutta A, Gupta A, Zissermann A (2016) VGG image annotator (VIA). http://www.robots.ox.ac.uk/vgg/software/via/
Dwibedi D, Misra I, Hebert M (2017) Cut, paste and learn: Surprisingly easy synthesis for instance detection. In: Proceedings of the IEEE international conference on computer vision, pp 1301–1310
He K, Gkioxari G, Dollár P, Girshick R (2017) Mask R-CNN. In: Proceedings of the IEEE international conference on computer vision, pp 2961–2969
Jacob MG, Li YT, Wachs JP (2013) Surgical instrument handling and retrieval in the operating room with a multimodal robotic assistant. In: IEEE international conference on robotics and automation, pp 2140–2145. IEEE
Jacob MG, Li YT, Wachs JP (2012) Gestonurse: a multimodal robotic scrub nurse. In: ACM/IEEE international conference on human-robot interaction, pp 153–154
Jo H, Na YH, Song JB (2017) Data augmentation using synthesized images for object detection. In: International conference on control, automation and systems, pp 1035–1038
Kan N, Kondo N, Chinsatit W, Saitoh T (2018) Effectiveness of data augmentation for cnn-based pupil center point detection. In: 57th annual conference of the society of instrument and control engineers of Japan (SICE), pp 41–46
Li H, Rao J, Zhou L, Zhang J (2019) Valid data augmentation by patch alpha matting. In: 2019 IEEE 4th international conference on signal and image processing (ICSIP), pp 361–366
Lin TY, Maire M, Belongie S, Hays J, Perona P, Ramanan D, Dollár P, Zitnick CL (2014) Microsoft coco: common objects in context. In: European conference on computer vision, pp 740–755. Springer
Matrox Electronic Systems: Matrox imaging library, https://integrys.com/product/matrox-imaging-library-mil/
Miyawaki F, Masamune K, Suzuki S, Yoshimitsu K, Vain J (2005) Scrub nurse robot system-intraoperative motion analysis of a scrub nurse and timed-automata-based model for surgery. IEEE Trans Industr Electron 52(5):1227–1235
Murillo PCU, Moreno RJ, Arenas JOP (2017) Comparison between cnn and haar classifiers for surgical instrumentation classification. Contemp Eng Sci 10(28):1351–1363
Nakano A, Nagamune K (2022) A development of robotic scrub nurse system-detection for surgical instruments using faster region-based convolutional neural network-. J Adv Comput Intell Intell Inf 26(1):74–82
Shin H, Lee K, Lee C (2020) Data augmentation method of object detection for deep learning in maritime image. In: IEEE international conference on big data and smart computing (BigComp), pp 463–466
Talukdar J, Biswas A, Gupta S (2018) Data augmentation on synthetic images for transfer learning using deep CNNs. In: 5th international conference on signal processing and integrated networks (SPIN), pp 215–219
Uysal MC, Karapinar T, Benligiray B, Topal C (2018) Dataset augmentation for accurate object detection. In: 26th signal processing and communications applications conference (SIU), pp 1–4
Wang Y, Zhou Y, Luo C (2019) Deep learning for topmost roller chain detection using data augmentation. In: 4th international conference on mechanical, control and computer engineering (ICMCCE), pp 443–4433
Xu Y, Mao Y, Tong X, Tan H, Griffin WB, Kannan B, DeRose LA (2015) Robotic handling of surgical instruments in a cluttered tray. IEEE Trans Autom Sci Eng 12(2):775–780
Zemmar A, Lozano AM, Nelson BJ (2020) The rise of robots in surgical environments during covid-19. Nat Mach Intell 2(10):566–572
Zhou T, Wachs JP (2017) Finding a needle in a haystack: recognizing surgical instruments through vision and manipulation. Electron Imaging 2017(9):37–45
Zhou T, Wachs JP (2017) Needle in a haystack: interactive surgical instrument recognition through perception and manipulation. Robot Auton Syst 97:182–192