Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Lắp kim linh hoạt hỗ trợ bởi robot sử dụng học tăng cường phân phối toàn cầu
Tóm tắt
Việc lắp kim linh hoạt là một phương pháp phẫu thuật xâm lấn tối thiểu quan trọng cho sinh thiết và thuyên tắc bằng tần số vi mô. Phương pháp này có thể giảm thiểu chấn thương trong quá trình phẫu thuật và cải thiện phục hồi sau phẫu thuật. Chúng tôi đề xuất một khung lập kế hoạch đường đi mới sử dụng học tăng cường sâu đa mục tiêu nhằm vượt qua những khó khăn trong tương tác kim - mô không chắc chắn và nâng cao tính ổn định của quá trình lắp kim hỗ trợ robot. Khung này áp dụng một thuật toán mới gọi là học Q phân phối toàn cầu (UDQL) để học một chính sách điều khiển ổn định và thực hiện quản lý rủi ro bằng cách trực quan hóa phân phối giá trị Q đã học. Để cải thiện thêm tính ổn định, phương pháp xấp xỉ hàm giá trị toàn cầu được áp dụng trong quy trình đào tạo của UDQL để tối đa hóa khả năng tổng quát và kết nối với chẩn đoán bằng cách thích ứng với quy trình lập kế hoạch lại nhanh chóng và học chuyển giao. Kết quả mô phỏng máy tính và thử nghiệm trên mô phỏng cho thấy khung đề xuất của chúng tôi có thể điều khiển an toàn các kim linh hoạt với độ chính xác và tính ổn định lắp kim cao. Khung này cũng cải thiện độ ổn định bằng cách cung cấp thông tin phân phối cho các bác sĩ lâm sàng nhằm phục vụ cho chẩn đoán và ra quyết định trong quá trình phẫu thuật. So với các phương pháp trước đó, khung được đề xuất có thể thực hiện lắp kim đa mục tiêu thông qua điểm lắp kim đơn trong mô hình không gian trạng thái liên tục với độ chính xác và tính ổn định cao hơn.
Từ khóa
#lắp kim linh hoạt #học tăng cường sâu #quản lý rủi ro #phẫu thuật xâm lấn tối thiểu #phân phối giá trị Q #chẩn đoán lâm sàng.Tài liệu tham khảo
Hamad GG, Curet M (2010) Minimally invasive surgery. Am J Surg 199(2):263–265
Tan X, Chng C-B, Ye S, Lim K-B, Chui C-K (2019) Robot-assisted training in laparoscopy using deep reinforcement learning. IEEE Robot Autom Lett 4(2):485–492
Hiraki T, Kamegawa T, Matsuno T, Sakurai J, Kirita Y, Matsuura R, Yamaguchi T, Sasaki T, Mitsuhashi T, Komaki T (2017) Robotically driven ct-guided needle insertion: preliminary results in phantom and animal experiments. Radiology 285(2):454–461
Abolhassani N, Patel R, Moallem M (2007) Needle insertion into soft tissue: a survey. Med Eng Phys 29(4):413–431
Schaul T, Horgan D, Gregor K, Silver D (2015a) Universal value function approximators. In: International conference on machine learning. pp 1312–1320
Tan X, Yu P, Lim K-B, Chui C-K (2018) Robust path planning for flexible needle insertion using Markov decision processes. Int J Comput Assist Radiol Surg 13(9):1439–1451
Duan B, Wen R, Chng C-B, Wang W, Liu P, Qin J, Peneyra JL, Chang SK-Y, Heng P-A, Chui C-K (2015) Image-guided robotic system for radiofrequency ablation of large liver tumor with single incision. In: 2015 12th International conference on ubiquitous robots and ambient intelligence (URAI). IEEE, pp 284–289
DiMaio SP, Salcudean SE (2005) Needle steering and motion planning in soft tissues. IEEE Trans Biomed Eng 52(6):965–974
Taylor RH, Menciassi A, Fichtinger G, Fiorini P, Dario P (2016) Medical robotics and computer-integrated surgery. In: Siciliano B, Khatib O (eds) Springer handbook of robotics. Springer, Cham, pp 1657–1684
Liu P, Qin J, Duan B, Wang Q, Tan X, Zhao B, Jonnathan PL, Chui C-K, Heng P-A (2018) Overlapping radiofrequency ablation planning and robot-assisted needle insertion for large liver tumors. Int J Med Robot Comput Assist Surg 15:e1952
Chatelain P, Krupa A, Navab N (2015) 3d ultrasound-guided robotic steering of a flexible needle via visual servoing. In: IEEE international conference on robotics and automation, ICRA’15
Alterovitz R, Siméon T, Goldberg KY (2007) The stochastic motion roadmap: a sampling framework for planning with Markov motion uncertainty. In: Robotics: science and systems, vol 3, pp 233–241
Alterovitz R, Branicky M, Goldberg K (2008) Motion planning under uncertainty for image-guided medical needle steering. Int J Robot Res 27(11–12):1361–1374
Morar A, Moldoveanu F, Gröller E (2012) Image segmentation based on active contours without edges. In: 2012 IEEE 8th international conference on intelligent computer communication and processing. IEEE, pp 213–220
Chen X, Nguyen BP, Chui C-K, Ong S-H (2016) Automated brain tumor segmentation using kernel dictionary learning and superpixel-level features. In: 2016 IEEE international conference on systems, man, and cybernetics (SMC). IEEE, pp 002547–002552
Sutton RS, Barto AG (1998) Introduction to reinforcement learning, vol 135. MIT Press, Cambridge
Deng L, Yu D (2014) Deep learning: methods and applications. Found Trends® Signal Process 7(3–4):197–387
Silver D, Schrittwieser J, Simonyan K, Antonoglou I, Huang A, Guez A, Hubert T, Baker L, Lai M, Bolton A (2017) Mastering the game of go without human knowledge. Nature 550(7676):354
Schulman J, Wolski F, Dhariwal P, Radford A, Klimov O (2017) Proximal policy optimization algorithms. arXiv:1707.06347
Fu YB, Chui CK, Teo CL (2013) Liver tissue characterization from uniaxial stress–strain data using probabilistic and inverse finite element methods. J Mech Behav Biomed Mater 20:105–112
Fu YB, Chui CK (2014) Modelling and simulation of porcine liver tissue indentation using finite element method and uniaxial stress–strain data. J Biomech 47(10):2430–2435
Qu C, Mannor S, Xu H (2018) Nonlinear distributional gradient temporal-difference learning. arXiv:1805.07732
Bellemare MG, Dabney W, Munos R (2017) A distributional perspective on reinforcement learning. arXiv:1707.06887
Andrychowicz M, Wolski F, Ray A, Schneider J, Fong R, Welinder P, McGrew B, Tobin J, Abbeel OP, Zaremba W (2017) Hindsight experience replay. In: Advances in neural information processing systems, pp 5048–5058
Schaul T, Quan J, Antonoglou I, Silver D (2015b) Prioritized experience replay. arXiv:1511.05952
Tamar A, Di Castro D, Mannor S (2016) Learning the variance of the reward-to-go. J Mach Learn Res 17(1):361–396
Yang L, Wen R, Qin J, Chui C-K, Lim K-B, Chang SK-Y (2010) A robotic system for overlapping radiofrequency ablation in large tumor treatment. IEEE/ASME Trans Mechatron 15(6):887–897
Tan X, Chng C-B, Duan B, Ho Y, Wen R, Chen X, Lim K-B, Chui C-K (2017) Cognitive engine for robot-assisted radio-frequency ablation system. Acta Polytech Hung 14(1):129–145
Tan X, Chng C-B, Duan B, Ho Y, Wen R, Chen X, Lim K-B, Chui C-K (2016) Design and implementation of a patient-specific cognitive engine for robotic needle insertion. In: 2016 IEEE international conference on systems, man, and cybernetics (SMC). IEEE, pp 000560–000565
Van Hasselt H, Guez A, Silver D (2016) Deep reinforcement learning with double Q-learning. In: AAAI, vol 16, pp 2094–2100
Wasserstein RL, Lazar NA (2016) The asa’s statement on p values: context, process, and purpose. Am Stat 70(2):129–133
Leong F, Huang W-H, Chui C-K (2013) Modeling and analysis of coagulated liver tissue and its interaction with a scalpel blade. Med Biol Eng Comput 51(6):687–695
Tokuda J, Song S-E, Fischer GS, Iordachita II, Seifabadi R, Cho NB, Tuncali K, Fichtinger G, Tempany CM, Hata N (2012) Preclinical evaluation of an MRI-compatible pneumatic robot for angulated needle placement in transperineal prostate interventions. Int J Comput Assist Radiol Surg 7(6):949–957
Krieger A, Susil RC, Fichtinger G, Atalar E, Whitcomb LL (2004) Design of a novel MRI compatible manipulator for image guided prostate intervention. In: IEEE international conference on robotics and automation, proceedings on ICRA’04, vol 1. IEEE, pp 377–382
Schouten MG, Ansems J, Renema WKJ, Bosboom D, Scheenen TWJ, Fütterer JJ (2010) The accuracy and safety aspects of a novel robotic needle guide manipulator to perform transrectal prostate biopsies. Med Phys 37(9):4744–4750