Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Phát hiện da trong video dưới ánh sáng không kiểm soát
Tóm tắt
Nhiều ứng dụng tương tác người-máy (HCI) dựa trên thị giác yêu cầu phát hiện da. Tuy nhiên, hiệu suất của chúng phụ thuộc vào độ chính xác trong việc phát hiện các vùng da trong video, điều này gặp khó khăn dưới ánh sáng không kiểm soát. Diện mạo màu sắc của da thay đổi do bóng đổ, thường xảy ra do sự chuyển động của cơ thể. Để giải quyết vấn đề này, chúng tôi đề xuất một phương pháp thích ứng động để phát hiện các vùng da bị ảnh hưởng bởi sự biến dạng màu sắc cục bộ. Các vùng da tĩnh và động được phát hiện thông qua một mô-đun tương ứng. Mô-đun tĩnh bao gồm một mô hình phân bố da mặt (FSDM) và một mô hình phân bố nền dựa trên hợp nhất (FBDM). FBDM được lấy từ một mô hình phân bố nền cục bộ (LBDM) và một mô hình phân bố nền toàn cầu (GBDM). LBDM được xây dựng bằng cách so sánh mô hình phân bố pixel của khung hình với FSDM và GBDM. Tiếp theo, FBDM được suy ra từ LBDM và GBDM. Mô-đun động bao gồm một mô hình phân bố da di động (MSDM), được suy ra từ một tập hợp các mẫu da di động. Ban đầu, các vùng da di động được phát hiện sử dụng phương pháp khác biệt khung đôi đã được chỉnh sửa và sau đó được mô hình hóa bằng mô hình hỗn hợp Gaussian. Để tránh việc nhầm lẫn các vùng nền với da, MSDM cuối cùng được thu được bằng cách so sánh mô hình da di động ban đầu với FSDM và FBDM. Cuối cùng, các mô hình tĩnh và động được hợp nhất bằng cách áp dụng quy tắc tối đa hóa. Kết quả thực nghiệm cho thấy phương pháp đề xuất có thể phát hiện các vùng da chính xác hơn so với các phương pháp tiên tiến nhất hiện nay.
Từ khóa
#nhận diện da #mô hình phân bố #tương tác người-máy #chuyển động cơ thể #ánh sáng không kiểm soátTài liệu tham khảo
Avola D, Bernardi M, Cinque L, Foresti G L, Massaroni C (2019) Exploiting recurrent neural networks and leap motion controller for the recognition of sign language and semaphoric hand gestures. IEEE Trans Multimed 21 (1):234–245
Awad G, Han J, Sutherland A (2006) A unified system for segmentation and tracking of face and hands in sign language recognition. In: Proc. Int. Conf. Pattern Recogn., vol 1, pp 239–242
Bianco S, Gasparini F, Schettini R (2015) Adaptive skin classification using face and body detection. IEEE Trans Image Process 24(12):4756–4765
Carrara F, Elias P, Sedmidubsky J (2019) Lstm-based real-time action detection and prediction in human motion streams. Multimed Tools Appl 78:27309–27331
Chakraborty B K, Bhuyan M (2020) Image specific discriminative feature extraction for skin segmentation. Multimed Tools Appl:1573–7721
Chakraborty B K, Bhuyan MK, Kumar S (2017) Combining image and global pixel distribution model for skin colour segmentation. Pattern Recogn Lett 88:33–40
Chung JK, Kannappan PL, Ng CT, Sahoo PK (1989) Measures of distance between probability distributions. J Math Anal Appl 138(1):280–292
Chyad M A, Alsattar H A, Zaidan B B, Zaidan A A, Al Shafeey G A (2019) The landscape of research on skin detectors: Coherent taxonomy, open challenges, motivations, recommendations and statistical analysis, future directions. IEEE Access 7:106536–106575
Danyang C, Menggui Z, Yanchao Z (2018) Research on a facial feature points detection method based on skin color model. In: 2018 Chinese Control And Decision Conference (CCDC), pp 5688–5693
Fouad R M, Omer O A, Aly M H (2019) Optimizing remote photoplethysmography using adaptive skin segmentation for real-time heart rate monitoring. IEEE Access 7:76513–76528
George Y, Aldeen M, Garnavi R (2017) A pixel-based skin segmentation in psoriasis images using committee of machine learning classifiers. In: Int. Conf. Digit. Image Comput.: Tech. and Appl. (DICTA), pp 1–8
Habili N, Lim C-C, Moini A (2004) Segmentation of the face and hands in sign language video sequences using color and motion cues. IEEE Trans Circ Syst Video Technol 14(8):1086–1097
Han J, Awad G, Sutherland A (2009) Automatic skin segmentation and tracking in sign language recognition. IET Comput Vis 3(1):24–35
Hettiarachchi R, Peters JF (2016) Multi-manifold-based skin classifier on feature space voronoï regions for skin segmentation. J Vis Commun Image R 41:123–139
Jones M J, Rehg J (2002) Statistical color models with application to skin detection. Int J Comput Vis 46(1):81–96
Kakkoth S S, Gharge S (2018) Real time hand gesture recognition its applications in assistive technologies for disabled. In: Int. Conf. Comput. Comm. Control and Auto. (ICCUBEA), pp 1–6
Kameda Y, Michihiko M (1996) A human motion estimation method using 3-successive video frames. In: Proc. Conf. on Virtual Systems and Multimedia, pp 135–140. http://ci.nii.ac.jp/naid/10024346616/en/
Kawulok M (2013) Fast propagation-based skin regions segmentation in color images. In: Proc. 10th IEEE Int. Conf. and Workshops Autom. Face and Gesture Recogn. (FG), pp 1–7
Kawulok M, Kawulok J, Nalepa J, Papiez M (2013) Skin detection using spatial analysis with adaptive seed. In: Proc. IEEE ICIP, pp 3720–3724
Kawulok M, Kawulok J, Nalepa J (2014) Spatial-based skin detection using discriminative skin-presence features. Pattern Recogn Lett 41:3–13
Lei Q, Zhang H, Xia Z, Yang Y, He Y, Liu S (2019) Applications of hand gestures recognition in industrial robots: a review . In: Verikas A, Nikolaev D P, Radeva P, Zhou J (eds) Int. Conf. Machine Vis. (ICMV 2018), vol 11041. International Society for Optics and Photonics, SPIE, pp 455–465
Lei Y, Yuan W, Wang H, Wenhu Y, Bo W (2017) A skin segmentation algorithm based on stacked autoencoders. IEEE Trans Multimed 19 (4):740–749
Liu L, Sang N, Yang S, Huang R (2011) Real-time skin color detection under rapidly changing illumination conditions. IEEE Trans Consum Electron 57(3):1295–1302
McBride T J, Vandayar N, Nixon K J (2019) A comparison of skin detection algorithms for hand gesture recognition. In: 2019 Southern African Universities Power Engineering Conference/Robotics and Mechatronics/Pattern Recognition Association of South Africa (SAUPEC/RobMech/PRASA), pp 211–216
Mo T, Sun P (2019) Research on key issues of gesture recognition for artificial intelligence. Soft Comput 24:5795–5803
Moreira D C, Fechine J M (2018) A machine learning-based forensic discriminator of pornographic and bikini images. In: 2018 Int. Joint Conf. Neural Net. (IJCNN), pp 1–8
Otsu N (1979) A threshold selection method from gray-level histograms. IEEE Trans Syst Man Cybern 9(1):62–66
Pennisi A, Bloisi D D, Nardi D, Giampetruzzi A R, Mondino C, Facchiano A (2016) Skin lesion image segmentation using delaunay triangulation for melanoma detection. Comput Med Imag Graph 52:89–103
Phung SL, Bouzerdoum A, Chai S (2005) Skin segmentation using color pixel classification: Analysis and comparison. IEEE Trans Pattern Anal Mach Intell 27(1):148–154
Ramasinghe S, Rajasegaran J, Jayasundara V, Ranasinghe K, Rodrigo R, Pasqual A A (2019) Combined static and motion features for deep-networks-based activity recognition in videos. IEEE Trans Circ Syst Vid Tech 29(9):2693–2707
Rautaray S, Agrawal A (2012) Vision based hand gesture recognition for human computer interaction: a survey. Artificial Intell Rev:1–54
Sandbach G, Zafeiriou S, Pantic M, Yin L (2012) Static and dynamic 3d facial expression recognition: A comprehensive survey. Image Vis Comput 30(10):683–697
SanMiguel J C, Suja S (2013) Skin detection by dual maximization of detectors agreement for video monitoring. Pattern Recogn Lett 34(16):2102–2109
Sigal L, Sclaroff S, Athitsos V (2004) Skin color-based video segmentation under time-varying illumination. IEEE Trans Pattern Anal Mach Intell 26 (7):862–877
Soriano M, Martinkauppi B, Huovinen S, Laaksonen M (2003) Adaptive skin color modeling using the skin locus for selecting training pixels. Pattern Recogn 36(3):681–690
Tang C, Lu J, Liu J (2018) Non-contact heart rate monitoring by combining convolutional neural network skin detection and remote photoplethysmography via a low-cost camera. In: 2018 IEEE/CVF Conf. Comput. Vis. Pattern Recogn. Work. (CVPRW), pp 1390–13906
Viola P, Jones M (2001) Rapid object detection using a boosted cascade of simple features. In: Proc. IEEE Comp. Society Conf. Comp. Vis. and Pattern Recognition (CVPR), vol 1, pp 511–518
Wachs J P, Kölsch M, Stern H, Edan Y (February 2011) Vision-based hand-gesture applications. Commun ACM 54(2):6071
Yang J, Wang Y, Lv Z, Jiang N, Steed A (2018) Interaction with three-dimensional gesture and character input in virtual reality: Recognizing gestures in different directions and improving user input. IEEE Consum Electron Mag 7(2):64–72
Zuo H, Fan H, Blasch E, Ling H (2017) Combining convolutional and recurrent neural networks for human skin detection. IEEE Signal Process Let 24(3):289–293