Ước lượng thuộc tính nhân khẩu học trong video khuôn mặt bằng cách kết hợp thông tin cục bộ và đánh giá chất lượng

Machine Vision and Applications - Tập 33 Số 2 - Trang 1-15 - 2022
Becerra-Riera, Fabiola1, Morales-González, Annette1, Méndez-Vázquez, Heydi1, Dugelay, Jean-Luc2
1Advanced Technologies Application Center (CENATAV), Playa, Cuba
2Digital Security Department, EURECOM, Biot Sophia Antipolis, France

Tóm tắt

Hiện nay, các ứng dụng phân tích video đang ngày càng phổ biến nhờ vào sự phát triển của hệ thống camera giám sát (CCTV) và sự sẵn có của camera cho công chúng, chẳng hạn như camera trong các thiết bị di động. Nhiều nhiệm vụ phân tích và xử lý hình ảnh đã chuyển hướng sang lĩnh vực video, với lợi thế là thông tin dư thừa thu được từ nhiều khung hình khác nhau, điều này có thể giúp làm rõ nhiều đầu ra nhận diện. Trong bối cảnh này, cũng tồn tại những vấn đề video đặc thù cần giải quyết, chẳng hạn như các tình huống không kiểm soát và chất lượng hình ảnh kém. Hầu hết các công trình hiện có liên quan đến ước lượng nhân khẩu học khuôn mặt đều tập trung vào các tập dữ liệu hình ảnh tĩnh; vì vậy, chúng tôi đề xuất giải quyết ước lượng giới tính và độ tuổi trong các tình huống video. Để xử lý các vấn đề video đã biết như việc ghi lại hình ảnh chất lượng thấp, che khuất và biến đổi tư thế, chúng tôi đề xuất một chiến lược ba bước để điều chỉnh các thuật toán nhận diện thuộc tính dựa trên hình ảnh hiện tại. Đầu tiên, chúng tôi sử dụng một bước đánh giá chất lượng dựa trên 12 chỉ số để lựa chọn các khung hình có chất lượng tốt từ một chuỗi video khuôn mặt. Thứ hai, chúng tôi đề xuất một phương pháp dựa trên thành phần để xác định các vùng cục bộ có tính phân biệt cao nhất của khuôn mặt cho từng thuộc tính cụ thể, dưới những điều kiện biến đổi này. Thứ ba, chúng tôi đánh giá các chiến lược kết hợp khung hình khác nhau để tạo ra dự đoán cuối cùng của video. Trong phần xác thực thực nghiệm của chúng tôi, được thực hiện trên 3 tập dữ liệu (EURECOM Augmented, UvA-Nemo Smile và YouTube Faces), chúng tôi chỉ ra các lợi ích của chiến lược mà chúng tôi đề xuất để cải thiện phân loại thuộc tính nhân khẩu học dựa trên video.

Từ khóa

#thuộc tính nhân khẩu học #video khuôn mặt #đánh giá chất lượng #nhận diện thuộc tính.

Tài liệu tham khảo

citation_journal_title=Artif. Intell. Rev.; citation_title=A survey on facial soft biometrics for video surveillance and forensic applications; citation_author=F Becerra-Riera, A Morales-González, H Méndez-Vázquez; citation_volume=52; citation_issue=2; citation_publication_date=2019; citation_pages=1155-1187; citation_doi=10.1007/s10462-019-09689-5; citation_id=CR1 citation_journal_title=Trans. Inf. Forens. Secur.; citation_title=Face matching and retrieval using soft biometrics; citation_author=U Park, AK Jain; citation_volume=5; citation_issue=3; citation_publication_date=2010; citation_pages=406-415; citation_doi=10.1109/TIFS.2010.2049842; citation_id=CR2 citation_journal_title=Trans. Inf. Forens. Secur.; citation_title=Soft biometrics and their application in person recognition at a distance; citation_author=P Tome, J Fierrez, R Vera-Rodriguez, MS Nixon; citation_volume=9; citation_issue=3; citation_publication_date=2014; citation_pages=464-475; citation_doi=10.1109/TIFS.2014.2299975; citation_id=CR3 Ng, C.-B., Lo, W.-H.: Effect of image distortion on facial age and gender classification performance of convolutional neural networks”. IOP Conference Series: Materials Science and Engineering 495, 012029 (2019) citation_journal_title=J. Ambient Intell. Hum. Comput.; citation_title=Gender recognition in the wild: a robustness evaluation over corrupted images; citation_author=A Greco, A Saggese, M Vento, V Vigilante; citation_publication_date=2020; citation_doi=10.1007/s12652-020-02750-0; citation_id=CR5 Becerra-Riera, F., Morales-González, A., Mendez-Vazquez, H., Dugelay, J.-L.: Attribute-based quality assessment for demographic estimation in face videos. In: ICPR 2020, 25th International Conference on Pattern Recognition, 10-15 January 2021, Milan, Italy (Virtual Conference), IEEE, Ed., Milan (2021) Becerra-Riera, F., Morales-González, A., Méndez-Vázquez, H.: Exploring local deep representations for facial gender classification in videos. In: International Workshop on Artificial Intelligence and Pattern Recognition (IWAIPR), ser. Lecture Notes in Computer Science, vol. 11047. Springer, pp. 104–112 (2018) citation_journal_title=IET Image Process.; citation_title=Patch strategy for deep face recognition; citation_author=Y Zhang, K Shang, J Wang, N Li, MM Zhang; citation_volume=12; citation_issue=5; citation_publication_date=2018; citation_pages=819-825; citation_doi=10.1049/iet-ipr.2017.1085; citation_id=CR8 Méndez-Vázquez, H., Becerra-Riera, F., Morales-González, A., López-Avila, L., Tistarelli, M.: Local deep features for composite face sketch recognition. In: 7th International Workshop on Biometrics and Forensics, IWBF: Cancun, Mexico, May 2–3, 2019. IEEE, vol. 2019, pp. 1–6 (2019) citation_journal_title=EURASIP J. Image Video Process.; citation_title=A study on different experimental configurations for age, race, and gender estimation problems; citation_author=P Carcagnì, MD Coco, D Cazzato, M Leo, C Distante; citation_volume=2015; citation_publication_date=2015; citation_pages=1-22; citation_doi=10.1186/s13640-015-0089-y; citation_id=CR10 Gupta, R., Kumar, S., Yadav, P., Shrivastava, S.: Identification of age, gender and race smt (scare, marks, tattoos) from unconstrained facial images using statistical techniques. In: 2018 International Conference on Smart Computing and Electronic Enterprise (ICSCEE), pp. 1–8 (2018) citation_journal_title=Pattern Recognit.; citation_title=Effective training of convolutional neural networks for face-based gender and age prediction; citation_author=G Antipov, M Baccouche, S-A Berrani, J-L Dugelay; citation_volume=72; citation_issue=C; citation_publication_date=2017; citation_pages=15-26; citation_doi=10.1016/j.patcog.2017.06.031; citation_id=CR12 citation_journal_title=J. Vis. Commun. Image Represent.; citation_title=Afif4: Deep gender classification based on adaboost-based fusion of isolated facial features and foggy faces; citation_author=M Afifi, A Abdelhamed; citation_volume=62; citation_publication_date=2019; citation_pages=77-86; citation_doi=10.1016/j.jvcir.2019.05.001; citation_id=CR13 citation_journal_title=Turkish J. Electr. Eng. Comput. Sci.; citation_title=Bagging ensemble for deep learning based gender recognition using test-time augmentation on large-scale datasets; citation_author=T Danişman; citation_volume=29; citation_issue=4; citation_publication_date=2021; citation_pages=2084-2100; citation_doi=10.3906/elk-2008-166; citation_id=CR14 Yang, T.-Y., Huang, Y.-H., Lin, Y.-Y., Hsiu, P.-C., Chuang, Y.-Y.: Ssr-net: A compact soft stagewise regression network for age estimation. In: Proceedings of the Twenty-Seventh International Joint Conference on Artificial Intelligence, IJCAI-18, 7, pp. 1078–1084 (2018). https://doi.org/10.24963/ijcai.2018/150 Terhörst, P., Huber, M., Kolf, J. N., Zelch, I., Damer, N., Kirchbuchner, F., Kuijper, A.: Reliable age and gender estimation from face images: Stating the confidence of model predictions. In: 10th International Conference on BTAS. IEEE, 10 (2019) citation_journal_title=Appl. Sci.; citation_title=Face gender recognition in the wild: an extensive performance comparison of deep-learned, hand-crafted, and fused features with deep and traditional models; citation_author=A Althnian, N Aloboud, N Alkharashi, F Alduwaish, M Alrshoud, H Kurdi; citation_volume=11; citation_issue=1; citation_publication_date=2021; citation_pages=89; citation_doi=10.3390/app11010089; citation_id=CR17 Roxo, T., Proença, H.: Faces in the wild: efficient gender recognition in surveillance conditions (2021) Demirkus, M., Garg, K., Guler, S.: Automated person categorization for video surveillance using soft biometrics. In: Biometric Technology for Human Identification VII, vol. 7667. SPIE, pp. 236 – 247 (2010). https://doi.org/10.1117/12.851424 citation_journal_title=Neurocomputing; citation_title=Demographic classification from face videos using manifold learning; citation_author=A Hadid, M Pietikäinen; citation_volume=100; citation_publication_date=2013; citation_pages=197-205; citation_doi=10.1016/j.neucom.2011.10.040; citation_id=CR20 Wang, W.-C., Hsu, R.-Y., Huang, C.-R., Syu, L.-Y.: Video gender recognition using temporal coherent face descriptor. In: 16th IEEE/ACIS International Conference on Software Engineering, Artificial Intelligence, Networking and Parallel/ Distributed Computing, SNPD. IEE, pp. 113–118 (2015) citation_journal_title=IEEE TPAMI; citation_title=Hierarchical spatio-temporal probabilistic graphical model with multiple feature fusion for binary facial attribute classification in real-world face videos; citation_author=M Demirkus, D Precup, JJ Clark, T Arbel; citation_volume=38; citation_publication_date=2016; citation_pages=1185-1203; citation_doi=10.1109/TPAMI.2015.2481396; citation_id=CR22 Azzopardi, G., Greco, A., Saggese, A., Vento, M.: Fast gender recognition in videos using a novel descriptor based on the gradient magnitudes of facial landmarks. In: Advanced Video and Signal Based Surveillance, pp. 1–6 (2017) Dibeklioğlu, H., Gevers, T., Salah, A.A., Valenti, R.: A smile can reveal your age: enabling facial dynamics in age estimation. In: Proceedings of the 20th ACM International Conference on Multimedia, ser. MM’12. New York, NY, USA: Association for Computing Machinery, pp. 209–218. (2012). https://doi.org/10.1145/2393347.2393382 citation_journal_title=IEEE Trans. Inf. Forens. Secur.; citation_title=Gender estimation based on smile-dynamics; citation_author=A Dantcheva, F Brémond; citation_volume=12; citation_issue=3; citation_publication_date=2017; citation_pages=719-729; citation_doi=10.1109/TIFS.2016.2632070; citation_id=CR25 citation_journal_title=Opt. Mem. Neural Netw.; citation_title=Neural networks in video-based age and gender recognition on mobile platforms; citation_author=A Kharchevnikova, AV Savchenko; citation_volume=27; citation_issue=4; citation_publication_date=2018; citation_pages=246-259; citation_doi=10.3103/S1060992X18040021; citation_id=CR26 citation_journal_title=Int. J. Pattern Recognit. Artif. Intell.; citation_title=Video stream gender classification using shallow cnn; citation_author=G Oleksii, P Olena; citation_publication_date=2020; citation_doi=10.1142/S0218001421550016; citation_id=CR27 Roxo, T., Proença, H.: Is gender “in-the-wild” inference really a solved problem? IEEE Transactions on Biometrics, Behavior, and Identity Science, pp. 1–1 (2021) Levi, G., Hassner, T.: Age and gender classification using convolutional neural networks. In: Conference on Computer Vision and Pattern Recognition (CVPR) Workshops. IEEE, pp. 34–42 (2015) citation_journal_title=IEEE Trans. Inf. Forens. Secur.; citation_title=Learning face image quality from human assessments; citation_author=L Best-Rowden, AK Jain; citation_volume=13; citation_issue=12; citation_publication_date=2018; citation_pages=3064-3077; citation_doi=10.1109/TIFS.2018.2799585; citation_id=CR30 Hernandez-Ortega, J., Galbally, J., Fierrez, J., Haraksim, R., Beslay, L.: Faceqnet: Quality assessment for face recognition based on deep learning. In: 2019 International Conference on Biometrics (ICB). IEEE, pp. 1–8 (2019) Xiang, X.: Beyond deep feature averaging: Sampling videos towards practical facial pain recognition. In: CVPR Workshops, pp. 37–42 (2019) citation_journal_title=PeerJ Comput. Sci.; citation_title=Efficient video face recognition based on frame selection and quality assessment; citation_author=A Kharchevnikova, AV Savchenko; citation_volume=7; citation_publication_date=2021; citation_pages=e391; citation_doi=10.7717/peerj-cs.391; citation_id=CR33 Selim, M., Sundararajan, S., Pagani, A., Stricker, D.: Image quality-aware deep networks ensemble for efficient gender recognition in the wild. In: Proceedings of the 13th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications (VISIGRAPP 2018), vol. 5, pp. 351–358 (2018) Wang, X., Guo, R., Kambhamettu, C.: Deeply-learned feature for age estimation. Winter Conference on Applications of Computer Vision (WACV), pp. 534–541 (2015) Zhong, Y., Sullivan, J., Li, H.: Face attribute prediction using off-the-shelf deep learning networks. In: International Conference on Biometrics (ICB). IEEE (2016) citation_journal_title=Pattern Recognit.; citation_title=Age and gender recognition in the wild with deep attention; citation_author=P Rodríguez, G Cucurull, JM Gonfaus, FX Roca, J González; citation_volume=72; citation_issue=C; citation_publication_date=2017; citation_pages=563-571; citation_doi=10.1016/j.patcog.2017.06.028; citation_id=CR37 Lee, B., Gilani, S.Z., Hassan, G.M., Mian, A., Facial gender classification-analysis using convolutional neural networks. In: Digital Image Computing: Techniques and Applications (DICTA). IEEE, vol. 2019, pp. 1–8 (2019) Min, R., Kose, N., Dugelay, J.-L.: KinectFaceDB: A Kinect database for face recognition. IEEE Trans. Syst. Man Cybern. Syst. 07 (2014). http://www.eurecom.fr/publication/4393 citation_journal_title=Comput. Vis. Image Underst.; citation_title=Hierarchical temporal graphical model for head pose estimation and subsequent attribute classification in real-world videos; citation_author=M Demirkus, D Precup, JJ Clark, T Arbel; citation_volume=136; citation_publication_date=2015; citation_pages=128-145; citation_doi=10.1016/j.cviu.2015.03.005; citation_id=CR40 citation_journal_title=Mach. Learn.; citation_title=Random forests; citation_author=L Breiman; citation_volume=45; citation_issue=1; citation_publication_date=2001; citation_pages=5-32; citation_doi=10.1023/A:1010933404324; citation_id=CR41 Méndez-Vázquez, H., Chang, L., Rizo-Rodríguez, D., Morales-González, A.: Evaluación de la calidad de las imágenes de rostros utilizadas para la identificación de las personas. Computación y Sistemas 16, 147–165, 06 (2012) Face Recognition Format Data Interchange, Version 2.0. InterNational Committee for Information Technology Standards (INCITS) Secretariat. Information Technology Industry Council, Standard (2006) Wolf, L., Hassner, T., Maoz, I.: Face recognition in unconstrained videos with matched background similarity. In: CVPR. IEEE Computer Society, pp. 529–534 (2011) Huang, G.B., Ramesh, M., Berg, T., Learned-Miller, E.: Labeled faces in the wild: A database for studying face recognition in unconstrained environments. University of Massachusetts, Amherst, Tech. Rep. 07-49, October 2007 citation_journal_title=IEEE TPAMI; citation_title=Describable visual attributes for face verification and image search; citation_author=N Kumar, A Berg, PN Belhumeur, S Nayar; citation_volume=33; citation_issue=10; citation_publication_date=2011; citation_pages=1962-1977; citation_doi=10.1109/TPAMI.2011.48; citation_id=CR46 Howard, A.G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T., Andreetto, M., Adam, H.: Mobilenets: Efficient convolutional neural networks for mobile vision applications. CoRR (2017). arXiv:1704.04861 Rothe, R., Timofte, R., Gool, L.V.: Deep expectation of real and apparent age from a single image without facial landmarks. Int. J. Comput. Vis. (2016) Zhang, S.Y., Zhifei, Qi, H.: Age progression/regression by conditional adversarial autoencoder. In: IEEE Conference on Computer Vision and Pattern Recognition (CVPR). IEEE (2017) Openvino age and gender recognition retail 0013 (2019). https://docs.openvinotoolkit.org/2019_R1/_age_gender_recognition_retail_0013_description_age_gender_recognition_retail_0013.html Bilinski, P.T., Dantcheva, A., Brémond, F.: Can a smile reveal your gender? In: International Conference of the BIOSIG, ser. LNI, vol. P-260. GI/IEEE, vol. 2016, pp. 27–38 (2016)