Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Học một chỉ số khoảng cách cảm nhận dựa trên đám đông cho các hình dạng biểu cảm khuôn mặt
Tóm tắt
Được biết rằng các chỉ số khoảng cách hoàn toàn hình học không thể phản ánh sự cảm nhận của con người về các biểu thức khuôn mặt. Bài báo này đề xuất một chỉ số khoảng cách mới dựa trên cảm nhận thiết kế cho các mô hình hình dạng pha trộn khuôn mặt 3D. Để phát triển chỉ số này, các đánh giá so sánh về các biểu thức khuôn mặt đã được thu thập từ một thí nghiệm gây quỹ cộng đồng. Sau đó, trọng số của một chỉ số khoảng cách, dựa trên các đặc điểm mô tả của các mô hình, đã được tối ưu hóa để phù hợp với kết quả dữ liệu từ cộng đồng, thông qua một quy trình học chỉ số. Phương pháp này kết hợp các đặc tính cảm nhận như độ cong và độ nổi bật thị giác. Phân tích chính thức của kết quả chứng minh mối tương quan cao giữa đầu ra của chỉ số và sự cảm nhận của con người. Hiệu quả và thành công của chỉ số đề xuất cũng đã được so sánh với các lựa chọn khoảng cách khác. Chỉ số được đề xuất sẽ cho phép xử lý thông minh dữ liệu hình dạng pha trộn khuôn mặt 3D theo nhiều cách khác nhau. Nó sẽ có khả năng tạo ra các cụm và trực quan hóa hợp lý về cảm nhận của các hình dạng pha trộn khuôn mặt 3D. Nó sẽ giúp giảm yêu cầu lưu trữ và tính toán bằng cách loại bỏ các biểu thức dư thừa mà có cảm nhận giống nhau trong tập dữ liệu tổng thể. Nó cũng có thể được sử dụng để hỗ trợ các nhà hoạt hình mới trong khi tạo ra các hoạt hình khuôn mặt hợp lý và biểu cảm.
Từ khóa
#chỉ số khoảng cách cảm nhận #hình dạng pha trộn khuôn mặt 3D #đánh giá biểu thức khuôn mặt #học máy chỉ số #trực quan hóa dữ liệuTài liệu tham khảo
P. Alliez , D. Cohen-Steiner, O. Devillers, B. Lévy, M. Desbrun. Anisotropic polygonal remeshing. In: ACM SIGGRAPH 2003 Papers, pp 485–493 (2003)
K. Anjyo, H. Todo, J.P. Lewis, A practical approach to direct manipulation blendshapes. J. Graphics Tools 16(3), 160–176 (2012)
T. Beeler, B. Bickel, P. Beardsley, B. Sumner, M. Gross. High-quality single-shot capture of facial geometry. In: ACM SIGGRAPH 2010 papers, pp 1–9 (2010)
V. Bruce, A.W. Young, Face perception (Psychology Press, 2012)
C. Cao, D. Bradley, K. Zhou, T. Beeler, Real-time high-fidelity facial performance capture. ACM Trans. Graphics (ToG) 34(4), 1–9 (2015)
E.Carrigan, K. Zibrek, R. Dahyot, R. McDonnell, Investigating perceptually based models to predict importance of facial blendshapes. In: Motion, Interaction and Games, pp 1–6 (2020)
P. Chandran, D. Bradley, M.Gross, T. Beeler, Semantic deep face models. In: 2020 International Conference on 3D Vision (3DV), IEEE, pp 345–354 (2020)
M. Cong, M. Bao, E JL, Bhat KS, R. Fedkiw, Fully automatic generation of anatomical face simulation models. In: Proceedings of the 14th ACM SIGGRAPH/Eurographics Symposium on Computer Animation, pp 175–183 (2015)
Z. Deng, X. Ma, Perceptually guided expressive facial animation. In: Proceedings of the 2008 ACM SIGGRAPH/Eurographics Symposium on Computer Animation, pp 67–76 (2008)
Z. Deng, J. Noh, Computer facial animation: A survey. In: Data-driven 3D facial animation, Springer, pp 1–28 (2008)
K. Dobs, I. Bülthoff, M. Breidt, Q.C. Vuong, C. Curio, J. Schultz, Quantifying human sensitivity to spatio-temporal information in dynamic faces. Vision. Res. 100, 78–87 (2014)
N. Ersotelos, F. Dong, Building highly realistic facial modeling and animation: a survey. Vis. Comput. 24(1), 13–30 (2008)
Y. Gingold, A. Shamir, D. Cohen-Or, Micro perceptual human computation for visual tasks. ACM Trans. Graphics (TOG) 31(5), 1–12 (2012)
M. Lagunas, E. Garces, D. Gutierrez, Learning icons appearance similarity. Multim. Tools Appl. 78(8), 10733–10751 (2019)
CH. Lee, A. Varshney, DW. Jacobs, Mesh saliency. In: ACM SIGGRAPH 2005 Papers, pp 659–666 (2005)
J.P. Lewis, K. Anjyo, T. Rhee, M. Zhang, F.H. Pighin, Z. Deng, Practice and theory of blendshape facial models. Eurographics (State of the Art Reports) 1(8), 2 (2014)
Z. Lun, E. Kalogerakis, A. Sheffer, Elements of style: learning perceptual shape style similarity. ACM Trans. Graphics (TOG) 34(4), 1–14 (2015)
C. Mousas, CN. Anagnostopoulos, Structure-aware transfer of facial blendshapes. In: Proceedings of the 31st Spring Conference on Computer Graphics, pp 55–62 (2015)
T. Neumann, K. Varanasi, S. Wenger, M. Wacker, M. Magnor, C. Theobalt, Sparse localized deformation components. ACM Trans. Graphics (TOG) 32(6), 1–10 (2013)
R. Niewiadomski, C. Pelachaud, The effect of wrinkles, presentation mode, and intensity on the perception of facial actions and full-face expressions of laughter. ACM Trans. Appl. Percept. (TAP) 12(1), 1–21 (2015)
Y. Seol, J.P. Lewis, J. Seo, B. Choi, K. Anjyo, J. Noh, Spacetime expression cloning for blendshapes. ACM Trans. Graphics (TOG) 31(2), 1–12 (2012)
Y. Seol, J. Seo, P.H. Kim, J.P. Lewis, J. Noh, Weighted pose space editing for facial animation. Vis. Comput. 28(3), 319–327 (2012)
C. Wallraven, M. Breidt, D.W. Cunningham, H.H. Bülthoff, Evaluating the perceptual realism of animated facial expressions. ACM Trans. Appl. Percept. (TAP) 4(4), 1–20 (2008)
F. Xu, J. Chai, Y. Liu, X. Tong, Controllable high-fidelity facial performance transfer. ACM Trans. Graphics (TOG) 33(4), 1–11 (2014)
C. Yan, T. Teng, Y. Liu, Y. Zhang, H. Wang, X. Ji, Precise no-reference image quality evaluation based on distortion identification. ACM Trans. Multimed. Comput. Commun. Appl. (TOMM) 17(3s), 1–21 (2021)
Z.C. Yildiz, T. Capin, A perceptual quality metric for dynamic triangle meshes. EURASIP J. Image Video Proc. 2017, 1–18 (2017)
Z.C. Yildiz, A.C. Oztireli, T. Capin, A machine learning framework for full-reference 3d shape quality assessment. Vis. Comput. 36(1), 127–139 (2020)
H. Yu, O.G. Garrod, P.G. Schyns, Perception-driven facial expression synthesis. Comput. Graphics 36(3), 152–162 (2012)
E. Zell, C. Aliaga, A. Jarabo, K. Zibrek, D. Gutierrez, R. McDonnell, M. Botsch, To stylize or not to stylize? the effect of shape and material stylization on the perception of computer-generated faces. ACM Trans. Graphics (TOG) 34(6), 1–12 (2015)