Nhận diện cử chỉ khác gì so với theo dõi chuyển động (motion tracking)?

Nhận diện cử chỉ không chỉ dừng lại ở việc định vị tọa độ chuyển động vật lý của các khớp xương trong không gian mà còn thực hiện bước phiên dịch ngữ nghĩa học cấp cao. Trong khi theo dõi chuyển động ghi nhận các chuỗi vị trí và vận tốc liên tục, nhận diện cử chỉ phân loại các chuyển động đó thành các trạng thái lệnh cụ thể hoặc biểu tượng giao tiếp có ý nghĩa.

Vì sao nhận diện cử chỉ độc lập người dùng khó hơn phụ thuộc người dùng?

Mỗi người dùng sở hữu giải phẫu cơ thể, kích thước bàn tay, biên độ góc khớp và tốc độ thực hiện động tác hoàn toàn khác nhau. Hệ thống độc lập người dùng đòi hỏi mô hình học sâu phải trích xuất được các đặc trưng bất biến không gian và quy chuẩn hóa động học, tránh hiện tượng quá khớp vào đặc điểm cá nhân của tập huấn luyện.

Ưu điểm của biểu diễn khung xương so với xử lý ảnh RGB trực tiếp là gì?

Biểu diễn khung xương rút gọn dữ liệu về các tọa độ không gian của các điểm khớp then chốt, loại bỏ hoàn toàn các yếu tố nhiễu ngoại cảnh như ánh sáng thay đổi, màu da và bối cảnh hậu trường phức tạp. Nhờ cấu trúc đồ thị tinh gọn, các mạng tích chập đồ thị có thể xử lý cử chỉ với chi phí tính toán thấp hơn nhiều so với việc áp dụng mạng tích chập 3D trực tiếp trên chuỗi điểm ảnh video.

Nhận diện cử chỉ (gesture recognition) là gì?

Nhận diện cử chỉ (gesture recognition) là một phân ngành liên ngành thuộc thị giác máy tính, xử lý tín hiệu số và tương tác người - máy, tập trung vào việc tự động phát hiện, trích xuất và giải mã các vận động có chủ đích của cơ thể con người thành các lệnh điều khiển kỹ thuật số hoặc biểu thức ngữ nghĩa. Phạm vi của bài viết này trình bày toàn diện về cơ chế vật lý và kiến trúc tính toán của hệ thống nhận diện cử chỉ, phân loại các mô hình cử chỉ, các mạng nơ-ron học sâu hiện đại, ứng dụng thực tế trong giao tiếp người - máy và ngôn ngữ ký hiệu tại Việt Nam, cùng các thách thức kỹ thuật then chốt.

Bản chất và nguyên lý hoạt động của hệ thống nhận diện cử chỉ

Hệ thống nhận diện cử chỉ hoạt động dựa trên chu trình khép kín bao gồm thu nhận tín hiệu vật lý từ môi trường, tiền xử lý giảm nhiễu, mô hình hóa không gian hình học và phân loại mẫu hình động học. Mục tiêu cốt lõi của công nghệ này là thu hẹp khoảng cách giao tiếp tự nhiên giữa người và máy tính, cho phép các thiết bị điện tử hiểu được hành vi cử động của bàn tay, cánh tay hoặc toàn bộ cơ thể mà không đòi hỏi thiết bị điều khiển tiếp xúc vật lý truyền thống.

Cảm biến thu nhận dữ liệu và các phương thức vật lý

Dữ liệu cử chỉ được thu nhận thông qua hai nhóm phương thức cảm biến cơ bản là cảm biến thị giác quang học từ xa và cảm biến cơ sinh học gắn trên cơ thể:

Cảm biến thị giác quang học (optical vision sensors): Bao gồm máy ảnh màu tiêu chuẩn và máy ảnh đo chiều sâu. Máy ảnh màu ghi nhận thông tin phổ nhìn thấy được, trong khi máy ảnh đo chiều sâu sử dụng nguyên lý thời gian bay (Time-of-Flight) hoặc ánh sáng cấu trúc để xây dựng bản đồ khoảng cách điểm ảnh. Thiết bị quang học có ưu điểm là không xâm lấn, mang lại sự thoải mái tuyệt đối cho người dùng trong không gian tự do.
Cảm biến cơ sinh học đeo trên người (wearable biomedical sensors): Theo nghiên cứu tổng quan của Jiang và cs. (2022), các phương thức cảm biến sơ cấp cho thiết bị đeo bao gồm cảm biến điện cơ bề mặt (surface electromyography, sEMG) và khối đo lường quán tính (inertial measurement unit, IMU). Cảm biến điện cơ bề mặt ghi nhận các điện thế hoạt động sinh ra từ quá trình khử cực sợi cơ bắp cẳng tay khi gập hoặc duỗi ngón tay, trong khi khối đo lường quán tính tích hợp con quay hồi chuyển và gia tốc kế để đo gia tốc tuyến tính và vận tốc góc của bàn tay trong không gian ba chiều.

Tiền xử lý và chuẩn hóa tín hiệu không gian - thời gian

Tín hiệu thô thu nhận từ cảm biến luôn chứa nhiều thành phần nhiễu ngoại cảnh và biến thiên do điều kiện vận hành. Do đó, giai đoạn tiền xử lý đóng vai trò quyết định đến độ tin cậy của các thuật toán nhận dạng ở tầng kế tiếp.

Đối với chuỗi khung hình video thị giác, quy trình tiền xử lý bao gồm phân đoạn vùng da bàn tay dựa trên mô hình không gian màu, chuẩn hóa kích thước không gian và tách biệt vùng bàn tay khỏi bối cảnh hậu trường phức tạp. Đối với tín hiệu chuỗi thời gian từ cảm biến đeo, các bộ lọc dải thông được áp dụng để loại bỏ thành phần trôi đường nền và nhiễu lưới điện công nghiệp. Dữ liệu sau đó được phân đoạn thành các cửa sổ trượt thời gian liên tiếp và thực hiện chuẩn hóa biên độ theo công thức:

z = \frac{x - \mu}{\sigma}

Trong công thức trên, $x$ biểu diễn giá trị đo đạc thô của kênh cảm biến, $\mu$ là giá trị kỳ vọng trung bình số học của chuỗi tín hiệu trong cửa sổ trượt, và $\sigma$ là độ lệch chuẩn của chuỗi tín hiệu tương ứng.

Trích xuất đặc trưng và biểu diễn khung xương

Biểu diễn cử chỉ hiện đại đã chuyển dịch mạnh mẽ từ các đặc trưng thủ công cấp thấp sang biểu diễn hình học dạng khung xương giải phẫu học (skeleton-based representation). Thay vì xử lý toàn bộ lưới điểm ảnh màu dễ bị ảnh hưởng bởi ánh sáng và phông nền, hệ thống ước lượng tọa độ các điểm mốc then chốt trên cơ thể.

Công trình tiêu biểu về ước lượng tư thế thời gian thực của Cao và cs. (2021) trên tạp chí IEEE TPAMI đã công bố kiến trúc OpenPose sử dụng trường vector Part Affinity Fields để liên kết các phần cơ thể theo phương pháp từ dưới lên (bottom-up). Kiến trúc này ước lượng tư thế cơ thể thông qua mô hình 18 hoặc 25 điểm khớp, đồng thời mở rộng mô hình bàn tay chuyên sâu với 21 điểm khớp giải phẫu cho mỗi bàn tay. Khi theo dõi đồng thời cả hai bàn tay, hệ thống xác định 42 điểm khớp và có khả năng tích hợp theo dõi toàn diện lên tới 135 điểm khớp trên toàn bộ cơ thể con người. Cấu trúc khung xương này được trừu tượng hóa dưới dạng đồ thị không gian:

G = (V, E)

Trong đó, $V$ là tập hợp các đỉnh tương ứng với tọa độ không gian của các điểm khớp xương, và $E$ là tập hợp các cạnh phản ánh các liên kết giải phẫu sinh học giữa các khớp kế cận.

Phân loại cử chỉ và các phương thức giao tiếp

Cử chỉ của con người mang tính đa dạng cao về mặt hình thái và ngữ nghĩa. Việc phân loại cấu trúc cử chỉ cho phép xác định đúng mô hình toán học và thuật toán xử lý phù hợp cho từng bài toán cụ thể.

Cử chỉ tĩnh và cử chỉ động

Dựa trên khảo sát tổng quan hệ thống của Rautaray và Agrawal (2012) trên tạp chí Artificial Intelligence Review, các kỹ thuật nhận diện cử chỉ dựa trên thị giác được phân chia thành hai loại hình cơ bản:

Cử chỉ tĩnh (static gestures / postures): Được định nghĩa là một tư thế không gian cố định của bàn tay hoặc cơ thể tại một thời điểm xác định mà không phụ thuộc vào yếu tố thời gian. Nhận diện cử chỉ tĩnh tập trung vào phân tích hình thái ngón tay, hướng lòng bàn tay và góc uốn khớp tại một khung hình đơn lẻ. Các thuật toán phân loại mẫu hình như máy vector hỗ trợ (Support Vector Machines) hoặc mạng nơ-ron tích chập tiêu chuẩn có thể nhận dạng tư thế tĩnh với độ chính xác cao.
Cử chỉ động (dynamic gestures): Là chuỗi biến đổi tuần tự của các tư thế kết hợp với quỹ đạo vận động của bàn tay hoặc cánh tay trong một khoảng thời gian nhất định. Nhận diện cử chỉ động đòi hỏi hệ thống phải tích hợp xử lý chiều thời gian để mô hình hóa sự phụ thuộc động học giữa các trạng thái chuyển động kế tiếp nhau, ví dụ như thông qua mô hình Markov ẩn (Hidden Markov Models) hoặc mạng nơ-ron hồi quy.

Phân loại tác vụ thuật toán: phân loại và hồi quy

Theo phân tích của Jiang và cs. (2022), các thuật toán xử lý cử chỉ được phân tách thành hai hướng tiếp cận chính tùy theo mục tiêu tương tác:

Thuật toán phân loại (classification algorithms): Nhận diện các cử chỉ hoặc tư thế rời rạc đã được định nghĩa trước trong từ điển hệ thống, chẳng hạn như nhận dạng ký tự bảng chữ cái thủ ngữ hoặc lệnh dừng phát đa phương tiện.
Thuật toán hồi quy (regression algorithms): Ước lượng liên tục các thông số góc khớp của cổ tay và từng đốt ngón tay theo thời gian thực, phục vụ tái tạo chuyển động trơn tru trong cánh tay robot giả hoặc mô phỏng avatar ảo.

Bảng so sánh các phương thức cảm biến thu nhận cử chỉ

Bảng dưới đây tổng hợp các đặc tính kỹ thuật cơ bản giữa các phương thức cảm biến phổ biến trong bài toán nhận diện cử chỉ:

Phương thức cảm biến	Bản chất tín hiệu	Khả năng chống nhiễu môi trường	Mức độ tiện lợi cho người dùng	Phạm vi ứng dụng tiêu biểu
Thị giác màu quang học (RGB Camera)	Chuỗi ma trận cường độ điểm ảnh quang phổ nhìn thấy	Kém khi ánh sáng yếu, bóng đổ phức tạp hoặc nền chuyển động	Cao, hoàn toàn không cần tiếp xúc vật lý	Giao diện điều khiển máy tính, thiết bị điện tử tiêu dùng
Thị giác chiều sâu (RGB-D Sensor)	Bản đồ khoảng cách không gian kết hợp ảnh màu	Khá, ít bị ảnh hưởng bởi bóng đổ và họa tiết nền	Cao, người dùng tự do di chuyển trước cảm biến	Theo dõi toàn thân, robot dịch vụ, thực tế tăng cường
Điện cơ bề mặt (sEMG)	Xung điện thế sinh học vi mô từ hoạt động cơ bắp	Tốt đối với ánh sáng, nhưng nhạy cảm với mồ hôi và dịch chuyển điện cực	Trung bình, đòi hỏi dán hoặc đeo sát bề mặt da	Chi giả điều khiển thần kinh, phục hồi chức năng y khoa
Khối đo quán tính (IMU)	Gia tốc tuyến tính và vận tốc góc của phân đoạn cơ thể	Hoàn toàn độc lập với môi trường thị giác và ánh sáng	Trung bình, cần đeo vòng đeo tay hoặc găng tay cảm biến	Theo dõi quỹ đạo chuyển động thể thao, tay cầm điều khiển ảo

Các kiến trúc học sâu phổ biến trong nhận diện cử chỉ

Sự phát triển của học sâu đã thay đổi căn bản hiệu năng của các hệ thống nhận diện cử chỉ, thay thế các kỹ thuật trích xuất đặc trưng hình học thủ công bằng các mạng nơ-ron có khả năng tự động học biểu diễn đa tầng từ dữ liệu lớn.

Mạng nơ-ron tích chập ba chiều (3D-CNN)

Đối với dữ liệu video chứa cử chỉ động, mạng nơ-ron tích chập hai chiều truyền thống chỉ có thể trích xuất đặc trưng không gian trên từng khung hình độc lập mà bỏ qua mối liên hệ thời gian giữa các khung hình liên tiếp. Kiến trúc tích chập ba chiều giải quyết triệt để vấn đề này bằng cách mở rộng hạt nhân tích chập thêm một chiều thời gian.

Nghiên cứu mang tính bước ngoặt của Carreira và Zisserman (2017) tại hội nghị CVPR đã giới thiệu kiến trúc Two-Stream Inflated 3D ConvNet (I3D). Kiến trúc này mở rộng các bộ lọc và vùng gộp của các mạng nơ-ron phân loại ảnh hai chiều thành các cấu trúc ba chiều, cho phép kế thừa trọng số đã huấn luyện từ các tập dữ liệu ảnh quy mô lớn. Mô hình I3D sau khi tiền huấn luyện trên tập dữ liệu video Kinetics đã tạo ra bước đột phá về hiệu năng phân loại hành động, đạt độ chính xác 97,9% trên tập dữ liệu chuẩn UCF-101 và 80,2% trên tập dữ liệu benchmark HMDB-51. Hoạt động tích chập ba chiều tại tầng mạng được mô tả theo công thức toán học:

v_{l}^{x,y,t} = f\left(\sum_{m} \sum_{p} \sum_{q} \sum_{r} w_{l,m}^{p,q,r} v_{(l-1),m}^{x+p, y+q, t+r} + b_l\right)

Trong biểu thức trên, $v_{l}^{x,y,t}$ là giá trị đặc trưng kích hoạt tại tọa độ không gian $(x, y)$ và thời điểm $t$ ở tầng thứ $l$ , $w_{l,m}^{p,q,r}$ là trọng số của bộ lọc kết nối kênh đặc trưng thứ $m$ với độ dịch không gian $(p, q)$ và độ trễ thời gian $r$ , $b_l$ là hệ số điều chỉnh bias, và $f$ là hàm kích hoạt phi tuyến tính.

Mạng nơ-ron tích chập đồ thị không gian - thời gian (ST-GCN)

Mặc dù mạng tích chập ba chiều cho độ chính xác cao trên luồng điểm ảnh, chi phí tính toán của chúng rất lớn, gây khó khăn cho việc triển khai trên thiết bị biên. Nhằm tối ưu hóa hiệu năng dựa trên biểu diễn khung xương, Yan và cs. (2018) đã đề xuất kiến trúc Spatial Temporal Graph Convolutional Networks (ST-GCN) tại hội nghị AAAI.

ST-GCN xây dựng đồ thị không gian - thời gian trực tiếp từ chuỗi tọa độ khung xương, trong đó các khớp nối sinh học của cơ thể tạo thành các cạnh không gian, và các khớp nối đồng nhất qua các khung hình liên tiếp tạo thành các cạnh thời gian. Mô hình tự động học các mẫu hình kết hợp không gian và động học chuyển động từ dữ liệu mà không cần định nghĩa thủ công các quy tắc duyệt khớp. Khi đánh giá thực nghiệm trên tập dữ liệu quy mô lớn NTU RGB+D, mô hình ST-GCN đã đạt độ chính xác 81,5% theo giao thức liên đối tượng (Cross-Subject, X-Sub) và 88,3% theo giao thức liên góc nhìn camera (Cross-View, X-View). Hoạt động lan truyền của tích chập đồ thị không gian tại mỗi khung hình tuân theo công thức:

f_{out} = \Lambda^{-\frac{1}{2}} (A + I) \Lambda^{-\frac{1}{2}} f_{in} W

Trong đó, $A$ là ma trận kề mô tả cấu trúc liên kết giải phẫu của khung xương, $I$ là ma trận đơn vị thể hiện vòng tự kết nối của mỗi điểm khớp, $\Lambda$ là ma trận đường chéo biểu diễn bậc của các đỉnh đồ thị, $f_{in}$ và $f_{out}$ lần lượt là ma trận đặc trưng đầu vào và đầu ra, và $W$ là ma trận trọng số khả huấn của tầng tích chập đồ thị.

Mô hình lai kết hợp mạng tích chập và mạng bộ nhớ ngắn hạn (CNN-LSTM)

Đối với việc xử lý chuỗi tín hiệu đo lường từ cảm biến cơ sinh học hoặc chuỗi đặc trưng thị giác, kiến trúc lai ghép giữa mạng tích chập một chiều (1D-CNN) và mạng bộ nhớ dài - ngắn hai chiều (Bi-directional Long Short-Term Memory, BiLSTM) mang lại hiệu quả vượt trội. Tầng tích chập chịu trách nhiệm trích xuất các đặc trưng hình thái biến thiên nhanh cục bộ, trong khi tầng BiLSTM nắm bắt các mối liên hệ phụ thuộc dài hạn xuôi và ngược theo trục thời gian.

Tại Việt Nam, nghiên cứu thực nghiệm của Nguyen-Trong và cs. (2021) xuất bản trên tạp chí IEEE Sensors Journal đã áp dụng mô hình lai ghép 1D-CNN và BiLSTM để nhận diện cử chỉ từ các cảm biến đeo. Nhóm tác giả đã thu thập bộ dữ liệu gồm 18.000 mẫu cử chỉ từ 20 đối tượng thực nghiệm qua 18 nhãn cử chỉ vận động khác nhau. Kết quả phân loại đạt điểm F1 là 90%, chứng minh tính hiệu quả của kiến trúc lai trong việc giải mã các chuỗi tín hiệu cảm biến đeo biến thiên phức tạp.

Ứng dụng thực tế và bối cảnh triển khai tại Việt Nam

Công nghệ nhận diện cử chỉ đóng vai trò then chốt trong nhiều lĩnh vực công nghệ cao và an sinh xã hội, đặc biệt là trong việc hiện đại hóa giao tiếp người - máy và hỗ trợ cộng đồng người khuyết tật.

Giao tiếp người - máy không tiếp xúc trong y tế và công nghiệp

Trong môi trường phòng phẫu thuật y tế, việc duy trì điều kiện vô trùng tuyệt đối là nguyên tắc sống còn. Các bác sĩ phẫu thuật thường xuyên cần tra cứu hồ sơ bệnh án, phóng to hoặc xoay mô hình chẩn đoán hình ảnh cắt lớp vi tính trong quá trình thực hiện phẫu thuật. Ứng dụng nhận diện cử chỉ quang học cho phép phẫu thuật viên tương tác trực tiếp với màn hình hiển thị thông qua các cử chỉ tay trong không gian mà không chạm vào chuột hay bàn phím, loại bỏ hoàn toàn nguy cơ lây nhiễm khuẩn chéo.

Trong các dây chuyền sản xuất công nghiệp tự động hóa, cử chỉ toàn thân và bàn tay được sử dụng để điều khiển robot cộng tác (cobots), giúp công nhân ra lệnh dừng khẩn cấp hoặc chuyển hướng cánh tay máy một cách trực quan và an toàn từ khoảng cách xa.

Nhận diện ngôn ngữ ký hiệu tiếng Việt (VSL) cho người khiếm thính

Ngôn ngữ ký hiệu tiếng Việt (Vietnamese Sign Language, VSL) là phương tiện giao tiếp chủ đạo của cộng đồng người khiếm thính tại Việt Nam. VSL sở hữu hệ thống ngữ pháp thị giác độc lập với ngữ pháp tiếng Việt nói, kết hợp hài hòa giữa hình thái bàn tay, vị trí cử động so với thân mình, hướng di chuyển và biểu cảm nét mặt. Xây dựng hệ thống dịch thuật tự động từ cử chỉ VSL sang văn bản hoặc giọng nói tiếng Việt là bài toán mang ý nghĩa nhân văn sâu sắc.

Nghiên cứu của Van và Thanh (2021) công bố tại Hội nghị Quốc tế về Truyền thông và Điện tử (IEEE ICCE) đã phát triển hệ thống nhận diện ngôn ngữ ký hiệu tiếng Việt dựa trên kỹ thuật trích xuất đối tượng động và học sâu. Nhóm tác giả đã xây dựng tập dữ liệu thực nghiệm gồm 2.700 mẫu video tương ứng với 27 từ vựng cử chỉ ký hiệu giao tiếp thông dụng. Bằng cách kết hợp mạng GoogLeNet để trích xuất đặc trưng không gian và mạng BiLSTM để phân loại chuỗi thời gian, mô hình đã đạt độ chính xác nhận diện 98,15% trên tập kiểm thử độc lập và 99,38% trên tập kiểm định, mở ra tiềm năng lớn cho các ứng dụng dịch thuật thời gian thực hỗ trợ hòa nhập cộng đồng.

Thực tế ảo và tương tác không gian ba chiều

Trong các hệ thống thực tế ảo (VR) và thực tế tăng cường (AR), nhận diện cử chỉ ngón tay cho phép người dùng thao tác trực tiếp với các vật thể số hóa trong không gian ba chiều mà không cần cầm nắm tay cầm điều khiển cơ học. Các thao tác tự nhiên như búng ngón tay, nắm giữ, thu phóng hoặc đẩy trượt giao diện tạo ra trải nghiệm hòa nhập chân thực và giảm thiểu sự cồng kềnh của phần cứng tương tác.

Hạn chế kỹ thuật và các thách thức nghiên cứu mở

Mặc dù đạt được nhiều bước tiến ấn tượng trong môi trường phòng thí nghiệm có kiểm soát, việc đưa các hệ thống nhận diện cử chỉ vào vận hành thực tế vẫn đối mặt với những rào cản kỹ thuật lớn.

Khoảng cách hiệu năng giữa phụ thuộc và độc lập người dùng

Một trong những thách thức cốt lõi nhất của bài toán nhận dạng là tính biến thiên giữa các cá nhân người dùng. Báo cáo tổng quan hệ thống toàn diện của Hashi và cs. (2024) trên tạp chí IEEE Access, phân tích các công trình nghiên cứu trong giai đoạn 2018 đến 2023, đã chỉ ra sự chênh lệch hiệu năng rất rõ rệt giữa hai kịch bản triển khai:

Trong kịch bản phụ thuộc người dùng (signer-dependent), khi dữ liệu huấn luyện và kiểm thử đến từ cùng một người, độ chính xác của các mô hình dao động từ 64% đến 98% với giá trị trung bình đạt 87,9%.
Ngược lại, trong kịch bản độc lập người dùng (signer-independent), khi mô hình phải nhận diện cử chỉ của những đối tượng hoàn toàn mới chưa từng xuất hiện trong tập huấn luyện, độ chính xác sụt giảm xuống khoảng từ 52% đến 98% với mức trung bình chỉ đạt 79%.

Sự sụt giảm hiệu năng này bắt nguồn từ sự khác biệt về kích thước bàn tay giải phẫu, biên độ góc mở khớp ngón tay, tốc độ vung tay và thói quen vận động mang tính cá thể của từng người. Việc nâng cao năng lực tổng quát hóa của mô hình học sâu đối với người dùng mới mà không cần thu thập dữ liệu hiệu chuẩn lại là bài toán nghiên cứu then chốt hiện nay.

Vấn đề tự che khuất và điều kiện chiếu sáng biến thiên

Hiện tượng tự che khuất (self-occlusion) là rào cản lớn đối với các hệ thống thị giác sử dụng máy ảnh đơn. Khi người dùng xoay bàn tay theo các góc xiên hoặc đan các ngón tay vào nhau, các ngón tay phía trước sẽ che khuất hoàn toàn các ngón tay phía sau khỏi tầm nhìn của ống kính. Khi các điểm mốc giải phẫu bị biến mất, các mô hình ước lượng khung xương dễ dàng đưa ra dự đoán sai lệch.

Bên cạnh đó, sự biến thiên mạnh mẽ của ánh sáng môi trường thực tế, hiện tượng bóng đổ cục bộ, ánh sáng ngược chói gắt hoặc điều kiện thiếu sáng ban đêm làm suy giảm nghiêm trọng chất lượng ảnh quang học. Giải pháp kết hợp đa phương thức cảm biến giữa thị giác máy tính và cảm biến đeo (chẳng hạn như tích hợp camera với khối IMU hoặc cảm biến sEMG) đang được đẩy mạnh để bù trừ khiếm khuyết của từng phương thức cảm biến đơn lẻ trong điều kiện che khuất.

Độ trễ suy luận và bài toán tối ưu hóa tài nguyên thiết bị biên

Các ứng dụng tương tác thời gian thực yêu cầu độ trễ suy luận của toàn bộ chu trình xử lý phải cực kỳ nhỏ để người dùng không cảm nhận thấy độ trễ phản hồi. Tuy nhiên, các kiến trúc học sâu tiên tiến với hàng chục triệu tham số đòi hỏi năng lực tính toán phần cứng rất lớn. Khi triển khai trên các thiết bị biên hạn chế tài nguyên như kính thông minh, điện thoại di động hoặc vi điều khiển nhúng, bài toán cân bằng giữa độ chính xác nhận dạng và tốc độ suy luận đòi hỏi các kỹ thuật nén mạng tinh vi như lượng tử hóa trọng số, cắt tỉa kết nối thừa và chắt lọc tri thức mô hình.