Hình ảnh 3D (tiếng Anh: 3D imaging) là quá trình thu nhận, xử lý và tái tạo thông tin hình học không gian ba chiều của vật thể hoặc hiện trường từ dữ liệu quang học và cảm biến. Không chỉ dừng lại ở việc lưu trữ các mảng cường độ ánh sáng hai chiều như nhiếp ảnh thông thường, công nghệ này cho phép khôi phục chính xác tọa độ không gian, độ sâu bề mặt và cấu trúc thể tích của đối tượng quan sát, đóng vai trò nền tảng trong thị giác máy tính, đo đạc công nghiệp, điều khiển robot tự hành, y học chẩn đoán và kỹ thuật đồ họa số hóa hiện đại.
Bản chất vật lý và hình học của hình ảnh 3D
Nhiếp ảnh truyền thống sử dụng mô hình máy ảnh lỗ kim để chiếu không gian thực ba chiều lên mặt phẳng cảm biến hai chiều. Quá trình chiếu phối cảnh này dẫn đến sự suy giảm thông tin nghiêm trọng: một tia sáng chiếu từ tâm quang học qua một điểm ảnh trên cảm biến có thể bắt nguồn từ vô số điểm nằm dọc theo tia sáng đó trong không gian. Do đó, mục tiêu cốt lõi của hình ảnh 3D là giải bài toán ngược để khôi phục lại thành phần độ sâu bị tiêu biến theo giáo trình thị giác máy tính của Richard Szeliski năm 2022.
Nguyên lý cơ bản nhất để giải bài toán khôi phục độ sâu dựa trên phương pháp tam giác giác đạc quang học. Khi một điểm trong không gian được quan sát đồng thời bởi 2 góc nhìn khác nhau, giao điểm của 2 tia thị giác sẽ xác định duy nhất tọa độ của điểm đó trong hệ quy chiếu không gian. Trong hệ thống thị giác hai mắt được hiệu chuẩn lý tưởng với 2 máy ảnh có trục quang song song và cùng tiêu cự , khoảng cách giữa 2 tâm quang học được gọi là đường cơ sở . Độ chênh lệch giữa vị trí của cùng một điểm thực tế trên 2 mặt phẳng ảnh được định nghĩa là độ lệch .
Mối quan hệ hình học giữa chiều sâu khoảng cách từ hệ thống máy ảnh đến bề mặt vật thể và độ lệch tuân theo hệ thức tỉ lệ nghịch:
Theo phân tích của Richard Szeliski năm 2022, biểu thức này chỉ ra rằng độ phân giải chiều sâu phụ thuộc mật thiết vào độ lớn của đường cơ sở và tiêu cự. Khi vật thể ở càng xa, độ lệch càng nhỏ và sự thay đổi nhỏ của sai số định vị điểm ảnh sẽ gây ra biến thiên rất lớn trong việc ước lượng chiều sâu thực tế.
Thị giác lập thể hai mắt và khung thuật toán Scharstein - Szeliski
Để tính toán bản đồ độ sâu dày đặc từ 2 hình ảnh phẳng, thách thức trung tâm nằm ở bài toán tìm kiếm điểm tương ứng: xác định điểm ảnh nào trên ảnh chụp bên phải tương ứng với cùng một điểm vật lý trên ảnh chụp bên trái. Nhằm chuẩn hóa các hướng tiếp cận tính toán trong lĩnh vực này, Daniel Scharstein và Richard Szeliski năm 2002 đã xây dựng một khung phân loại kinh điển chia quy trình đối sánh lập thể thành 4 giai đoạn nối tiếp nhau:
- Tính toán chi phí khớp: Khởi tạo giá trị đo lường sự tương đồng hoặc khác biệt quang độ giữa các điểm ảnh ứng viên. Các thước đo phổ biến bao gồm tổng sai số tuyệt đối, tổng bình phương sai số hoặc hệ số tương quan chuẩn hóa giữa các cửa sổ lân cận.
- Tập hợp chi phí: Gom cụm và làm mịn các giá trị chi phí khớp trên các vùng không gian cục bộ nhằm giảm thiểu tác động của nhiễu cảm biến và các biến thiên chiếu sáng ngẫu nhiên. Quá trình này thường sử dụng các bộ lọc không gian hoặc bộ lọc dẫn đường duy trì cạnh biên.
- Tối ưu hóa độ lệch: Lựa chọn giá trị độ lệch tối ưu cho từng điểm ảnh. Các thuật toán cục bộ sử dụng cơ chế chọn giá trị có chi phí nhỏ nhất, trong khi các thuật toán tối ưu hóa toàn cục xây dựng bài toán tối thiểu hóa hàm năng lượng trên toàn bộ đồ thị hình ảnh thông qua các phương pháp quy hoạch động hoặc cắt đồ thị.
- Tinh chỉnh độ lệch: Nâng cao độ chính xác của bản đồ độ sâu bằng cách nội suy độ lệch ở mức dưới pixel, kiểm tra tính nhất quán giữa hai hướng nhìn trái phải để phát hiện vùng bị che khuất và lấp đầy các khoảng trống dữ liệu bằng kỹ thuật truyền bá thông tin lân cận.
Nghiên cứu của Scharstein và Szeliski năm 2002 đã cung cấp hệ thống cơ sở dữ liệu đối sánh chuẩn mực, thúc đẩy sự phát triển của hàng loạt thế hệ thuật toán thị giác lập thể hiện đại.
Kỹ thuật chiếu ánh sáng cấu trúc chủ động
Mặc dù thị giác lập thể thụ động mô phỏng trực quan cơ chế mắt người, phương pháp này gặp thất bại nghiêm trọng khi quan sát các bề mặt nhẵn bóng, đơn sắc hoặc thiếu hoa văn kết cấu do không thể tìm thấy các điểm đặc trưng để đối sánh. Để khắc phục triệt để rào cản này, kỹ thuật chiếu ánh sáng cấu trúc chủ động ra đời như một bước tiến đột phá trong đo đạc bề mặt chính xác cao.
Theo tổng quan chuyên sâu của Jason Geng năm 2011, hệ thống ánh sáng cấu trúc sử dụng 1 máy chiếu chủ động đóng vai trò như một nguồn phát mã quang học, kết hợp với 1 máy ảnh để thu nhận hình ảnh biến dạng của mẫu chiếu trên bề mặt vật thể. Bằng cách chiếu các chùm sáng nhân tạo có cấu trúc hình học xác định trước lên hiện trường, bề mặt vật thể được gắn nhãn thông tin quang học một cách chủ động, loại bỏ hoàn toàn sự phụ thuộc vào vân bề mặt tự nhiên của vật thể.
Các phương pháp mã hóa ánh sáng cấu trúc căn bản bao gồm kỹ thuật mã hóa nhị phân, mã Gray và phương pháp dời pha vân giao thoa hình sin theo Jason Geng năm 2011. Trong phương pháp dời pha, một chuỗi các mẫu vân có cường độ biến thiên hình sin được chiếu tuần tự với các bước dịch pha xác định. Dữ liệu ghi nhận từ máy ảnh cho phép giải mã pha quang học liên tục tại từng điểm ảnh với độ phân giải cực cao, đạt độ chính xác ở cấp độ micromet trong kiểm tra khuyết tật công nghiệp và quét số hóa mẫu vật thể.
Biểu diễn không gian trường bức xạ: NeRF và 3D Gaussian Splatting
Sự bùng nổ của học sâu đã tạo ra một cuộc cách mạng căn bản trong cách thức biểu diễn và tái tạo hình ảnh 3D, chuyển dịch từ các mô hình lưới đa giác hoặc đám mây điểm rời rạc sang các trường biểu diễn liên tục và các nguyên thủy khả vi phân:
Năm 2021, Ben Mildenhall và các cộng sự đã công bố mô hình trường bức xạ thần kinh NeRF, mở ra kỷ nguyên tổng hợp góc nhìn mới với độ chân thực vượt bậc. NeRF biểu diễn toàn bộ không gian cảnh vật dưới dạng một hàm liên tục thông qua mạng nơ-ron truyền thẳng. Mô hình nhận đầu vào 5 chiều gồm 3 tọa độ không gian mô tả vị trí của điểm khảo sát và 2 góc hướng nhìn mô tả phương của tia quan sát, sau đó ánh xạ trực tiếp thành mật độ khối thể tích và màu sắc phát xạ. Bằng kỹ thuật tích phân thể tích khả vi dọc theo các tia quan sát quang học, NeRF có thể học cấu trúc hình học và hiệu ứng phản xạ ánh sáng phức tạp chỉ từ một tập hợp các bức ảnh chụp phẳng.
Tuy nhiên, NeRF đòi hỏi chi phí tính toán rất nặng nề và tốc độ dựng hình chậm do phải truy vấn mạng nơ-ron hàng triệu lần dọc theo các tia sáng. Để giải quyết nút thắt này, Bernhard Kerbl và các cộng sự năm 2023 đã phát minh phương pháp 3D Gaussian Splatting. Thay vì sử dụng mạng nơ-ron ngầm định, phương pháp này biểu diễn cảnh vật bằng hàng triệu hạt ellipsoid Gauss tường minh trong không gian 3 chiều. Mỗi hạt Gauss được tham số hóa bởi vị trí trung tâm trong không gian 3 chiều, ma trận hiệp phương sai mô tả hình dạng và độ xoay, độ chắn sáng và màu sắc phụ thuộc hướng nhìn biểu diễn bằng các hàm điều hòa cầu. Kết hợp với bộ raster hóa vi phân phân ô cực nhanh trên bộ xử lý đồ họa, 3D Gaussian Splatting đạt tốc độ dựng hình thời gian thực vượt trội mà vẫn duy trì chất lượng thị giác tương đương hoặc vượt trội so với NeRF theo Kerbl và cộng sự năm 2023.
Bảng tổng hợp dưới đây so sánh các trường phái công nghệ hình ảnh 3D chủ đạo:
| Phương pháp | Bản chất kỹ thuật | Ưu điểm cốt lõi | Hạn chế chính | Ứng dụng điển hình |
|---|---|---|---|---|
| Thị giác hai mắt thụ động | Đối sánh quang độ giữa 2 máy ảnh dựa trên hình học epipolar theo Scharstein và Szeliski năm 2002 | Phần cứng đơn giản, giá thành thấp, hoạt động tốt ngoài trời dưới ánh sáng tự nhiên | Dễ thất bại tại vùng đồng màu, bề mặt gương bóng hoặc vùng bị che khuất | Hệ thống hỗ trợ lái xe, robot di động tự hành ngoài trời |
| Ánh sáng cấu trúc chủ động | Chiếu mẫu quang học nhân tạo từ 1 máy chiếu kết hợp 1 máy ảnh theo Jason Geng năm 2011 | Độ chính xác rất cao, không phụ thuộc vào vân bề mặt tự nhiên của vật thể | Nhạy cảm với ánh sáng môi trường mạnh, dễ nhiễu phản xạ thứ cấp | Đo kiểm chất lượng công nghiệp, quét khuôn mặt, y tế nha khoa |
| Trường bức xạ thần kinh (NeRF) | Hàm liên tục tối ưu hóa qua mạng nơ-ron nhận đầu vào 5 chiều theo Mildenhall và cộng sự năm 2021 | Tái tạo hình học chi tiết cao, xử lý xuất sắc các hiệu ứng tán xạ và trong suốt | Thời gian huấn luyện lâu, tốc độ dựng hình chậm, tốn tài nguyên xử lý | Tái tạo kỹ thuật số phim trường, bảo tồn di sản bảo tàng ảo |
| 3D Gaussian Splatting | Biểu diễn tường minh bằng các hạt Gauss trong không gian 3 chiều theo Kerbl và cộng sự năm 2023 | Tốc độ dựng hình thời gian thực cực cao, khả năng tối ưu hóa nhanh chóng | Dung lượng lưu trữ lớn, có thể xuất hiện nhiễu hạt tại các góc nhìn chưa học | Trò chơi điện tử tương tác, môi trường thực tế ảo thời gian thực |
Ranh giới hạn chế và điều kiện ứng dụng thực tế
Mặc dù công nghệ hình ảnh 3D đã đạt được những bước tiến ngoạn mục, việc triển khai trong thực tế vẫn đối mặt với các giới hạn vật lý và thuật toán đòi hỏi sự cân nhắc kỹ lưỡng:
- Vấn đề vật lý quang học và đặc tính bề mặt: Mọi phương pháp quang học đều chịu sự chi phối của định luật tương tác ánh sáng. Các bề mặt kim loại bóng loáng, bề mặt gương hoặc vật liệu trong suốt phá vỡ giả định phản xạ khuếch tán lý tưởng, gây ra các điểm phản xạ giả mạo hoặc làm chệch hướng tia sáng, khiến các phép đo tam giác quang học và mô hình bức xạ thể tích gặp sai số lớn.
- Độ nhạy cảm với ánh sáng môi trường và hiện tượng che khuất: Hệ thống ánh sáng cấu trúc chủ động bị suy giảm tỷ số tín hiệu trên nhiễu nghiêm trọng khi vận hành dưới ánh nắng mặt trời trực tiếp. Đồng thời, trong các hiện trường phức tạp có nhiều vật thể đan xen, hiện tượng bóng đổ và tự che khuất khiến nhiều vùng bề mặt không thể thu nhận dữ liệu từ các góc nhìn máy ảnh hiện hữu.
- Thách thức đối tượng chuyển động và đồng bộ thời gian: Việc thu nhận hình ảnh 3D độ chính xác cao thường yêu cầu đối tượng phải tĩnh tại trong suốt quá trình ghi hình hoặc quét mẫu chiếu. Khi quan sát vật thể chuyển động nhanh, hiện tượng nhòe chuyển động và sai lệch đồng bộ pha giữa các khung hình liên tiếp dẫn đến biến dạng hình học nghiêm trọng của bản tái tạo.
- Đánh đổi giữa độ phân giải, bộ nhớ và chi phí tính toán: Việc nâng cao độ phân giải không gian đòi hỏi mật độ điểm ảnh hoặc số lượng hạt biểu diễn thể tích tăng theo quy luật lũy thừa bậc 3. Điều này đặt ra áp lực khổng lồ lên băng thông truyền tải dữ liệu, dung lượng bộ nhớ đồ họa và năng lượng tiêu thụ, buộc các kỹ sư hệ thống phải đánh đổi giữa độ trung thực hình học và khả năng đáp ứng thời gian thực trong các thiết bị biên hạn chế tài nguyên.