Bản đồ kích hoạt lớp giúp giải quyết vấn đề gì trong trí tuệ nhân tạo?

Kỹ thuật này giúp chuyển đổi mô hình hộp đen của mạng nơ-ron tích chập thành dạng có thể giải thích được bằng cách trực quan hoá các vùng ảnh dẫn tới quyết định phân loại.

Sự khác biệt cốt lõi giữa phương pháp CAM và Grad-CAM là gì?

CAM đòi hỏi phải thay đổi kiến trúc mạng bằng tầng gộp trung bình toàn cục và huấn luyện lại, trong khi Grad-CAM tận dụng đạo hàm lan truyền ngược để tương thích với mọi mạng tích chập có sẵn.

Tại sao hàm kích hoạt ReLU lại được dùng trong việc tạo bản đồ nhiệt Grad-CAM?

Hàm ReLU được áp dụng để chỉ giữ lại những vùng không gian có ảnh hưởng tích cực đến điểm số của lớp dự đoán và loại bỏ các đặc trưng tiêu cực hoặc thuộc về lớp đối tượng khác.

Bản đồ kích hoạt lớp là gì? Kỹ thuật CAM trong học sâu

Bản đồ kích hoạt lớp là kỹ thuật thị giác máy tính và học sâu cho phép xác định và hiển thị trực quan các vùng không gian trong ảnh đầu vào đóng góp quan trọng nhất vào quyết định phân loại của một lớp đối tượng cụ thể trong mạng nơ-ron tích chập. Thông qua việc làm sáng tỏ cơ chế ra quyết định của các mô hình học máy vốn được coi là hộp đen, kỹ thuật này trở thành công cụ nền tảng trong lĩnh vực trí tuệ nhân tạo có thể giải thích.

Bối cảnh ra đời và nhu cầu giải thích mô hình

Các mạng nơ-ron tích chập sâu đã đạt được độ chính xác phi thường trong các bài toán nhận dạng hình ảnh, phát hiện đối tượng và phân đoạn ngữ nghĩa. Tuy nhiên, bản chất phức tạp của hàng triệu tham số liên kết phi tuyến khiến mô hình hoạt động như một hệ thống khép kín bí ẩn, không thể cung cấp lý do rõ ràng cho từng quyết định phân loại cụ thể. Trong các ứng dụng y tế chẩn đoán hình ảnh, điều khiển xe tự hành hoặc giám định pháp lý, việc một mô hình đưa ra dự đoán đúng mà không thể giải thích cơ sở phân tích là một rào cản đạo đức và an toàn nghiêm trọng.

Bản đồ kích hoạt được phát triển nhằm bắc nhịp cầu giữa hiệu năng phân loại cao của mô hình tích chập và nhu cầu minh bạch hoá thông tin của con người, biến các giá trị kích hoạt trừu tượng thành bản đồ nhiệt hai chiều có thể quan sát trực tiếp trên bức ảnh gốc.

Kiến trúc CAM nguyên bản qua lớp gộp trung bình toàn cục

Phương pháp bản đồ kích hoạt lớp nguyên bản được công bố bởi nhóm nghiên cứu của Zhou và các đồng sự vào năm 2016 tại Hội nghị Thị giác Máy tính và Nhận dạng Mẫu. Nhóm tác giả phát hiện ra rằng các tầng tích chập ở tầng sâu nhất vẫn duy trì đầy đủ thông tin không gian vị trí của các bộ phận đối tượng, nhưng thông tin này thường bị xoá sạch khi đi qua các tầng kết nối đầy đủ truyền thống.

Để khắc phục hạn chế này, kiến trúc đề xuất thay thế toàn bộ các tầng kết nối dày đặc bằng một tầng gộp trung bình toàn cục duy nhất. Điểm số phân loại trước hàm xác suất được tính toán thông qua phép nhân vô hướng giữa trọng số phân loại và giá trị trung bình không gian của từng bản đồ đặc trưng:

S_c = \sum_k w_k^c \cdot F_k = \sum_k w_k^c \sum_{x,y} f_k(x, y)

Trong biểu thức này, ký hiệu $S_c$ biểu diễn tổng điểm số chưa chuẩn hoá dành cho lớp đối tượng, chỉ số $k$ đại diện cho kênh đặc trưng tích chập thứ $k$ , đại lượng $w_k^c$ là trọng số kết nối giữa kênh thứ $k$ với lớp mục tiêu, và hàm $f_k(x, y)$ biểu thị giá trị kích hoạt của điểm ảnh tại toạ độ không gian tương ứng.

Bằng cách hoán đổi thứ tự của phép tính tổng không gian và phép tính tổng trọng số, bản đồ nhiệt phản ánh mức độ đóng góp của từng toạ độ điểm ảnh đối với lớp đối tượng được biểu diễn trực tiếp qua công thức:

M_c(x, y) = \sum_k w_k^c f_k(x, y)

Tại đây $M_c(x, y)$ chính là bản đồ kích hoạt lớp, cho phép làm nổi bật chính xác vùng không gian kích hoạt cao nhất dẫn tới quyết định của thuật toán.

Sự phát triển đột phá với kỹ thuật Grad-CAM

Mặc dù kiến trúc ban đầu của Zhou và cộng sự năm 2016 rất hiệu quả, phương pháp này đòi hỏi phải thay đổi cấu trúc mạng nơ-ron và huấn luyện lại toàn bộ mô hình từ đầu, không thể áp dụng cho các mạng tích chập phức tạp có sẵn tầng kết nối đầy đủ. Nhằm giải quyết điểm nghẽn kỹ thuật này, Selvaraju và các đồng nghiệp vào năm 2017 đã công bố kỹ thuật Grad-CAM dựa trên đạo hàm ngược tại Hội nghị Quốc tế về Thị giác Máy tính.

Grad-CAM sử dụng tín hiệu gradient lan truyền ngược để đo lường mức độ nhạy cảm của điểm số phân loại đối với từng kênh bản đồ đặc trưng tại tầng tích chập cuối cùng mà không cần sửa đổi kiến trúc mạng. Trọng số quan trọng của kênh được xác định bằng trung bình không gian của đạo hàm riêng:

lpha_k^c = rac{1}{Z} \sum_{i} \sum_{j} rac{\partial Y^c}{\partial A_{i,j}^k}

Trong đó ký hiệu lpha_k^c là hệ số quan trọng của kênh đặc trưng, hằng số $Z$ là tổng số điểm ảnh của bản đồ đặc trưng, đại lượng $Y^c$ là điểm số dự đoán của mô hình đối với lớp phân loại, và $A_{i,j}^k$ là giá trị kích hoạt tại toạ độ hàng và cột của kênh.

Bản đồ trực quan cuối cùng được tổng hợp bằng cách kết hợp tuyến tính các bản đồ đặc trưng với trọng số vừa tính, sau đó cho qua hàm kích hoạt tuyến tính chỉnh lưu:

L_{ ext{Grad-CAM}}^c = ext{ReLU}\left(\sum_k lpha_k^c A^k ight)

Việc áp dụng hàm kích hoạt này nhằm mục đích chọn lọc, chỉ giữ lại những vùng không gian có ảnh hưởng tích cực tới việc gia tăng điểm số của lớp dự đoán và triệt tiêu các đặc trưng tiêu cực hoặc thuộc về lớp đối tượng khác.

Các biến thể mở rộng: Grad-CAM++ và Score-CAM

Nhằm khắc phục hiện tượng Grad-CAM chỉ định vị được một phần cơ thể của vật thể hoặc chỉ làm nổi bật một đối tượng duy nhất khi có nhiều đối tượng cùng loại xuất hiện trong một khung hình, Chattopadhay và cộng sự vào năm 2018 đã giới thiệu phương pháp Grad-CAM++. Kỹ thuật này tích hợp các đạo hàm riêng bậc cao để phân bổ trọng số pixel chi tiết hơn, mang lại khả năng bao quát toàn bộ đường bao của vật thể.

Đến năm 2020, Wang và cộng sự đề xuất phương pháp Score-CAM nhằm loại bỏ hoàn toàn sự phụ thuộc vào tín hiệu gradient vốn dễ bị bão hoà hoặc nhiễu cục bộ trong các mạng nơ-ron cực sâu. Score-CAM sử dụng chính bản đồ đặc trưng chuẩn hoá làm mặt nạ nhân chập lên bức ảnh đầu vào và theo dõi sự sụt giảm trực tiếp của điểm số phân loại trên mô hình gốc.

Bảng so sánh đặc tính các thế hệ thuật toán

Bảng tổng hợp đặc tính kỹ thuật giữa các phương pháp tạo bản đồ nhiệt kích hoạt:

Tên phương pháp	Yêu cầu cấu trúc mạng	Tín hiệu tính trọng số	Ưu điểm nổi bật
CAM nguyên bản	Bắt buộc có tầng gộp trung bình toàn cục	Trọng số tầng kết nối phân loại	Dễ triển khai, cho ảnh nhiệt có độ tương phản cao
Grad-CAM	Tương thích mọi kiến trúc tích chập	Đạo hàm riêng bậc một	Không cần huấn luyện lại mô hình, tính toán nhanh
Grad-CAM++	Tương thích mọi kiến trúc tích chập	Đạo hàm bậc cao kết hợp	Bắt trọn nhiều đối tượng cùng lớp trong bức ảnh
Score-CAM	Tương thích mọi kiến trúc tích chập	Độ biến thiên điểm số dự đoán	Không bị ảnh hưởng bởi hiện tượng triệt tiêu gradient

Ứng dụng thực tiễn trong công nghệ và đời sống

Kỹ thuật bản đồ kích hoạt lớp đã nhanh chóng chuyển hoá từ một đề tài nghiên cứu lý thuyết thành công cụ giám định không thể thiếu trong nhiều hệ thống thị giác thông minh:

Y học chẩn đoán hình ảnh: Hỗ trợ bác sĩ kiểm tra xem mô hình trí tuệ nhân tạo có thực sự phát hiện nốt mờ trên phim X-quang phổi dựa vào vùng tổn thương bệnh học hay bị đánh lừa bởi các nhãn dán kim loại của máy chụp.
Giao thông thông minh và xe tự hành: Xác định xem hệ thống nhận dạng vật cản có đang tập trung vào người đi bộ và biển báo giao thông hay bị phân tâm bởi các bóng cây và biển quảng cáo ven đường.
Kiểm thử và phát hiện thiên kiến mô hình: Phát hiện các mối tương quan giả mạo trong dữ liệu huấn luyện, ví dụ như mô hình phân loại tàu thuỷ chỉ vì bức ảnh có nền nước biển màu xanh.

Hạn chế kỹ thuật và ranh giới phương pháp

Dù mang lại giá trị thực tiễn to lớn, bản đồ kích hoạt lớp vẫn tồn tại các giới hạn kỹ thuật cố hữu. Độ phân giải không gian của bản đồ nhiệt bị khống chế bởi kích thước của tầng tích chập cuối cùng vốn đã trải qua nhiều lần giảm mẫu, dẫn tới hiện tượng vùng nóng thường lan toả thô ráp và thiếu đường biên sắc nét. Bên cạnh đó, với sự dịch chuyển mạnh mẽ của ngành thị giác máy tính sang các kiến trúc biến đổi thị giác sử dụng cơ chế chú ý đa đầu, việc thích ứng các nguyên lý bản đồ kích hoạt dựa trên tích chập đòi hỏi các công thức toán học mở rộng phức tạp hơn rất nhiều.