Bốn thành phần cơ bản của Ma trận nhầm lẫn (Confusion Matrix) là gì?

Bốn thành phần gồm: True Positive (TP - Dương tính thật), True Negative (TN - Âm tính thật), False Positive (FP - Dương tính giả / Sai lầm loại I) và False Negative (FN - Âm tính giả / Sai lầm loại II).

Đường cong ROC và diện tích dưới đường cong AUC đo lường điều gì?

Đường cong ROC (Receiver Operating Characteristic) biểu diễn mối quan hệ đánh đổi giữa Tỷ lệ dương tính thật (TPR / Độ nhạy) trên trục tung và Tỷ lệ dương tính giả (FPR / 1 - Độ đặc hiệu) trên trục hoành qua mọi ngưỡng quyết định. Chỉ số AUC từ 0.5 (phán đoán ngẫu nhiên) đến 1.0 (phân loại hoàn hảo).

Khi tập dữ liệu bị mất cân bằng lớp trầm trọng (imbalanced classes), thước đo nào thích hợp hơn Accuracy?

Nên sử dụng điểm F1-Score (trung bình điều hòa giữa Precision và Recall), diện tích dưới đường cong PR-AUC (Precision-Recall Curve), hoặc chỉ số MCC (Matthews Correlation Coefficient).

Phân loại nhị phân là gì? Ma trận nhầm lẫn, đường cong ROC và các thuật toán

Phân loại nhị phân (binary classification) là một dạng bài toán kinh điển và cơ bản nhất trong học máy có giám sát (supervised machine learning) và thống kê học ứng dụng, trong đó nhiệm vụ của mô hình thuật toán là học một ánh xạ dự đoán $f: \mathbb{R}^d \to \{0, 1\}$ từ một vector không gian đặc trưng đầu vào $x$ vào một trong hai nhóm nhãn rời rạc loại trừ lẫn nhau (thường được quy ước là lớp âm tính $0$ và lớp dương tính $1$ ).

Ma trận nhầm lẫn (Confusion Matrix) và Các thước đo đánh giá cốt lõi

Hiệu năng dự đoán của một bộ phân loại nhị phân trên tập dữ liệu kiểm thử được tóm tắt qua ma trận $2 \times 2$ :

Nhãn thực tế (Actual) \ Nhãn dự đoán (Predicted)	Dự đoán Dương tính ( $\hat{y} = 1$ )	Dự đoán Âm tính ( $\hat{y} = 0$ )
Thực tế Dương tính ( $y = 1$ )	TP (True Positive): Dương tính thật	FN (False Negative): Âm tính giả (Sai lầm loại II)
Thực tế Âm tính ( $y = 0$ )	FP (False Positive): Dương tính giả (Sai lầm loại I)	TN (True Negative): Âm tính thật

Từ các ô cơ sở này, các chỉ số đo lường hiệu năng quan trọng nhất được định nghĩa:

1. Độ chính xác tổng thể (Accuracy)

\text{Accuracy} = \frac{\text{TP} + \text{TN}}{\text{TP} + \text{TN} + \text{FP} + \text{FN}}

Chỉ số này phản ánh tỷ lệ dự đoán đúng trên toàn bộ mẫu. Tuy nhiên, nếu tập dữ liệu bị mất cân bằng lớp nặng (ví dụ: 99% mẫu âm tính, 1% mẫu dương tính), một mô hình tầm thường luôn đoán nhãn 0 vẫn đạt Accuracy = 99% nhưng vô giá trị.

2. Độ nhạy / Tỷ lệ dương tính thật (Recall / Sensitivity / TPR)

\text{Recall} = \text{Sensitivity} = \text{TPR} = \frac{\text{TP}}{\text{TP} + \text{FN}}

Khả năng của mô hình bắt trọn được bao nhiêu phần trăm các ca dương tính thực tế trong quần thể (tối quan trọng trong chẩn đoán y khoa, tầm soát ung thư để tránh bỏ sót ca bệnh).

3. Độ chuẩn xác (Precision / Positive Predictive Value - PPV)

\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}

Trong số tất cả các ca mà mô hình dự đoán là dương tính, có bao nhiêu phần trăm thực sự là dương tính đúng (quan trọng trong phát hiện thư rác spam hoặc cảnh báo gian lận giao dịch để tránh báo động giả).

4. Điểm F1 (F1-Score)

F_1 = 2 \times \frac{\text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}} = \frac{2\text{TP}}{2\text{TP} + \text{FP} + \text{FN}}

Điểm F1 là trung bình điều hòa giữa Precision và Recall, đạt giá trị cao nhất là 1 khi cả hai chỉ số đều hoàn hảo.

Phân tích Đường cong ROC và Chỉ số ROC-AUC

Hầu hết các thuật toán phân loại hiện đại không đưa ra nhãn nhị phân trực tiếp mà dự đoán một giá trị xác suất liên tục $p = P(y = 1 | x) \in [0, 1]$ . Một mẫu được gán nhãn 1 nếu $p \ge \tau$ (với $\tau$ là ngưỡng quyết định phân loại - classification threshold, mặc định là 0.5).

Đường cong ROC (Receiver Operating Characteristic Curve): Là đồ thị biểu diễn mối quan hệ giữa Độ nhạy ( $\text{TPR}$ ) trên trục tung $y$ và Tỷ lệ dương tính giả ( $\text{FPR} = 1 - \text{Specificity} = \frac{\text{FP}}{\text{FP} + \text{TN}}$ ) trên trục hoành $x$ khi ngưỡng $\tau$ quét liên tục từ 1 về 0 (Fawcett, 2006).
Chỉ số AUC (Area Under the ROC Curve): Diện tích nằm dưới đường cong ROC đo lường xác suất một mẫu dương tính ngẫu nhiên được mô hình xếp hạng xác suất cao hơn một mẫu âm tính ngẫu nhiên:
- $\text{AUC} = 0.5$ : Mô hình hoàn toàn không có khả năng phân biệt (tương đương tung đồng xu ngẫu nhiên).
- $\text{AUC} = 0.7 - 0.8$ : Khả năng phân biệt chấp nhận được.
- $\text{AUC} = 0.8 - 0.9$ : Khả năng phân biệt xuất sắc.
- $\text{AUC} > 0.9$ : Khả năng phân biệt vượt trội (gần như hoàn hảo).

Các thuật toán phân loại nhị phân phổ biến

Mô hình thuật toán	Nguyên lý phân loại cốt lõi	Ưu điểm nổi bật	Hạn chế chính
Hồi quy Logistic (Logistic Regression)	Sử dụng hàm Sigmoid \sigma(z) = rac{1}{1 + e^{-z}} mô hình hóa logit xác suất	Đơn giản, tính toán nhanh, hệ số hồi quy (Odd Ratios) dễ giải thích	Chỉ tìm được ranh giới quyết định tuyến tính
Máy vectơ hỗ trợ (Support Vector Machine - SVM)	Tìm siêu phẳng phân cách cực đại hóa lề (Margin) kết hợp biến đổi Kernel phi tuyến	Hiệu quả cao trong không gian số chiều lớn, chống quá khớp tốt	Huấn luyện chậm trên tập dữ liệu rất lớn
Cây quyết định & Rừng ngẫu nhiên (Random Forest)	Tập hợp (Ensemble) nhiều cây quyết định kết hợp lấy mẫu Bagging	Xử lý tốt đặc trưng phi tuyến và dữ liệu dạng bảng, không cần chuẩn hóa	Mô hình kích thước lớn, khó suy diễn xác suất mượt
Gradient Boosting (XGBoost, LightGBM, CatBoost)	Xây dựng chuỗi cây quyết định tuần tự sửa chữa sai số của các cây trước	Độ chính xác thuộc nhóm cao nhất đối với dữ liệu dạng bảng có cấu trúc	Nhiều siêu tham số cần tinh chỉnh cẩn thận
Mạng thần kinh nhân tạo (Deep Neural Networks)	Nhiều lớp ẩn phi tuyến với hàm kích hoạt Sigmoid ở tầng đầu ra và mất mát Binary Cross-Entropy	Học biểu diễn đặc trưng tự động vượt trội từ dữ liệu phi cấu trúc (ảnh, văn bản)	Đòi hỏi dữ liệu huấn luyện rất lớn, chi phí phần cứng GPU cao