Độ chệch (Bias) là gì? Công thức tính, phân rã MSE và sự đánh đổi Bias-Variance

Độ chệch (statistical bias), hay độ lệch kỳ vọng, là đại lượng đo lường sự sai khác có tính hệ thống giữa giá trị kỳ vọng toán học của một ước lượng thống kê và giá trị thực sự của tham số tổng thể mà nó hướng đến. Trong lý thuyết xác suất thống kê, khoa học dữ liệu và học máy, độ chệch phản ánh mức độ thiếu chuẩn xác cơ bản của mô hình, đóng vai trò nền tảng trong bài toán đánh đổi độ chệch - phương sai (Bias-Variance Tradeoff) và thiết kế các thuật toán dự báo tối ưu.

Định nghĩa toán học của độ chệch

Giả sử $heta$ là một tham số thực của tổng thể cần ước lượng, và $\hat{ heta}$ là một ước lượng thống kê (estimator) được tính toán từ một mẫu ngẫu nhiên độc lập $X_1, X_2, \dots, X_n$. Độ chệch của $\hat{ heta}$, ký hiệu là $\operatorname{Bias}(\hat{ heta})$, được xác định chính xác theo công thức (Lehmann & Casella, 1998):

Dựa trên giá trị của $\operatorname{Bias}(\hat{ heta})$, ta phân loại ước lượng như sau:

• Ước lượng không chệch (Unbiased Estimator): Nếu $\operatorname{Bias}(\hat{ heta}) = 0$, tức là $\mathbb{E}[\hat{ heta}] = heta$ với mọi giá trị của $heta$. Ví dụ kinh điển: Trung bình mẫu ar{X} = rac{1}{n}\sum_{i=1}^n X_i là ước lượng không chệch của trung bình tổng thể $\mu$.
• Ước lượng chệch (Biased Estimator): Nếu $\operatorname{Bias}(\hat{ heta}) e 0$. Nếu $\operatorname{Bias}(\hat{ heta}) > 0$, ước lượng có xu hướng đánh giá quá cao (overestimate); ngược lại nếu $\operatorname{Bias}(\hat{ heta}) < 0$, ước lượng có xu hướng đánh giá thấp hơn giá trị thực (underestimate).
• Ước lượng không chệch tiệm cận (Asymptotically Unbiased): Nếu độ chệch tiến dần về 0 khi kích thước mẫu tiến tới vô cùng: $\lim_{n o \infty} \operatorname{Bias}(\hat{ heta}) = 0$.

Sai số toàn phương trung bình (MSE) và sự phân rã độ chệch - phương sai

Để đánh giá chất lượng tổng thể của một ước lượng, các nhà thống kê sử dụng sai số toàn phương trung bình (Mean Squared Error - MSE). Một trong những định lý nền tảng của suy luận thống kê chỉ ra rằng MSE có thể phân rã chính xác thành bình phương độ chệch cộng với phương sai của ước lượng (Hastie et al., 2009):

\operatorname{MSE}(\hat{ heta}) = \mathbb{E}\left[(\hat{ heta} - heta)^2 ight] = \left(\operatorname{Bias}(\hat{ heta}) ight)^2 + \operatorname{Var}(\hat{ heta})

Chứng minh toán học của sự phân rã:

egin{aligned} \operatorname{MSE}(\hat{ heta}) &= \mathbb{E}\left[\left((\hat{ heta} - \mathbb{E}[\hat{ heta}]) + (\mathbb{E}[\hat{ heta}] - heta) ight)^2 ight] \ &= \mathbb{E}\left[(\hat{ heta} - \mathbb{E}[\hat{ heta}])^2 ight] + 2(\mathbb{E}[\hat{ heta}] - heta)\mathbb{E}[\hat{ heta} - \mathbb{E}[\hat{ heta}]] + (\mathbb{E}[\hat{ heta}] - heta)^2 \ &= \operatorname{Var}(\hat{ heta}) + 0 + \left(\operatorname{Bias}(\hat{ heta}) ight)^2 \end{aligned}

Sự đánh đổi Độ chệch - Phương sai trong Học máy (Bias-Variance Dilemma)

Trong các bài toán học có giám sát (hồi quy và phân loại), sai số dự báo tổng thể trên tập kiểm tra luôn bao gồm ba thành phần: độ chệch của mô hình, phương sai của mô hình và sai số ngẫu nhiên không thể khử (irreducible error $\sigma_\epsilon^2$) (Geman et al., 1992):

\operatorname{Error}(x) = \operatorname{Bias}\left(\hat{f}(x) ight)^2 + \operatorname{Var}\left(\hat{f}(x) ight) + \sigma_\epsilon^2

Trạng thái mô hình	Đặc trưng độ chệch (Bias)	Đặc trưng phương sai (Variance)	Biểu hiện thực tế	Giải pháp kỹ thuật
Mô hình quá đơn giản (Underfitting)	Độ chệch cao ($ext{High Bias}$)	Phương sai thấp ($ext{Low Variance}$)	Mô hình áp đặt các giả định quá khắt khe, không học được quy luật phức tạp của dữ liệu, sai số cao trên cả tập huấn luyện và tập kiểm tra.	Tăng độ phức tạp của mô hình, bổ sung thêm đặc trưng phi tuyến (polynomial features), sử dụng mạng nơ-ron sâu hoặc thuật toán Boosting.
Mô hình quá phức tạp (Overfitting)	Độ chệch thấp ($ext{Low Bias}$)	Phương sai cao ($ext{High Variance}$)	Mô hình học thuộc lòng cả nhiễu ngẫu nhiên của tập huấn luyện, hoạt động hoàn hảo trên train nhưng sai số nhảy vọt trên tập dữ liệu mới.	Thu thập thêm dữ liệu, áp dụng điều chuẩn hóa (Regularization: L1 Lasso, L2 Ridge), giảm bớt đặc trưng hoặc dùng kỹ thuật Bagging / Random Forest.
Mô hình tối ưu (Optimal Balance)	Độ chệch vừa phải	Phương sai vừa phải	Tổng sai số kiểm tra đạt giá trị cực tiểu toàn cục.	Sử dụng phương pháp kiểm định chéo (k-fold cross-validation) để dò tìm siêu tham số tối ưu.

Ứng dụng chấp nhận độ chệch để giảm phương sai: Hồi quy Ridge

Một nguyên lý quan trọng trong thống kê hiện đại là: đôi khi cố tình chấp nhận một lượng độ chệch nhỏ lại giúp giảm mạnh phương sai, dẫn tới tổng sai số $\operatorname{MSE}$ nhỏ hơn hẳn ước lượng không chệch OLS (Ordinary Least Squares). Kỹ thuật hồi quy Ridge (L2 regularization) bổ sung một số hạng phạt vào hàm mất mát:

\hat{eta}_{ ext{ridge}} = \left(X^T X + \lambda I ight)^{-1} X^T y

Khi tham số điều chuẩn $\lambda > 0$, ước lượng \hat{eta}_{ ext{ridge}} bị chệch về phía 0 nhưng có ma trận hiệp phương sai nhỏ hơn đáng kể so với \hat{eta}_{ ext{OLS}}, đặc biệt trong các bài toán dữ liệu đa cộng tuyến cao (multicollinearity) hoặc khi số chiều đặc trưng vượt quá số lượng mẫu quan sát ($p > n$).