Hồi quy tuyến tính (linear regression) là phương pháp mô hình hóa thống kê nền tảng nhằm thiết lập và ước lượng mối quan hệ toán học định lượng giữa một biến phụ thuộc (biến phản hồi $Y$) với một hoặc nhiều biến độc lập (biến dự báo $X$) dưới dạng phương trình tuyến tính của các tham số. Đây là công cụ phân tích then chốt trong kinh tế lượng, học máy và khoa học dữ liệu.
Mô hình toán học của hồi quy tuyến tính
Trong trường hợp tổng quát của mô hình hồi quy tuyến tính bội (Multiple Linear Regression), mối quan hệ giữa biến phụ thuộc $Y$ và $k$ biến độc lập $X_1, X_2, \dots, X_k$ được biểu diễn qua phương trình:
$$Y_i = \beta_0 + \beta_1 X_{i1} + \beta_2 X_{i2} + \dots + \beta_k X_{ik} + \varepsilon_i$$
Trong đó:
- $\beta_0$ là hệ số chặn (intercept).
- $\beta_1, \dots, \beta_k$ là các hệ số hồi quy riêng phần (partial regression coefficients), biểu thị mức thay đổi kỳ vọng của $Y$ khi một biến $X_j$ tăng một đơn vị và các biến khác giữ nguyên.
- $\varepsilon_i$ là sai số ngẫu nhiên (residual error) phản ánh các yếu tố chưa quan sát được hoặc nhiễu ngẫu nhiên.
Phương pháp bình phương tối thiểu thông thường (OLS)
Theo chuyên khảo của Finch (2025) và Keith (2020), phương pháp ước lượng phổ biến nhất là Bình phương tối thiểu thông thường (Ordinary Least Squares - OLS). OLS tìm kiếm tập hợp hệ số $\hat{\beta}$ nhằm giảm thiểu tổng bình phương của các phần dư (Sum of Squared Residuals - SSR):
$$SSR = \sum_{i=1}^n e_i^2 = \sum_{i=1}^n (Y_i - \hat{Y}_i)^2$$
Nghiệm ma trận giải tích của ước lượng OLS được xác định bởi công thức kinh điển: $\hat{\beta} = (X^T X)^{-1} X^T Y$.
Các giả định kinh điển của định lý Gauss - Markov
Định lý Gauss - Markov khẳng định rằng nếu mô hình thỏa mãn 5 giả định cơ bản, ước lượng OLS sẽ là ước lượng tuyến tính không chệch tốt nhất (Best Linear Unbiased Estimator - BLUE):
| Giả định | Nội dung toán học | Hậu quả khi vi phạm | Phương pháp kiểm định |
|---|---|---|---|
| Tính tuyến tính | Kỳ vọng có điều kiện $E(Y|X)$ là hàm tuyến tính của các tham số | Ước lượng bị chệch và không nhất quán | Kiểm định Ramsey RESET, biểu đồ phân dư |
| Ngoại sinh chặt chẽ | $E(\varepsilon_i | X) = 0$ (sai số không tương quan với biến độc lập) | Nội sinh (Endogeneity), hệ số ước lượng bị chệch nghiêm trọng | Kiểm định Hausman, sử dụng biến công cụ (IV) |
| Phương sai sai số đồng nhất | $Var(\varepsilon_i | X) = \sigma^2$ (Homoscedasticity) | Phương sai ước lượng không hiệu quả, kiểm định t và F mất giá trị | Kiểm định White, Breusch-Pagan |
| Không tự tương quan | $Cov(\varepsilon_i, \varepsilon_j | X) = 0$ với mọi $i \neq j$ | Sai số chuẩn của hệ số bị ước tính thấp, tăng nguy cơ sai lầm loại I | Kiểm định Durbin-Watson, Breusch-Godfrey |
| Không đa cộng tuyến hoàn hảo | Ma trận $X$ có hạng đầy đủ ($rank(X) = k + 1$) | Không tính được nghịch đảo ma trận $(X^T X)^{-1}$, phương sai hệ số tăng vọt | Hệ số phóng đại phương sai (VIF) |
Đánh giá chất lượng mô hình và suy diễn thống kê
Theo Kozek và Jersky (2013), việc đánh giá sự phù hợp của mô hình hồi quy dựa trên hệ số xác định ($R^2$) và $R^2$ hiệu chỉnh (Adjusted $R^2$), phản ánh tỷ lệ phương sai của biến phụ thuộc được giải thích bởi tập hợp biến độc lập. Kiểm định $t$ của Student được sử dụng để kiểm định ý nghĩa thống kê của từng hệ số hồi quy riêng lẻ, trong khi kiểm định $F$ của Fisher đánh giá ý nghĩa thống kê của toàn bộ mô hình hồi quy.