Học thống kê (statistical learning) là một nhánh của toán học ứng dụng và thống kê toán học tập trung vào việc xây dựng các mô hình toán học và thuật toán để suy luận các mối quan hệ phức tạp giữa biến phụ thuộc và các biến độc lập từ tập dữ liệu quan sát.
Định nghĩa và phạm vi của học thống kê
Học thống kê (statistical learning) là lĩnh vực nghiên cứu phương pháp xây dựng mô hình dự đoán hoặc suy luận từ dữ liệu quan sát, kết hợp các kỹ thuật thống kê và tối ưu hóa. Mục tiêu chính của học thống kê không chỉ là tìm mối quan hệ giữa biến đầu vào và đầu ra mà còn đánh giá độ tin cậy và sai số của mô hình. Việc xây dựng mô hình thường đi kèm với phân tích giả thuyết, kiểm định thống kê và ước lượng tham số.
Phạm vi của học thống kê bao gồm cả học có giám sát (supervised learning) và học không giám sát (unsupervised learning), mở rộng đến học bán giám sát (semi-supervised) và học trực tuyến (online learning). Các ứng dụng điển hình trải dài từ dự báo kinh tế, phân tích y sinh, nhận dạng hình ảnh, xử lý ngôn ngữ tự nhiên đến hệ thống khuyến nghị cá nhân hóa. Người làm trong lĩnh vực này thường sử dụng ngôn ngữ R, Python (thư viện scikit-learn) hoặc các phần mềm chuyên dụng thống kê.
- Xây dựng mô hình hồi quy, phân loại, phân cụm.
- Đánh giá độ chính xác, độ tin cậy và sai số dự đoán.
- Ứng dụng kiểm định giả thuyết, chọn biến và điều chỉnh tham số.
Lịch sử và phát triển
Những nền tảng đầu tiên của học thống kê xuất phát từ hồi quy tuyến tính đơn giản và phân tích phương sai (ANOVA) vào đầu thế kỷ 20, với các công trình của Francis Galton và Ronald Fisher. Hồi quy tuyến tính cho phép ước lượng mối quan hệ tuyến tính giữa biến phụ thuộc và các biến độc lập, trong khi ANOVA giúp phân tích sự khác biệt nhóm.
Đến những năm 1990–2000, sự bùng nổ dữ liệu và tính toán đã thúc đẩy phát triển các mô hình cây quyết định, rừng ngẫu nhiên (Random Forest) và máy vector hỗ trợ (SVM), cùng với kernel methods. Đồng thời, các thuật toán học không giám sát như k-means, PCA cũng được đưa vào ứng dụng rộng rãi. Giai đoạn này đánh dấu bước tiến quan trọng khi thuật toán học máy và thống kê bắt đầu giao thoa chặt chẽ.
- Đầu thế kỷ 20: Hồi quy tuyến tính, ANOVA.
- 1990–2000: Cây quyết định, SVM, kernel methods.
- Hiện đại: Học sâu (deep learning), học bán giám sát, learning-to-learn.
Phân loại phương pháp
Học có giám sát (supervised learning) là phương pháp xây dựng mô hình từ dữ liệu đã gán nhãn, bao gồm bài toán hồi quy (predict continuous) và phân lớp (predict categorical). Ví dụ, hồi quy tuyến tính, logistic regression, SVM phân lớp, Random Forest, Gradient Boosting đều thuộc nhóm này. Mục tiêu là ước lượng hàm ước tính ŷ = f̂(x) sao cho sai số dự đoán trên tập kiểm tra được tối thiểu.
Học không giám sát (unsupervised learning) hoạt động trên dữ liệu chưa gán nhãn, tập trung vào khám phá cơ cấu ẩn, phân nhóm hoặc giảm chiều. Các thuật toán phổ biến gồm k-means clustering, hierarchical clustering, Principal Component Analysis (PCA). Chúng giúp phát hiện mẫu, đánh giá phân bố và trực quan hóa dữ liệu đa chiều.
- Supervised: hồi quy, phân lớp.
- Unsupervised: phân cụm, giảm chiều.
- Semi-supervised & online: kết hợp nhãn và không nhãn, cập nhật mô hình theo luồng dữ liệu.
Khái niệm cơ bản và công thức
Một trong những công thức nền tảng minh họa bias–variance tradeoff trong học thống kê là:
Trong đó, bias (độ lệch) thể hiện sai số hệ thống khi mô hình giản lược, variance (phương sai) biểu thị độ dao động của mô hình với các bộ dữ liệu khác nhau, còn σ² là độ nhiễu ngẫu nhiên. Việc điều chỉnh complex model (tăng giảm tham số) nhằm cân bằng bias và variance để đạt hiệu suất tối ưu.
| Thuật toán | Regularization | Mô hình tiêu biểu |
|---|---|---|
| Hồi quy tuyến tính | Ridge, Lasso, Elastic Net | ŷ = β₀ + ∑βⱼxⱼ |
| Phân lớp | C-SVM, ν-SVM | minimize hinge loss |
| Giảm chiều | — | PCA, t-SNE |
Regularization (điều chuẩn) như Lasso (L₁) hay Ridge (L₂) được thêm vào hàm mất mát để ngăn overfitting và chọn biến tự động. Việc lựa chọn tham số regularization thường dựa trên cross-validation (k-fold) hoặc Bayesian optimization để tối ưu hiệu suất ngoài mẫu.
Các thuật toán tiêu biểu
Hồi quy tuyến tính và logistic regression là thuật toán cơ bản nhất trong học có giám sát, cho phép ước lượng mối quan hệ tuyến tính giữa biến đầu vào và đầu ra. Logistic regression mở rộng cho bài toán phân lớp nhị phân, sử dụng hàm sigmoid để ánh xạ giá trị đầu ra vào khoảng [0,1]. Các biến số tối ưu thường tìm bằng phương pháp tối tiểu hóa hàm mất mát như tối thiểu bình phương hoặc tối đa xác suất.
Cây quyết định (Decision Tree) phân chia không gian đặc trưng dựa trên ngưỡng giá trị tính toán theo chỉ số như Gini hoặc entropy, dễ hiểu và trực quan. Random Forest, Gradient Boosting (XGBoost, LightGBM) là các ensemble methods kết hợp nhiều cây cơ bản để tăng độ chính xác và khả năng tổng quát hóa bằng cách giảm phương sai hoặc sai số.
- Hồi quy tuyến tính/logistic: đơn giản, dễ triển khai.
- Support Vector Machine (SVM): tập trung biên quyết định tối ưu, mạnh với không gian chiều cao.
- k-Nearest Neighbors (k-NN): dự đoán dựa trên khoảng cách Euclid, phù hợp dữ liệu nhỏ.
- Clustering (k-means, DBSCAN): phân cụm không giám sát, khám phá nhóm tiềm ẩn.
Đánh giá mô hình và chọn tham số
Cross-validation là phương pháp tiêu chuẩn để đánh giá hiệu năng mô hình, chia dữ liệu thành k-fold, luân phiên dùng mỗi fold làm tập kiểm tra và các fold còn lại làm tập huấn luyện. Kết quả trung bìnhAcross folds giúp ước lượng sai số ngoài mẫu (generalization error) và tránh overfitting.
Đối với các bài toán hồi quy, chỉ số RMSE (Root Mean Squared Error) và MAE (Mean Absolute Error) đo sai số bình phương và sai số tuyệt đối trung bình. Với phân lớp, AUC-ROC (Area Under Curve) và F1-score (hài hòa giữa precision và recall) được dùng phổ biến để đánh giá khả năng phân biệt lớp và cân bằng hai loại sai lệch.
| Chỉ số | Ứng dụng | Giải thích |
|---|---|---|
| RMSE | Hồi quy | Độ chệch giá trị bình phương trung bình |
| AUC-ROC | Phân lớp | Diện tích dưới đường cong FPR-TPR |
| F1-score | Phân lớp nhị phân | Cân bằng precision và recall |
Grid search và random search là hai kỹ thuật phổ biến để tìm kiếm tham số tối ưu (hyperparameter tuning), trong khi Bayesian optimization là phương pháp tiên tiến hơn, sử dụng mô hình xác suất để chọn tham số một cách hiệu quả hơn và nhanh chóng hơn.
Xử lý dữ liệu và tiền xử lý
Làm sạch dữ liệu là bước đầu tiên cần chú trọng gồm loại bỏ hoặc ước lượng giá trị thiếu (missing values), phát hiện và xử lý ngoại lệ (outliers). Phương pháp phổ biến bao gồm trung bình/median imputation, KNN imputation hoặc mô hình dự đoán cho giá trị thiếu.
Standardization và normalization giúp đưa các biến đặc trưng về cùng thang đo, quan trọng với các thuật toán phụ thuộc khoảng cách như k-NN, SVM. Feature engineering–kỹ thuật tạo biến mới từ biến gốc–có thể bao gồm interaction terms, polynomial features hoặc embedding cho dữ liệu phân loại.
- Handling missing: mean/median imputation, model-based imputation.
- Outlier detection: IQR method, Z-score method.
- Scaling: StandardScaler, MinMaxScaler.
- Dimensionality reduction: PCA, t-SNE để trực quan hóa.
Ứng dụng thực tiễn
Trong kinh tế và tài chính, học thống kê được sử dụng để dự báo chu kỳ kinh doanh, giá cổ phiếu và quản lý rủi ro tín dụng. Các mô hình như ARIMA, GARCH kết hợp học thống kê cho dự báo chuỗi thời gian, hỗ trợ ra quyết định đầu tư.
Y sinh và dược học ứng dụng hồi quy logistic, random forest để phân loại bệnh nhân theo nguy cơ, phân tích gen với clustering và PCA. Hệ thống khuyến nghị (recommendation systems) dùng collaborative filtering và matrix factorization để gợi ý sản phẩm, nội dung cho người dùng dựa trên hành vi lịch sử (scikit-learn).
- Dự báo kinh tế: ARIMA, Prophet.
- Chẩn đoán y tế: Random Forest, SVM.
- Khuyến nghị nội dung: collaborative filtering, deep learning.
Thách thức và xu hướng tương lai
Giải thích mô hình (interpretability) ngày càng quan trọng khi các mô hình phức tạp như deep learning trở nên “hộp đen”. Các phương pháp như SHAP, LIME giúp minh bạch hóa quyết định của mô hình, tăng niềm tin và tuân thủ quy định pháp lý.
Continual learning và online learning, cho phép mô hình cập nhật liên tục khi có dữ liệu mới, phù hợp với môi trường thay đổi nhanh. Học liên tục (continual) còn phải giải quyết vấn đề catastrophic forgetting–mất kiến thức cũ khi học kiến thức mới.
- Model interpretability: SHAP, LIME.
- Continual & online learning: cập nhật mô hình thời gian thực.
- Machine learning đạo đức: fairness, bias mitigation.