Hồi quy logistic là gì? Các nghiên cứu khoa học liên quan

Hồi quy logistic là gì?

Hồi quy logistic là một phương pháp thống kê thuộc nhóm mô hình tuyến tính tổng quát, được sử dụng để dự đoán xác suất của một biến phụ thuộc nhị phân dựa trên một hoặc nhiều biến độc lập. Khác với hồi quy tuyến tính, hồi quy logistic sử dụng hàm sigmoid để ánh xạ giá trị đầu ra vào khoảng (0,1), đại diện cho xác suất.

Mô hình hồi quy logistic được ứng dụng rộng rãi trong nhiều lĩnh vực như y học, tài chính, khoa học xã hội và học máy, đặc biệt hiệu quả trong các bài toán phân loại nhị phân như: có bệnh/không bệnh, chấp nhận/không chấp nhận, mua/không mua.

Nguồn: IBM – Logistic Regression Overview

Hàm sigmoid và xác suất dự đoán

Hàm sigmoid là thành phần cốt lõi của hồi quy logistic, có dạng: $f(x) = \frac{1}{1 + e^{-x}}$ Hàm này giới hạn đầu ra trong khoảng từ 0 đến 1, phù hợp với diễn giải xác suất.

Trong mô hình hồi quy logistic, đầu ra của hàm sigmoid đại diện cho xác suất của biến phụ thuộc nhận giá trị 1. Việc sử dụng hàm sigmoid đảm bảo rằng mô hình luôn đưa ra giá trị xác suất hợp lệ cho mọi tổ hợp của các biến độc lập.

Nguồn: Google Developers – Sigmoid Function

Ước lượng tham số bằng Maximum Likelihood

Trong hồi quy logistic, các tham số của mô hình được ước lượng bằng phương pháp cực đại hóa hợp lý (Maximum Likelihood Estimation – MLE). Mục tiêu là tìm bộ tham số $\boldsymbol{\beta}$sao cho xác suất quan sát dữ liệu huấn luyện là lớn nhất.

Hàm log-likelihood được định nghĩa như sau: $L(\boldsymbol{\beta}) = \sum_{i=1}^{n} \left[ y_i \log(p_i) + (1 - y_i) \log(1 - p_i) \right]$ với $p_i$là xác suất dự đoán từ mô hình. Quá trình tối ưu hóa thường được thực hiện bằng các thuật toán như Gradient Descent hoặc Newton-Raphson.

Nguồn: StatLect – Logistic Regression MLE

Giả định và điều kiện áp dụng

Để áp dụng hồi quy logistic một cách hiệu quả, cần đảm bảo một số giả định cơ bản:

• Biến phụ thuộc là nhị phân (0 hoặc 1).
• Các quan sát độc lập với nhau.
• Không có đa cộng tuyến nghiêm trọng giữa các biến độc lập.
• Mối quan hệ tuyến tính giữa logit của biến phụ thuộc và các biến độc lập.

Logit là log của tỷ lệ odds, được định nghĩa như sau: $\log\left(\frac{P}{1-P}\right) = \beta_0 + \sum_{i=1}^{n} \beta_i x_i$

Nguồn: Statistics Solutions – Assumptions of Logistic Regression

Đánh giá mô hình hồi quy logistic

Đánh giá chất lượng của mô hình hồi quy logistic không thể dựa vào hệ số $R^2$như trong hồi quy tuyến tính. Thay vào đó, ta sử dụng các chỉ số đặc thù cho bài toán phân loại nhị phân. Một trong những công cụ chính là ma trận nhầm lẫn (confusion matrix), thể hiện mối quan hệ giữa giá trị dự đoán và thực tế.

Từ ma trận nhầm lẫn, có thể tính toán:

• Accuracy: tỷ lệ dự đoán đúng tổng thể
• Precision: tỷ lệ dương tính đúng trên tất cả dự đoán dương
• Recall (Sensitivity): tỷ lệ phát hiện đúng trong toàn bộ ca thực sự dương tính
• F1-Score: trung bình điều hòa của precision và recall

Một chỉ số quan trọng khác là AUC–ROC (Area Under the Curve – Receiver Operating Characteristic), cho biết khả năng phân biệt giữa hai lớp.

Nguồn: Google ML Crash Course – ROC & AUC

Phân tích đa biến và mở rộng mô hình

Hồi quy logistic không giới hạn ở một biến độc lập. Với nhiều biến, mô hình sẽ có dạng: $P(y=1) = \frac{1}{1 + e^{-(\beta_0 + \beta_1x_1 + \dots + \beta_nx_n)}}$ Việc thêm nhiều biến cho phép giải thích tốt hơn các yếu tố ảnh hưởng đến xác suất của biến phụ thuộc, nhưng cũng cần kiểm tra đa cộng tuyến giữa các biến bằng hệ số VIF hoặc phân tích tương quan.

Ngoài mô hình nhị phân cổ điển, hồi quy logistic có thể mở rộng thành:

• Multinomial logistic regression: khi biến phụ thuộc có nhiều hơn hai lớp không có thứ tự
• Ordinal logistic regression: khi biến phụ thuộc có thứ tự (ví dụ: mức độ hài lòng)

Nguồn: UCLA – Types of Logistic Regression

So sánh với các mô hình phân loại khác

Hồi quy logistic thường được so sánh với các thuật toán phân loại khác như Decision Tree, Random Forest, Support Vector Machine (SVM), và mạng nơ-ron nhân tạo. Mỗi thuật toán có ưu nhược điểm riêng và được chọn tùy theo yêu cầu dữ liệu và bài toán.

So sánh nhanh:

Ứng dụng thực tế

Hồi quy logistic là công cụ quan trọng trong nhiều lĩnh vực nhờ tính đơn giản và hiệu quả trong phân loại. Trong y học, nó được dùng để phân tích yếu tố nguy cơ bệnh tim, dự đoán khả năng sống sót sau điều trị hoặc tiên lượng bệnh mạn tính.

Trong lĩnh vực tài chính – ngân hàng, hồi quy logistic hỗ trợ chấm điểm tín dụng, phát hiện gian lận giao dịch, hoặc dự báo vỡ nợ. Trong marketing, nó giúp xác định khả năng khách hàng phản hồi chiến dịch quảng cáo, hoặc dự đoán hành vi rời bỏ dịch vụ.

Nguồn: NCBI – Logistic Regression Applications

Ưu điểm, hạn chế và cải tiến

Ưu điểm chính:

• Diễn giải dễ hiểu nhờ hệ số log-odds
• Yêu cầu tài nguyên thấp, huấn luyện nhanh
• Hoạt động tốt với dữ liệu vừa và nhỏ, không cần phân phối chuẩn

Hạn chế:

• Hiệu suất giảm khi có nhiều tương tác phi tuyến
• Nhạy cảm với nhiễu và biến không liên quan
• Không hiệu quả với dữ liệu mất cân bằng nghiêm trọng

Các cải tiến kỹ thuật:

• Sử dụng chuẩn hóa L1 (Lasso) hoặc L2 (Ridge) để giảm overfitting
• Trích chọn đặc trưng và kỹ thuật sampling (SMOTE) để xử lý mất cân bằng
• Kết hợp hồi quy logistic trong ensemble models hoặc pipelines đa giai đoạn

Kết luận và xu hướng phát triển

Hồi quy logistic là một trong những công cụ nền tảng trong thống kê ứng dụng và học máy, đặc biệt hiệu quả trong các bài toán phân loại nhị phân nhờ khả năng diễn giải, dễ triển khai và hiệu suất ổn định. Mặc dù không phải mô hình mạnh nhất trong mọi trường hợp, nhưng nó vẫn là lựa chọn đầu tiên trong phân tích mô tả và kiểm định giả thuyết.

Trong xu thế hiện đại, hồi quy logistic tiếp tục được tích hợp vào hệ thống học máy tự động (AutoML), tối ưu hóa bằng thuật toán gradient cải tiến và đóng vai trò như baseline để so sánh với các mô hình phức tạp hơn. Kết hợp với học sâu hoặc sử dụng trong khung mô hình hóa tổng hợp giúp hồi quy logistic giữ vai trò quan trọng trong hệ sinh thái phân tích dữ liệu hiện đại.