Máy học véc tơ hỗ trợ (SVM) là gì? Nguyên lý siêu phẳng tối ưu và kỹ thuật hạt nhân Kernel

Máy học véc tơ hỗ trợ (Support Vector Machine - SVM) là một trong những thuật toán học máy có giám sát kinh điển và mạnh mẽ nhất, được phát triển bởi Corinna Cortes và Vladimir Vapnik vào năm 1995. Thuật toán được xây dựng trên nền tảng lý thuyết học thống kê và nguyên lý cực tiểu hóa rủi ro cấu trúc (Structural Risk Minimization), mang lại khả năng tổng quát hóa dữ liệu xuất sắc ngay cả khi kích thước mẫu dữ liệu hạn chế (Cortes & Vapnik, 1995; Burges, 1998).

Nguyên lý siêu phẳng phân tách và tối đa hóa lề (Margin)

Mục tiêu cốt lõi của SVM trong bài toán phân loại nhị phân là xác định một siêu phẳng quyết định dạng tuyến tính:

$\mathbf{w}^T \mathbf{x} + b = 0$

Trong đó $\mathbf{w}$ là véc-tơ pháp tuyến và $b$ là hệ số điều chỉnh tự do. Khác với các thuật toán khác có thể tìm ra vô số siêu phẳng phân tách, SVM chọn siêu phẳng duy nhất tối đa hóa khoảng cách biên (lề) giữa hai lớp dữ liệu:

• Khoảng cách lề hình học: Được định nghĩa bằng $\frac{2}{\|\mathbf{w}\|}$. Việc tối đa hóa lề tương đương với bài toán cực tiểu hóa đại lượng chuẩn véc-tơ $\frac{1}{2}\|\mathbf{w}\|^2$.
• Véc-tơ hỗ trợ (Support Vectors): Là tập hợp các điểm dữ liệu nằm sát siêu phẳng biên nhất, thỏa mãn điều kiện ràng buộc dấu phương trình biên. Chỉ những điểm này quyết định vị trí siêu phẳng tối ưu.
• Quy hoạch toàn phương lồi (Convex Quadratic Programming): Đảm bảo rằng hàm mục tiêu luôn hội tụ về cực tiểu toàn cục duy nhất, không bị rơi vào các cực tiểu cục bộ như trong mạng nơ-ron truyền thống.

SVM biên mềm và kiểm soát quá khớp

Khi dữ liệu có nhiễu hoặc không phân tách tuyến tính tuyệt đối, SVM biên mềm (Soft-margin SVM) đưa vào các biến bù lỏng lẻo $\xi_i \ge 0$ cùng tham số điều hòa $C$:

Tham số điều chỉnh	Ý nghĩa toán học	Ảnh hưởng đến mô hình học máy
Tham số phạt $C$ lớn	Phạt nặng các điểm dữ liệu vi phạm khoảng cách biên hoặc phân loại sai.	Biên thu hẹp lại, mô hình học kỹ dữ liệu huấn luyện, dễ dẫn đến hiện tượng quá khớp (overfitting).
Tham số phạt $C$ nhỏ	Chấp nhận biên rộng hơn và dung thứ cho nhiều điểm nằm sai vị trí lề.	Mô hình có tính tổng quát hóa cao hơn, ít bị ảnh hưởng bởi điểm ngoại lai, nhưng có nguy cơ thiếu khớp nếu quá nhỏ.

Kỹ thuật hạt nhân (Kernel Trick) cho bài toán phi tuyến

Khi dữ liệu không thể phân tách bằng siêu phẳng tuyến tính trong không gian gốc, SVM sử dụng phép biến đổi phi tuyến $\Phi(\mathbf{x})$ để ánh xạ các véc-tơ vào không gian đặc trưng Hilbert nhiều chiều hơn. Nhờ kỹ thuật hạt nhân, ta không cần tính trực tiếp tọa độ trong không gian mới mà chỉ cần tính tích vô hướng thông qua hàm nhân $K(\mathbf{x}_i, \mathbf{x}_j) = \langle \Phi(\mathbf{x}_i), \Phi(\mathbf{x}_j) \rangle$ (Burges, 1998; Schölkopf et al., 2000):

1. Hàm nhân tuyến tính (Linear Kernel): $K(\mathbf{x}_i, \mathbf{x}_j) = \mathbf{x}_i^T \mathbf{x}_j$ – dùng cho dữ liệu kích thước chiều đặc trưng rất lớn (như phân loại văn bản).
2. Hàm nhân đa thức (Polynomial Kernel): $K(\mathbf{x}_i, \mathbf{x}_j) = (\gamma \mathbf{x}_i^T \mathbf{x}_j + r)^d$ – mô hình hóa các tương tác đa thức bậc cao giữa các đặc trưng.
3. Hàm nhân cơ sở xuyên tâm (Radial Basis Function - RBF / Gaussian): $K(\mathbf{x}_i, \mathbf{x}_j) = \exp(-\gamma \|\mathbf{x}_i - \mathbf{x}_j\|^2)$ – ánh xạ vào không gian vô hạn chiều, là hàm nhân phổ biến và linh hoạt nhất.

Ứng dụng thực tiễn trong khoa học dữ liệu

SVM được ứng dụng rộng rãi trong nhiều bài toán phân tích phức tạp:

• Phân loại văn bản và lọc thư rác: Xử lý dữ liệu không gian nhiều chiều từ mô hình túi từ (TF-IDF) với độ chính xác cao.
• Sinh tin học và nhận diện gen: Phân loại mẫu biểu hiện gen microarray, dự đoán cấu trúc bậc hai của protein và phân tích đột biến di truyền.
• Nhận dạng chữ viết tay và thị giác máy tính: Phân loại ký tự OCR, nhận diện khuôn mặt và phát hiện đối tượng trong ảnh y tế số.