Thuật toán học tập là phương pháp toán học và quy trình tính toán tự động cho phép hệ thống máy tính cải thiện hiệu năng thực hiện một nhóm tác vụ cụ thể dựa trên việc xử lý dữ liệu và kinh nghiệm quan sát mà không cần lập trình các quy tắc tường minh cho từng trường hợp. Là thành phần cốt lõi của ngành học máy và trí tuệ nhân tạo, thuật toán học tập thiết lập cơ chế điều chỉnh cấu trúc tham số nội tại của mô hình thông qua việc tối ưu hóa hàm mục tiêu. Bài viết này trình bày chi tiết về định nghĩa toán học chuẩn mực, cơ sở lý thuyết học thống kê, phân loại các hệ hình học tập chủ đạo, thuật toán tối ưu hóa lan truyền ngược, hiện tượng đánh đổi giữa độ chệch và phương sai cùng bối cảnh nghiên cứu ứng dụng thực tiễn tại Việt Nam.
Định nghĩa chuẩn mực và bản chất tính toán
Khái niệm học tập của máy móc từng được tiếp cận theo nhiều góc độ triết học và điều khiển học khác nhau trong giai đoạn đầu của khoa học máy tính. Để chuyển hóa việc học thành một đối tượng nghiên cứu toán học chặt chẽ có thể kiểm chứng thực nghiệm, Tom Mitchell đã đề xuất định nghĩa hình thức kinh điển về học máy vào năm 1997. Theo đó, một chương trình máy tính được gọi là học từ kinh nghiệm E đối với một lớp các tác vụ T và thước đo hiệu năng P, nếu hiệu năng của nó tại các tác vụ trong T, được đo lường bằng P, tự động cải thiện nhờ có kinh nghiệm E.
Trong khuôn khổ này, thuật toán học tập chính là ánh xạ giải thuật nhận đầu vào là tập dữ liệu kinh nghiệm và trả về một hàm giả thuyết xấp xỉ tốt nhất quy luật tiềm ẩn của dữ liệu. Khác biệt căn bản giữa thuật toán truyền thống và thuật toán học tập nằm ở sự thích ứng: nếu thuật toán truyền thống thực thi chuỗi lệnh cố định để biến đổi dữ liệu đầu vào thành đầu ra, thì thuật toán học tập sử dụng dữ liệu đầu vào và kết quả mong muốn để tự động khám phá và hiệu chỉnh thuật toán xử lý bên trong mô hình.
Cơ sở lý thuyết học thống kê và độ phức tạp mẫu
Hiệu quả của các thuật toán học tập không chỉ được đánh giá bằng tốc độ tính toán mà còn được bảo đảm bởi các định lý giới hạn trong lý thuyết học tính toán:
Mô hình học xấp xỉ đúng với xác suất cao PAC
Nền tảng toán học của việc học máy tính được Leslie Valiant đặt nền móng vững chắc vào năm 1984 thông qua việc đề xuất khuôn khổ học xấp xỉ đúng với xác suất cao, thường được gọi tắt là mô hình học PAC. Mô hình này thiết lập các điều kiện toán học chặt chẽ để một thuật toán có thể tìm được một giả thuyết có độ sai số nhỏ hơn một ngưỡng cho trước, với xác suất thành công cao, sử dụng một số lượng mẫu quan sát và thời gian tính toán đa thức. Khái niệm PAC đã đưa việc phân tích khả năng học được của các khái niệm trừu tượng vào phạm vi của lý thuyết độ phức tạp tính toán giải thuật.
Chiều VC và nguyên lý cực tiểu hóa rủi ro cấu trúc
Song song với mô hình tính toán, Vladimir Vapnik đã hoàn thiện lý thuyết học thống kê vào năm 1998, giới thiệu khái niệm chiều Vapnik-Chervonenkis, hay còn gọi là chiều VC. Chiều VC là thước đo năng lực biểu diễn hoặc độ phức tạp hình học của một không gian giả thuyết, xác định số điểm tối đa mà không gian đó có thể phân tách hoàn toàn theo mọi cách gán nhãn có thể.
Lý thuyết học thống kê chỉ ra rằng việc cực tiểu hóa rủi ro kinh nghiệm đơn thuần trên tập dữ liệu huấn luyện dễ dẫn tới việc ghi nhớ thuộc lòng dữ liệu thay vì học quy luật tổng quát. Để khắc phục, Vapnik đề xuất nguyên lý cực tiểu hóa rủi ro cấu trúc, tạo ra sự cân bằng tối ưu giữa việc giảm thiểu sai số trên tập mẫu huấn luyện và việc kiểm soát độ phức tạp chiều VC của mô hình, đặt cơ sở cho sự ra đời của máy vector hỗ trợ.
Phân loại các hệ hình thuật toán học tập chủ đạo
Dựa trên bản chất của tín hiệu phản hồi và cấu trúc dữ liệu kinh nghiệm, các thuật toán học tập được phân chia thành bốn nhóm chính:
| Hệ hình học tập | Bản chất tín hiệu phản hồi | Thuật toán tiêu biểu | Mục tiêu tính toán |
|---|---|---|---|
| Học có giám sát | Dữ liệu đi kèm nhãn mục tiêu tường minh | Hồi quy tuyến tính, Máy vector hỗ trợ, Mạng nơ-ron | Học ánh xạ từ không gian đặc trưng sang không gian nhãn |
| Học không giám sát | Dữ liệu thô không có nhãn giám sát | K-Means, Phân tích thành phần chính, Autoencoder | Khám phá cấu trúc tiềm ẩn, cụm cụm và phân phối xác suất |
| Học tăng cường | Tín hiệu phần thưởng hoặc hình phạt sau chuỗi hành động | Q-learning, Gradient chính sách, Học sâu tăng cường | Tối ưu hóa chính sách hành động để tối đa hóa phần thưởng tích lũy |
| Học tự giám sát | Nhãn mục tiêu tự sinh từ cấu trúc nội tại của dữ liệu | Mô hình ngôn ngữ Transformer masked, Học tương phản | Học biểu diễn không gian đặc trưng tổng quát từ tập dữ liệu khổng lồ |
Học có giám sát và học không giám sát
Trong học có giám sát, thuật toán tiếp nhận các cặp dữ liệu gồm vector đặc trưng đầu vào và nhãn tương ứng. Mục tiêu là xấp xỉ hàm mục tiêu để dự đoán chính xác nhãn của các mẫu dữ liệu mới chưa từng xuất hiện. Trái lại, trong học không giám sát, dữ liệu hoàn toàn không có nhãn. Thuật toán phải tự động khai phá các mối liên hệ mật thiết, phân tách dữ liệu thành các cụm tương đồng hoặc chiếu dữ liệu xuống không gian thứ nguyên thấp hơn nhằm loại bỏ nhiễu và bảo toàn thông tin quan trọng.
Học tăng cường và học tự giám sát
Học tăng cường mô hình hóa quá trình ra quyết định tuần tự của một tác tử tương tác với môi trường động. Tác tử không được chỉ dẫn hành vi nào là đúng mà phải tự khám phá các hành động mang lại phần thưởng kỳ vọng dài hạn lớn nhất. Trong khi đó, học tự giám sát đã trở thành trụ cột của các mô hình nền tảng hiện đại, nơi hệ thống tự che giấu một phần dữ liệu và huấn luyện thuật toán dự đoán phần bị che khuất, khai thác hiệu quả các kho dữ liệu số khổng lồ mà không cần gán nhãn thủ công tốn kém.
Cơ chế tối ưu hóa và giải thuật lan truyền ngược
Đại đa số các thuật toán học tập hiện đại, đặc biệt là trong mạng nơ-ron sâu, vận hành dựa trên việc chuyển hóa bài toán học thành bài toán tối ưu hóa toán học liên tục:
Hạ độ dốc và hàm mất mát
Hàm mất mát lượng hóa mức độ sai lệch giữa đầu ra dự báo của mô hình và giá trị kỳ vọng thực tế. Thuật toán tối ưu hóa hạ độ dốc cập nhật lặp lại các trọng số tham số ngược chiều với vector gradient của hàm mất mát. Bằng cách điều chỉnh từng bước tỷ lệ với tốc độ học, thuật toán dần đưa các tham số hội tụ về điểm cực tiểu cục bộ hoặc điểm yên ngựa thỏa đáng trong không gian tham số nhiều chiều.
Đột phá của thuật toán lan truyền ngược
Việc tính toán vector đạo hàm riêng cho hàng triệu đến hàng tỷ tham số trong các mạng nơ-ron nhiều tầng từng là một rào cản tính toán nan giải. Vào năm 1986, Rumelhart, Hinton và Williams đã công bố công trình lịch sử trên tạp chí Nature, chính thức giới thiệu thuật toán lan truyền ngược áp dụng cho các mạng nơ-ron nhiều lớp.
Bằng cách vận dụng quy tắc dây chuyền của phép vi phân giải tích một cách có hệ thống, thuật toán lan truyền ngược cho phép truyền ngược sai số từ tầng đầu ra về các tầng ẩn phía trước, tính toán gradient chính xác với độ phức tạp tính toán tuyến tính theo số lượng liên kết mạng. Thuật toán này trở thành động cơ tính toán nền tảng thúc đẩy toàn bộ cuộc cách mạng học sâu của thế kỷ hai mươi mốt.
Sự đánh đổi giữa độ chệch và phương sai
Một hiện tượng trung tâm chi phối quá trình thiết kế và đánh giá mọi thuật toán học tập là bài toán đánh đổi giữa độ chệch và phương sai trong dự báo thống kê:
Theo công trình phân tích toán học nền tảng của Geman và các cộng sự công bố vào năm 1992, sai số kỳ vọng trên dữ liệu kiểm thử độc lập của một mô hình học tập có thể được phân rã thành ba thành phần độc lập: bình phương độ chệch, phương sai của mô hình và sai số ngẫu nhiên không thể triệt tiêu của bản thân dữ liệu.
Độ chệch phản ánh mức độ sai số hệ thống xuất phát từ các giả định đơn giản hóa quá mức của thuật toán học tập, dẫn tới hiện tượng học chưa tới khi mô hình không nắm bắt được quy luật phức tạp của dữ liệu. Ngược lại, phương sai phản ánh mức độ nhạy cảm thái quá của mô hình đối với các biến động ngẫu nhiên hoặc nhiễu trong tập dữ liệu huấn luyện, dẫn tới hiện tượng học vẹt hay quá khớp khi mô hình ghi nhớ cả các chi tiết ngẫu nhiên không có giá trị khái quát hóa.
Khi tăng độ phức tạp của mô hình, độ chệch thường có xu hướng giảm nhưng phương sai lại tăng nhanh. Do đó, mục tiêu cốt lõi của các kỹ thuật tinh chỉnh thuật toán, chẳng hạn như điều quy L2, kỹ thuật loại bỏ ngẫu nhiên dropout hay học kết hợp ensemble, là tìm kiếm điểm dung hòa tối ưu nơi tổng sai số kỳ vọng đạt giá trị cực tiểu toàn cục.
Ứng dụng thực tiễn và bối cảnh nghiên cứu tại Việt Nam
Tại Việt Nam, sự bùng nổ của trí tuệ nhân tạo và chuyển đổi số quốc gia đã đưa nghiên cứu và ứng dụng thuật toán học tập trở thành một trong những trọng điểm phát triển khoa học công nghệ hàng đầu:
Đào tạo hàn lâm và nghiên cứu cơ bản
Các viện nghiên cứu và trường đại học trọng điểm như Đại học Quốc gia Hà Nội, Đại học Quốc gia Thành phố Hồ Chí Minh, Đại học Bách khoa Hà Nội cùng Viện Hàn lâm Khoa học và Công nghệ Việt Nam đã xây dựng các chương trình đào tạo chuyên sâu về trí tuệ nhân tạo và khoa học dữ liệu. Các nhóm nghiên cứu trong nước tập trung vào các hướng học máy tiên tiến như tối ưu hóa phân tán, học liên kết bảo vệ quyền riêng tư và học chuyển giao trong điều kiện tài nguyên tính toán giới hạn.
Mô hình xử lý ngôn ngữ tự nhiên tiếng Việt
Một đóng góp học thuật nổi bật của các nhà khoa học Việt Nam cho cộng đồng quốc tế là công trình của Nguyễn và Nguyễn công bố vào năm 2020 tại hội nghị EMNLP, giới thiệu mô hình PhoBERT. Mô hình được tiền huấn luyện trên kho ngữ liệu tiếng Việt quy mô 20GB, áp dụng thuật toán học tự giám sát với cơ chế chú ý hai chiều. PhoBERT đã thiết lập các chuẩn mực hiệu năng vượt trội cho hàng loạt tác vụ xử lý ngôn ngữ tự nhiên tiếng Việt như phân loại văn bản, trích xuất thực thể và phân tích cảm xúc, trở thành mô hình nền tảng được ứng dụng rộng rãi trong các hệ thống thông tin tại Việt Nam.
Đột phá trong y tế và công nghệ thị giác máy tính
Trong lĩnh vực y tế kỹ thuật số, các thuật toán học sâu thị giác máy tính đã được triển khai hiệu quả để hỗ trợ chẩn đoán hình ảnh y khoa. Điển hình vào năm 2022, giải pháp phần mềm trí tuệ nhân tạo DrAid của công ty VinBrain đã chính thức đạt chứng nhận 510(k) của Cục Quản lý Thực phẩm và Dược phẩm Hoa Kỳ. Đây là minh chứng cụ thể cho năng lực làm chủ và thương mại hóa thành công các thuật toán học máy phức tạp của doanh nghiệp công nghệ Việt Nam trên thị trường y tế quốc tế khắt khe.
Thách thức lý thuyết và xu hướng tương lai
Dù đã đạt được những thành tựu vượt bậc, ngành thuật toán học tập vẫn đối mặt với những câu hỏi mở sâu sắc về mặt lý thuyết. Hiện tượng tổng quát hóa sâu trong các mạng nơ-ron bị tham số hóa quá mức, nơi mô hình tiếp tục cải thiện hiệu năng kiểm thử ngay cả khi đã đạt sai số huấn luyện bằng không, đang thách thức trực tiếp các định lý học thống kê cổ điển. Các hướng nghiên cứu mới đang tập trung vào khả năng giải thích được của mô hình hộp đen, tính toán thích ứng an toàn, thuật toán học tập tăng cường dựa trên phản hồi của con người và các giải thuật học ít mẫu nhằm giảm bớt sự phụ thuộc vào các cụm máy chủ tiêu tốn năng lượng khổng lồ.