Bayes là gì? Các bài báo nghiên cứu khoa học liên quan

Khái niệm và lịch sử phát triển Bayes

Thomas Bayes (1701–1761), một mục sư và nhà toán học người Anh, lần đầu tiên đưa ra ý tưởng về xác suất có điều kiện và cách cập nhật niềm tin dựa trên dữ liệu mới trong tác phẩm “An Essay towards solving a Problem in the Doctrine of Chances” được xuất bản hậu thế năm 1763. Công trình của ông khởi nguồn cho lý thuyết Bayes, mở đường cho phương pháp luận thống kê lấy niềm tin làm trọng tâm.

Bayes không hoàn thiện đầy đủ phương pháp tính toán mà chỉ nêu lên nguyên tắc cơ bản; sau đó, Pierre-Simon Laplace (1749–1827) đã phát triển và phổ biến định lý Bayes thành một phần quan trọng của thống kê cổ điển cuối thế kỷ XVIII. Qua các thế kỷ sau, ý tưởng Bayes từng bị lu mờ bởi cách tiếp cận frequentist, nhưng từ thập niên 1950 đến nay đã hồi sinh mạnh mẽ, trở thành nền tảng của thống kê hiện đại và học máy.

• 1763: Tác phẩm Bayes xuất bản, giới thiệu phương pháp “nguyên lý đảo ngược” xác suất.
• 1774–1812: Laplace hoàn thiện và áp dụng rộng rãi trong thiên văn học và mật mã học.
• 1950–1970: Sự hồi sinh của thống kê Bayes, nhờ khả năng xử lý dữ liệu nhỏ và tích hợp kiến thức trước.

Định lý Bayes

Định lý Bayes mô tả mối quan hệ giữa xác suất tiên nghiệm (prior) và xác suất hậu nghiệm (posterior) sau khi quan sát bằng chứng mới. Công thức tổng quát:

$P(A\mid B) = \frac{P(B\mid A)\,P(A)}{P(B)}$

trong đó \(P(A)\) là xác suất tiên nghiệm của sự kiện A, \(P(B\mid A)\) là xác suất quan sát B khi giả định A đúng, và \(P(B)\) là xác suất hiện tượng B xảy ra qua mọi khả năng. Kết quả \(P(A\mid B)\) thể hiện niềm tin mới về A sau khi có dữ liệu B.

Các thành phần cơ bản của mô hình Bayes

Prior (phân phối tiên nghiệm) thể hiện kiến thức hoặc giả định ban đầu về tham số hoặc mô hình trước khi có dữ liệu. Prior có thể là phân phối đồng nhất (non‐informative) khi không có thông tin hoặc phân phối có trọng số (informative) khi có hiểu biết chuyên môn.

Likelihood là hàm mật độ xác suất của dữ liệu dưới giả thuyết về tham số; nó phản ánh tính tương thích giữa mô hình và quan sát. Việc tính toán likelihood thường gắn liền với khả năng ước lượng tham số thông qua cực đại hoá (maximum likelihood).

• Posterior: kết quả hợp nhất giữa prior và likelihood, cung cấp phân phối xác suất cập nhật.
• Evidence: hằng số chuẩn hóa đảm bảo tổng xác suất posterior bằng 1.

Posterior thường khó tính trực tiếp do tích phân phân phối lớn, dẫn đến việc sử dụng các phương pháp số như MCMC (Markov Chain Monte Carlo) hoặc xấp xỉ Laplace để thu được phân phối hậu nghiệm gần đúng.

Diễn giải và ý nghĩa của thống kê Bayes

Thống kê Bayes diễn giải xác suất như mức độ tin cậy (degree of belief) về giả thuyết hoặc tham số, thay vì xem xét tần suất xuất hiện của sự kiện qua nhiều phép lặp. Posterior cung cấp tập hợp các giá trị có xác suất cao nhất, giúp đưa ra quyết định dưới độ không chắc chắn.

Bayesian cho phép tích hợp thông tin chuyên môn (expert knowledge) qua prior, mang lại lợi thế rõ rệt khi dữ liệu hạn chế hoặc không đầy đủ. Hơn nữa, mô hình Bayes có tính linh hoạt cao, dễ dàng mở rộng để xử lý mô hình phân cấp (hierarchical models) và dữ liệu phức tạp.

• Ưu điểm: khả năng cập nhật liên tục khi có dữ liệu mới, phù hợp với môi trường thay đổi.
• Khuyết điểm: đòi hỏi tính toán nặng, ưu tiên các phương pháp số và tối ưu hóa.

Bayesian vs Frequentist

Trong cách tiếp cận Frequentist, xác suất được hiểu là giới hạn tần suất xuất hiện của sự kiện trong vô số phép lặp thí nghiệm, không gán xác suất cho tham số không xác định mà chỉ ước lượng và kiểm định giả thuyết. Frequentist sử dụng phương pháp Ước lượng Cực đại (Maximum Likelihood) để tìm tham số phù hợp nhất với dữ liệu và xây dựng khoảng tin cậy (confidence interval) dựa trên phân phối mẫu.

Trong khi đó, thống kê Bayes xác suất biểu thị mức độ tin cậy chủ quan về một giả thuyết hoặc tham số, cho phép kết hợp kiến thức trước (prior) và bằng chứng quan sát (likelihood) để thu được phân phối hậu nghiệm (posterior). Posterior không chỉ cung cấp điểm ước lượng như mean hay median mà còn cho phép tính xác suất trực tiếp về khoảng giá trị của tham số.

• Frequentist: Ưu điểm tính toán nhanh, dễ hiểu; hạn chế không thể gán xác suất cho tham số.
• Bayesian: Linh hoạt với dữ liệu nhỏ và mô hình phức tạp; nhược điểm yêu cầu tính toán nặng.

Kỹ thuật tính toán Bayes

Phép tính trực tiếp posterior thường đòi hỏi tích phân đa chiều phức tạp, dẫn đến sự ra đời của các thuật toán số. MCMC (Markov Chain Monte Carlo) là nhóm phương pháp tiêu biểu, trong đó Gibbs sampling lần lượt cập nhật mỗi biến ngẫu nhiên từ phân phối điều kiện, còn Metropolis–Hastings sử dụng bước đề xuất và tỷ lệ chấp nhận để mô phỏng chuỗi Markov tiến tới phân phối mục tiêu.

Laplace Approximation xấp xỉ posterior bằng phân phối Gaussian quanh mode (giá trị cực đại posterior), giảm thiểu chi phí tính toán nhưng kém chính xác với phân phối phi chuẩn. Variational Inference tối ưu phân phối biến phân (variational distribution) để tiệm cận posterior thông qua tối thiểu hóa Kullback–Leibler divergence, cho kết quả nhanh và có thể mở rộng cho mô hình lớn.

Ứng dụng trong khoa học và công nghiệp

Trong học máy, mô hình Naive Bayes sử dụng giả định độc lập điều kiện giữa đặc trưng, thường áp dụng cho phân loại văn bản hoặc lọc thư rác. Mạng Bayes (Bayesian networks) cho phép mô hình hóa quan hệ nhân quả và tính toán xác suất chung, hữu ích trong y sinh để chẩn đoán bệnh và phân tích thử nghiệm lâm sàng.

Bayesian cũng được sử dụng rộng rãi trong kinh tế và tài chính để dự báo rủi ro, định giá tài sản và cập nhật dự báo khi có dữ liệu thị trường mới. Trong thiên văn học, Bayes hỗ trợ ước lượng quỹ đạo thiên thể, phân tích tín hiệu sóng hấp dẫn. Xử lý ngôn ngữ tự nhiên sử dụng Bayes để xây dựng mô hình ngôn ngữ và gán nhãn thực thể có điều kiện.

• Y sinh: chẩn đoán hỗn hợp, phân tích di truyền.
• Tài chính: mô hình VaR, dự báo tín dụng.
• Thiên văn: ước lượng quỹ đạo, phân tích tín hiệu.
• NLP: phân loại văn bản, nhận dạng thực thể.

Công cụ phần mềm phổ biến

Stan là ngôn ngữ lập trình xác suất mạnh mẽ, tích hợp MCMC và Hamiltonian Monte Carlo để mô phỏng posterior với hiệu suất cao, cho phép mô hình hóa phức tạp trong thống kê Bayesian (mc-stan.org). Hệ thống Stan hỗ trợ giao diện R (rstan), Python (pystan) và CmdStan.

PyMC là thư viện Python với cú pháp thân thiện, hỗ trợ nhiều thuật toán MCMC và Variational Inference, phù hợp cho nghiên cứu và ứng dụng nhanh. TensorFlow Probability mở rộng nền tảng TensorFlow, tích hợp mô hình probabilistic vào pipeline deep learning, cho phép kết hợp mô hình Bayes và mạng nơ-ron.

• Stan: HMC, MCMC cho mô hình phức tạp.
• PyMC: Pythonic, đa thuật toán.
• TensorFlow Probability: tích hợp deep learning.

Tài liệu tham khảo

1. Bayes, T. “An Essay towards solving a Problem in the Doctrine of Chances.” 1763.
2. Gelman, A., et al. Bayesian Data Analysis, 3rd ed., CRC Press, 2013.
3. Carpenter, B., et al. “Stan: A Probabilistic Programming Language.” Journal of Statistical Software, vol. 76, no. 1, 2017.
4. Salvatier, J., Wiecki, T. V., & Fonnesbeck, C. “Probabilistic programming in Python using PyMC3.” PeerJ Computer Science, vol. 2, 2016.
5. Tran, D., et al. “Deep Probabilistic Programming.” ICLR, 2017.
6. NIST/SEMATECH. “Bayesian Analysis.” NIST/SEMATECH e-Handbook of Statistical Methods.