Từ điển học thuật Khoa học tự nhiên

Độ lệch hậu nghiệm (posterior deviance) là gì?

Tiếng Anhposterior deviance

Độ lệch hậu nghiệm (posterior deviance) là thước đo độ không phù hợp của mô hình thống kê Bayes, được tính bằng hàm độ lệch thống kê đánh giá trên phân phối hậu nghiệm của các tham số. Đại lượng này đóng vai trò nền tảng trong việc xác định số tham số hiệu dụng và tính toán tiêu chuẩn thông tin độ lệch (DIC) để so sánh các mô hình.

Cập nhật 6/10/2026

Độ lệch hậu nghiệm (posterior deviance) là thước đo độ không phù hợp của mô hình thống kê Bayes đối với tập dữ liệu quan sát, được xác định thông qua việc lấy kỳ vọng của hàm độ lệch thống kê trên phân phối xác suất hậu nghiệm của các tham số. Khái niệm này phản ánh mức độ biến thiên và độ khớp tổng thể của mô hình khi tính đến toàn bộ sự không chắc chắn của tham số thay vì chỉ dựa vào một ước lượng điểm đơn lẻ. Bài viết này trình bày cơ sở toán học của độ lệch hậu nghiệm, vai trò trung tâm trong tiêu chuẩn thông tin độ lệch, quy trình tính toán qua chuỗi Markov Monte Carlo, cùng các giới hạn lý thuyết và tiêu chuẩn thay thế hiện đại.

Bản chất toán học và cơ sở lý thuyết

Trong lý thuyết thống kê cổ điển, hàm độ lệch (deviance) đóng vai trò tương tự như tổng bình phương phần dư trong phân tích hồi quy tuyến tính, được sử dụng để đánh giá mức độ sai lệch giữa mô hình đang xét và một mô hình bão hòa (saturated model) có khả năng khớp hoàn hảo với dữ liệu. Đối với một tập dữ liệu quan sát được ký hiệu là yy và vector tham số chưa biết ký hiệu là θ\theta, hàm độ lệch chuẩn hóa được định nghĩa bởi biểu thức:

D(θ)=−2ln⁡p(y∣θ)+2ln⁡f(y)D(\theta) = -2 \ln p(y|\theta) + 2 \ln f(y)

Trong phương trình trên, đại lượng p(y∣θ)p(y|\theta) biểu thị hàm hợp lý (likelihood function) của dữ liệu dưới điều kiện tham số θ\theta, còn thành phần f(y)f(y) là hàm chuẩn hóa phụ thuộc hoàn toàn vào dữ liệu quan sát nhằm đưa độ lệch của mô hình bão hòa về mức không. Khi tiến hành so sánh giữa các mô hình cạnh tranh cùng sử dụng chung một tập dữ liệu quan sát, thành phần chuẩn hóa f(y)f(y) không thay đổi giữa các mô hình. Do đó, trong thực hành tính toán thống kê, các nhà nghiên cứu thường áp dụng dạng độ lệch thu gọn không chuẩn hóa:

D(θ)=−2ln⁡p(y∣θ)+CD(\theta) = -2 \ln p(y|\theta) + C

Trong đó đại lượng CC là một hằng số tùy ý không phụ thuộc vào vector tham số θ\theta. Hệ số âm hai xuất hiện từ sự tương đồng tiệm cận với phân phối Chi bình phương trong định lý Wilks của suy diễn hợp lý cực đại.

Khác biệt căn bản giữa thống kê cổ điển và thống kê Bayes nằm ở bản chất của vector tham số θ\theta. Trong khuôn khổ suy diễn Bayes, tham số không phải là một giá trị cố định chưa biết, mà là một biến ngẫu nhiên tuân theo phân phối xác suất. Dưới tác động của dữ liệu quan sát yy thông qua định lý Bayes, sự không chắc chắn về tham số được mô tả đầy đủ bởi phân phối hậu nghiệm p(θ∣y)p(\theta|y). Do hàm độ lệch D(θ)D(\theta) là một hàm số xác định trên không gian tham số, bản thân D(θ)D(\theta) cũng trở thành một biến ngẫu nhiên có phân phối xác suất riêng dưới phân phối hậu nghiệm. Phân phối này được gọi là phân phối của độ lệch hậu nghiệm.

Để tóm tắt phân phối này thành một chỉ số định lượng phản ánh độ khớp tổng thể của mô hình, Spiegelhalter và cộng sự (2002) đã đề xuất sử dụng kỳ vọng hậu nghiệm của độ lệch, ký hiệu là Dˉ\bar{D}:

Dˉ=Eθ∣y[D(θ)]=∫D(θ)p(θ∣y)dθ\bar{D} = E_{\theta|y}[D(\theta)] = \int D(\theta) p(\theta|y) d\theta

Kỳ vọng này tích hợp toàn bộ không gian tham số có trọng số theo mật độ xác suất hậu nghiệm, phản ánh giá trị độ lệch trung bình mà mô hình tạo ra trên toàn bộ các trạng thái khả dĩ của tham số.

Vai trò trong tiêu chuẩn thông tin độ lệch

Mặc dù độ lệch hậu nghiệm trung bình Dˉ\bar{D} là thước đo tốt cho độ khớp, việc chỉ dựa vào giá trị này để lựa chọn mô hình sẽ dẫn đến hiện tượng quá khớp (overfitting). Một mô hình càng có nhiều tham số tự do và cấu trúc phức tạp thì độ lệch trung bình càng nhỏ, nhưng khả năng tổng quát hóa trên dữ liệu mới sẽ suy giảm. Do đó, lý thuyết lựa chọn mô hình đòi hỏi một cơ chế phạt tương xứng cho độ phức tạp của mô hình.

Spiegelhalter và cộng sự (2002) đã giới thiệu khái niệm số tham số hiệu dụng, ký hiệu là pDp_D, được đo lường bằng hiệu số giữa độ lệch hậu nghiệm trung bình và độ lệch được đánh giá tại ước lượng điểm trung bình hậu nghiệm của các tham số:

pD=Dˉ−D(θˉ)p_D = \bar{D} - D(\bar{\theta})

Trong biểu thức này, đại lượng θˉ=E[θ∣y]\bar{\theta} = E[\theta|y] biểu thị vector trung bình hậu nghiệm của các tham số, và D(θˉ)D(\bar{\theta}) là hàm độ lệch được tính trực tiếp tại điểm ước lượng trung bình đó. Về mặt ý nghĩa thống kê, đại lượng pDp_D phản ánh sự sụt giảm độ lệch trung bình khi tham số dao động tự do trong phân phối hậu nghiệm so với khi tham số bị cố định tại điểm trung bình. Trong các mô hình tuyến tính đơn giản với tiên nghiệm không chứa thông tin, số tham số hiệu dụng pDp_D xấp xỉ bằng đúng số lượng tham số thực tế của mô hình.

Tiêu chuẩn thông tin độ lệch (Deviance Information Criterion, viết tắt là DIC) được thiết lập như tổng của độ khớp mô hình và hình phạt cho độ phức tạp:

DIC=Dˉ+pD=D(θˉ)+2pDDIC = \bar{D} + p_D = D(\bar{\theta}) + 2 p_D

Biểu thức này cho thấy tiêu chuẩn thông tin độ lệch là sự khái quát hóa trực tiếp của tiêu chuẩn thông tin Akaike trong bối cảnh phân tích Bayes phân cấp, trong đó độ lệch hậu nghiệm đóng vai trò trung tâm cấu thành cả thước đo độ khớp lẫn hình phạt phức tạp.

Phương pháp ước lượng qua chuỗi Markov Monte Carlo

Trong các mô hình Bayes thực tế, việc tính toán tích phân giải tích để tìm kỳ vọng Dˉ\bar{D} hầu như không khả thi do độ phức tạp cao của không gian tham số và cấu trúc phi tuyến tính của hàm hợp lý. Các nhà nghiên cứu sử dụng các thuật toán lấy mẫu chuỗi Markov Monte Carlo (MCMC) như thuật toán Gibbs hoặc Metropolis-Hastings để sinh ra chuỗi mẫu từ phân phối hậu nghiệm.

Giả sử chuỗi MCMC sau giai đoạn khởi động (burn-in) thu được một tập hợp gồm SS mẫu tham số, ký hiệu là θ(1),θ(2),…,θ(S)\theta^{(1)}, \theta^{(2)}, \dots, \theta^{(S)}. Quy trình ước lượng các đại lượng độ lệch hậu nghiệm được thực hiện tuần tự qua các bước:

  • Tính toán độ lệch cho từng mẫu: Tại mỗi bước lấy mẫu thứ ss, tính giá trị độ lệch D(θ(s))=−2ln⁡p(y∣θ(s))D(\theta^{(s)}) = -2 \ln p(y|\theta^{(s)}).
  • Ước lượng độ lệch hậu nghiệm trung bình: Tính trung bình cộng của chuỗi độ lệch mẫu:
    Dˉ≈1S∑s=1SD(θ(s))\bar{D} \approx \frac{1}{S} \sum_{s=1}^S D(\theta^{(s)})
  • Xác định trung bình tham số hậu nghiệm: Tính vector kỳ vọng mẫu của các tham số:
    θˉ≈1S∑s=1Sθ(s)\bar{\theta} \approx \frac{1}{S} \sum_{s=1}^S \theta^{(s)}
  • Tính độ lệch tại điểm trung bình: Đánh giá hàm độ lệch tại vector tham số trung bình vừa tìm được để thu được D(θˉ)D(\bar{\theta}).
  • Tính số tham số hiệu dụng và chỉ số DIC: Lấy hiệu số để tìm pD=Dˉ−D(θˉ)p_D = \bar{D} - D(\bar{\theta}), sau đó cộng với Dˉ\bar{D} để xác định giá trị DIC.

Bảng dưới đây tổng hợp các đại lượng liên quan đến độ lệch hậu nghiệm và cách diễn giải tương ứng trong phân tích dữ liệu:

Đại lượng thống kê Ký hiệu toán học Ý nghĩa trong mô hình Phương pháp tính trong MCMC
Hàm độ lệch tại mẫu thứ s D(θ(s))D(\theta^{(s)}) Mức độ không khớp của mẫu tham số cụ thể với dữ liệu Tính trực tiếp từ hàm log hợp lý tại mẫu s
Độ lệch hậu nghiệm trung bình Dˉ\bar{D} Thước đo tổng thể về độ không phù hợp của mô hình Trung bình cộng của chuỗi giá trị độ lệch
Độ lệch tại trung bình hậu nghiệm D(θˉ)D(\bar{\theta}) Độ lệch của mô hình khi cố định tham số tại điểm trung bình Đánh giá hàm độ lệch tại điểm trung bình các mẫu
Số tham số hiệu dụng pDp_D Độ phức tạp hiệu quả có tính đến hiệu ứng co của tiên nghiệm Hiệu số giữa độ lệch trung bình và độ lệch tại điểm trung bình
Tiêu chuẩn thông tin độ lệch DICDIC Tiêu chuẩn so sánh mô hình cân bằng độ khớp và độ phức tạp Tổng của độ lệch trung bình và số tham số hiệu dụng

Ưu điểm và ứng dụng thực tiễn

Ưu thế nổi bật nhất của việc sử dụng độ lệch hậu nghiệm và tiêu chuẩn DIC nằm ở khả năng xử lý các mô hình cấu trúc phân cấp (hierarchical models) hoặc mô hình đa mức (multilevel models). Trong các mô hình này, việc xác định số lượng tham số tự do thực sự là một bài toán hóc búa đối với thống kê cổ điển. Khi các tham số ngẫu nhiên chịu sự kiểm soát của phân phối tiên nghiệm chung, hiện tượng co (shrinkage) làm giảm số bậc tự do thực tế của mô hình. Đại lượng pDp_D dựa trên độ lệch hậu nghiệm tự động nắm bắt mức độ co này mà không đòi hỏi nhà nghiên cứu phải đếm số tham số theo cách thủ công.

Một ưu điểm thực tiễn khác là chi phí tính toán thuận lợi. Trong các phần mềm thống kê thuộc họ BUGS như WinBUGS, OpenBUGS và JAGS, giá trị log hợp lý và nút độ lệch của từng mẫu được theo dõi tự động theo mặc định trong quá trình cập nhật trạng thái chuỗi. Do đó, việc theo dõi và trích xuất độ lệch hậu nghiệm không đòi hỏi các thuật toán phụ trợ phức tạp hoặc các phép lấy mẫu bổ sung tốn kém tài nguyên tính toán.

Tại Việt Nam, các phương pháp phân tích Bayes ứng dụng độ lệch hậu nghiệm ngày càng được áp dụng rộng rãi trong nhiều lĩnh vực nghiên cứu khoa học chuyên sâu:

  • Dịch tễ học và y tế công cộng: Phân tích mô hình không gian - thời gian về sự lan truyền của các bệnh truyền nhiễm, nơi các hiệu ứng ngẫu nhiên cấp tỉnh hoặc cấp huyện được làm trơn thông qua các phân phối tiên nghiệm có cấu trúc không gian. Độ lệch hậu nghiệm giúp so sánh tính phù hợp giữa mô hình lân cận không gian và mô hình độc lập.
  • Kinh tế lượng và tài chính: Ước lượng các mô hình biến động ngẫu nhiên (stochastic volatility) và mô hình chuỗi thời gian phi tuyến tính trong phân tích biến động giá trị thị trường chứng khoán và tỷ giá hối đoái.
  • Sinh thái học định lượng và lâm nghiệp: Mô hình hóa mật độ quần thể sinh vật và động thái tái sinh rừng dựa trên dữ liệu điều tra ô mẫu phân cấp, hỗ trợ đánh giá tác động của biến đổi môi trường.

So sánh độ lệch hậu nghiệm với các tiêu chuẩn lựa chọn mô hình

Để đánh giá đầy đủ vị trí của độ lệch hậu nghiệm trong hệ thống các công cụ thống kê, cần đặt đại lượng này trong mối tương quan so sánh với các tiêu chuẩn lựa chọn mô hình phổ biến khác bao gồm Tiêu chuẩn thông tin Akaike (AIC), Tiêu chuẩn thông tin Bayes (BIC), Tiêu chuẩn thông tin áp dụng rộng rãi (WAIC) và Kiểm định chéo loại một điểm (LOO-CV).

Tiêu chuẩn so sánh Bản chất lý thuyết Cách xử lý phân phối hậu nghiệm Ưu điểm nổi bật Hạn chế chính
AIC (Akaike) Suy diễn hợp lý cực đại cổ điển Không sử dụng thông tin hậu nghiệm Dễ tính toán, phù hợp mẫu lớn đơn giản Không áp dụng được cho cấu trúc phân cấp phức tạp
BIC (Schwarz) Xấp xỉ thừa số Bayes theo tiệm cận Chỉ đánh giá tại điểm cực đại hợp lý Nhất quán khi kích thước mẫu tiến tới vô cùng Phạt quá nặng mô hình trong phân tích phân cấp
DIC (Spiegelhalter) Dựa trên độ lệch hậu nghiệm trung bình Sử dụng kỳ vọng độ lệch và điểm trung bình tham số Tích hợp tự nhiên trong MCMC, đo độ phức tạp hiệu dụng Phụ thuộc dạng tham số hóa, có thể cho p_D âm
WAIC (Watanabe) Dự báo tiệm cận Bayes đầy đủ Tính toán mật độ dự báo từng điểm trên toàn bộ chuỗi Bất biến dưới phép đổi tham số, nền tảng toán chặt chẽ Đòi hỏi dữ liệu phân chia độc lập có điều kiện
LOO-CV Kiểm định chéo ngoài mẫu Ước lượng mật độ dự báo ngoài mẫu qua trọng số PSIS Phản ánh trực tiếp năng lực dự báo thực tế Nhạy cảm với các điểm dữ liệu dị biệt có ảnh hưởng lớn

Hạn chế lý thuyết và hướng phát triển

Mặc dù được ứng dụng rộng rãi trong nhiều thập kỷ, độ lệch hậu nghiệm và tiêu chuẩn thông tin độ lệch bộc lộ ba hạn chế lý thuyết quan trọng đã được cộng đồng khoa học quốc tế mổ xẻ chi tiết.

Thứ nhất là tính không bất biến đối với phép tái tham số hóa (reparameterization). Trong công thức tính số tham số hiệu dụng pD=Dˉ−D(θˉ)p_D = \bar{D} - D(\bar{\theta}), đại lượng D(θˉ)D(\bar{\theta}) phụ thuộc trực tiếp vào vector trung bình hậu nghiệm θˉ\bar{\theta}. Trong khi các phân vị (như giá trị trung vị) của phân phối có tính bất biến dưới các phép biến đổi đơn điệu, kỳ vọng toán học E[θ∣y]E[\theta|y] lại biến đổi phi tuyến tính khi tham số được biểu diễn dưới dạng hàm số khác (chẳng hạn chuyển đổi từ phương sai sang độ lệch chuẩn hoặc độ chính xác). Hệ quả là cùng một mô hình và tập dữ liệu, việc thay đổi cách biểu diễn toán học của tham số có thể làm thay đổi giá trị pDp_D và giá trị DIC cuối cùng.

Thứ hai là nguy cơ phát sinh giá trị âm cho số tham số hiệu dụng. Như Plummer (2008) đã chỉ ra trong phân tích hàm mất mát phạt, khi phân phối hậu nghiệm có dạng bất đối xứng rõ rệt, đa đỉnh hoặc trong các mô hình hỗn hợp (mixture models), ước lượng trung bình hậu nghiệm θˉ\bar{\theta} có thể rơi vào vùng có mật độ xác suất rất thấp giữa hai đỉnh phân phối. Tại vị trí đó, giá trị độ lệch D(θˉ)D(\bar{\theta}) có thể vượt quá độ lệch hậu nghiệm trung bình Dˉ\bar{D}, dẫn đến kết quả pD<0p_D < 0. Hiện tượng số tham số hiệu dụng nhận giá trị âm làm mất tính hợp lý logic của hình phạt độ phức tạp và vô hiệu hóa khả năng so sánh mô hình.

Thứ ba là vấn đề dự báo ngoài mẫu. Gelman và cộng sự (2013) đã phân tích rằng độ lệch hậu nghiệm và DIC về bản chất vẫn là các tiêu chuẩn dựa trên ước lượng điểm cắm vào (plug-in estimates), chưa đạt đến mức độ Bayes toàn phần trong việc tính toán phân phối dự báo hậu nghiệm (posterior predictive distribution). Để khắc phục các hạn chế này, Watanabe (2010) đã phát triển tiêu chuẩn thông tin áp dụng rộng rãi (WAIC). Tiêu chuẩn WAIC đánh giá log mật độ dự báo từng điểm trên toàn bộ phân phối hậu nghiệm thay vì sử dụng một ước lượng điểm đại diện, đảm bảo tính bất biến dưới mọi phép biến đổi tham số và duy trì nền tảng toán học vững chắc ngay cả trong các mô hình phi chuẩn.

Trong thực hành nghiên cứu hiện đại, mặc dù độ lệch hậu nghiệm vẫn giữ nguyên giá trị sư phạm và là công cụ chẩn đoán nhanh độ khớp mô hình, các nhà khoa học khuyến nghị kết hợp đánh giá độ lệch hậu nghiệm song song với WAIC và kiểm định chéo LOO-CV để đảm bảo tính chuẩn xác và độ tin cậy cao nhất khi đưa ra kết luận lựa chọn mô hình thống kê.

Câu hỏi thường gặp

Độ lệch hậu nghiệm khác gì so với độ lệch trong thống kê cổ điển?

Trong thống kê cổ điển, độ lệch được tính toán tại một ước lượng điểm duy nhất của tham số như ước lượng hợp lý cực đại. Ngược lại, độ lệch hậu nghiệm trong thống kê Bayes được xem xét trên toàn bộ phân phối xác suất hậu nghiệm, cho phép tính toán kỳ vọng độ lệch trung bình và đánh giá toàn diện sự không chắc chắn của mô hình.

Vì sao không nên chỉ dùng độ lệch hậu nghiệm trung bình để chọn mô hình?

Nếu chỉ dựa vào giá trị độ lệch hậu nghiệm trung bình, nhà nghiên cứu sẽ luôn ưu tiên các mô hình phức tạp có nhiều tham số vì chúng khớp dữ liệu huấn luyện tốt hơn. Điều này dễ dẫn đến hiện tượng quá khớp (overfitting), làm giảm khả năng dự báo trên dữ liệu mới. Do đó, cần kết hợp hình phạt số tham số hiệu dụng như trong tiêu chuẩn DIC.

Khi nào tiêu chuẩn DIC dựa trên độ lệch hậu nghiệm gặp thất bại?

Tiêu chuẩn DIC có thể cho kết quả sai lệch khi phân phối hậu nghiệm có dạng phi chuẩn, đa đỉnh hoặc trong các mô hình hỗn hợp (mixture models). Trong những trường hợp này, số tham số hiệu dụng p_D có thể nhận giá trị âm, hoặc việc thay đổi dạng toán học của tham số làm thay đổi kết quả lựa chọn mô hình. Khi đó, các tiêu chuẩn như WAIC hoặc LOO-CV được khuyến nghị sử dụng thay thế.

Tài liệu tham khảo

  1. Spiegelhalter, D. J., Best, N. G., Carlin, B. P., & van der Linde, A. (2002). Bayesian Measures of Model Complexity and Fit. Journal of the Royal Statistical Society Series B: Statistical Methodology, 64(4), 583-639. DOI: 10.1111/1467-9868.00353
  2. Gelman, A., Hwang, J., & Vehtari, A. (2013). Understanding predictive information criteria for Bayesian models. Statistics and Computing, 24(6), 997-1016. DOI: 10.1007/s11222-013-9416-2
  3. Plummer, M. (2008). Penalized loss functions for Bayesian model comparison. Biostatistics, 9(3), 523-539. DOI: 10.1093/biostatistics/kxm049