Journal of the Royal Statistical Society. Series B: Statistical Methodology

Khi dữ liệu gồm nhiều phản hồi phân loại cùng với các yếu tố dự đoán phân loại hoặc liên tục được quan sát, biến đổi logistic đa biến do McCullagh và Nelder đề xuất có thể được sử dụng để xác định một lớp mô hình hồi quy mà trong nhiều ứng dụng, đặc biệt phù hợp để liên kết phân phối chung của các phản hồi với các yếu tố dự đoán. Trong bài báo này, chúng tôi đưa ra một định nghĩa tổng quát về lớp mô hình này và nghiên cứu các tính chất của chúng. Một sơ đồ tính toán cho việc thực hiện ước lượng tối đa hợp lý cho các tập dữ liệu có kích thước vừa phải được mô tả và một hệ thống công thức mô hình mà tóm tắt định nghĩa các mô hình cụ thể được giới thiệu. Các ứng dụng của những mô hình này cho các vấn đề theo chiều dài thời gian được minh họa bằng các ví dụ số học.

Một khuôn khổ tổng quát được đề xuất để mô hình hóa các kết quả hỗn hợp tập trung. Một hỗn hợp của các mô hình tuyến tính tổng quát được sử dụng để mô tả phân phối chung của một tập hợp các biến tiềm ẩn, và một hàm tùy ý liên kết các biến tiềm ẩn với các kết quả được quan sát. Mô hình này có thể tiếp nhận cấu trúc dữ liệu đa cấp, các hiệu ứng biến ghép tổng quát và các hàm liên kết cũng như phân phối lỗi khác nhau cho mỗi biến tiềm ẩn. Trong khuôn khổ đề xuất, các mô hình mới được phát triển cho các kết quả nhị phân tập trung, phân loại không theo thứ tự và các kết quả rời rạc và liên tục chung. Một thuật toán lấy mẫu chuỗi Markov Monte Carlo được mô tả để ước lượng các phân phối hậu nghiệm của các tham số và các biến tiềm ẩn. Nhờ tính linh hoạt của khuôn khổ mô hình và quy trình ước lượng, việc mở rộng cho các kết quả phân loại có thứ tự và các cấu trúc dữ liệu phức tạp hơn là khá đơn giản. Các phương pháp được minh họa bằng cách sử dụng dữ liệu từ một nghiên cứu độc tính sinh sản.

Do bản chất của các vấn đề và thiết kế bảng hỏi, dữ liệu đa trị rời rạc rất phổ biến trong nghiên cứu hành vi, y tế và xã hội. Analysing the relationships between the manifest and the latent variables based on mixed polytomous and continuous data has proven to be difficult. Một mô hình phương trình cấu trúc tổng quát được nghiên cứu cho các kết quả pha trộn này. Các ước lượng khả năng tối đa (ML) của các ngưỡng chưa biết và các tham số cấu trúc trong cấu trúc hiệp phương sai được thu thập. Một thuật toán Monte Carlo–EM được thực hiện để tạo ra các ước lượng ML. Nó được chỉ ra rằng có thể đạt được các giải pháp dạng đóng cho bước M, và các ước lượng của các biến tiềm ẩn được sản xuất như là sản phẩm phụ của phân tích. Phương pháp này được minh họa bằng một ví dụ thực tế.

Trong bài báo này, nhiều vấn đề về hội tụ liên quan đến việc triển khai bộ lấy mẫu Gibbs được điều tra. Các tỷ lệ hội tụ có thể tính toán chính xác cho các phân phối mục tiêu Gaussian được thu được. Các chiến lược cập nhật ngẫu nhiên và không ngẫu nhiên khác nhau cùng với các kết hợp phân khối được so sánh dựa trên các tỷ lệ. Ảnh hưởng của chiều kích và cấu trúc tương quan đến các tỷ lệ hội tụ được nghiên cứu. Một số ví dụ được xem xét để minh họa cho các kết quả. Đối với một vấn đề phân tích hình ảnh Gaussian, một số chiến lược cập nhật được mô tả và so sánh. Đối với các vấn đề trong các mô hình hồi quy Bayesian, một số cách tham số hóa khả thi được phân tích dưới góc độ các tỷ lệ hội tụ, định hình sự lựa chọn tối ưu.

Chúng tôi đề xuất một mô hình biến ẩn cho các kết quả rời rạc và liên tục kết hợp. Mô hình này có thể xử lý bất kỳ sự kết hợp nào của các kết quả từ một gia đình hàm số mũ và cho phép ảnh hưởng của các biến phụ thuộc tuỳ ý, cũng như việc mô hình hóa trực tiếp các biến phụ thuộc trên biến ẩn. Một thuật toán EM được đề xuất để ước lượng tham số và ước lượng của các biến ẩn được tạo ra như một sản phẩm phụ của phân tích. Một bài kiểm tra tỷ lệ khả năng tổng quát có thể được sử dụng để kiểm tra sự quan trọng của các biến phụ thuộc ảnh hưởng đến các kết quả ẩn. Phương pháp này được áp dụng cho dữ liệu khuyết tật bẩm sinh, nơi các kết quả được quan tâm là các số đo liên tục về kích thước và các chỉ số nhị phân của các bất thường thể chất nhỏ. Các trẻ sơ sinh bị phơi nhiễm trong tử cung với các loại thuốc chống co giật được so sánh với nhóm đối chứng.

Các phương pháp xác suất thường khó sử dụng với các tập dữ liệu không gian lớn, có vị trí không đều, do gánh nặng tính toán. Ngay cả với các mô hình Gauss, việc tính toán chính xác xác suất cho n quan sát yêu cầu O(n3) phép toán. Vì bất kỳ mật độ chung nào cũng có thể được viết dưới dạng tích của các mật độ điều kiện dựa trên một số thứ tự của các quan sát, một cách để giảm thiểu tính toán là chỉ điều kiện dựa trên một số lượng quan sát 'quá khứ' khi tính toán các mật độ điều kiện. Chúng tôi cho thấy cách mà phương pháp này có thể được điều chỉnh để xấp xỉ xác suất hạn chế và chúng tôi chứng minh cách một phương pháp phương trình ước lượng cho phép chúng tôi đánh giá hiệu quả của việc xấp xỉ đó. Các công trình trước đây đã gợi ý rằng nên điều kiện lên những quan sát quá khứ gần nhất với quan sát mà chúng ta đang xấp xỉ mật độ điều kiện. Thông qua các ví dụ lý thuyết, số và thực tiễn, chúng tôi cho thấy rằng thường có thể có lợi đáng kể trong việc điều kiện dựa trên một số quan sát ở xa hơn.

Với động lực từ mô hình tự logistic cho việc phân tích dữ liệu nhị phân không gian trên lưới hai chiều, chúng tôi phát triển các phương pháp tính toán hiệu quả để tính toán hằng số chuẩn cho các mô hình dữ liệu rời rạc định nghĩa trên trụ và lưới. Bởi vì hằng số chuẩn thường không xác định được một cách phân tích, các nhà thống kê đã phát triển nhiều phương pháp ad hoc để vượt qua khó khăn này. Mục tiêu của chúng tôi là cung cấp các phương pháp tính toán và thống kê hiệu quả để tính toán hằng số chuẩn, để từ đó các phương pháp thống kê dựa trên khả năng cũng có thể được sử dụng cho suy diễn. Chúng tôi mở rộng phương pháp gọi là phương pháp chuyển tiếp để tìm kiếm một phương pháp tính toán khả thi nhằm thu được hằng số chuẩn cho điều kiện biên trụ. Để mở rộng kết quả đến điều kiện biên tự do trên lưới, chúng tôi sử dụng một mô hình chuỗi Markov Monte Carlo mẫu đường đi hiệu quả. Các phương pháp này thường có thể được áp dụng cho các mô hình liên kết khác ngoài không gian, chẳng hạn như dữ liệu nhị phân cụm, và cho các biến nhận ba giá trị trở lên được mô tả bởi, ví dụ, các mô hình Potts.

Bài báo này trình bày phân tích Bayes của một mô hình hồi quy bán tham số bao gồm các thành phần tham số và không tham số. Thành phần không tham số được đại diện bằng chuỗi Fourier, trong đó các hệ số Fourier được giả định trước có trung bình bằng không và giảm về 0 với xác suất theo tỷ lệ đại số hoặc hình học. Tốc độ giảm kiểm soát độ mượt mà của hàm phản ứng. Phân tích hậu nghiệm tự động chọn lượng làm mịn mà phù hợp với mô hình và dữ liệu. Các xác suất hậu nghiệm của các mô hình tham số và bán tham số cung cấp một phương pháp để kiểm tra mô hình tham số với một thay thế không cụ thể. Sai số bình quân tích phân của ước lượng Bayes so sánh thuận lợi với ước lượng tối ưu lý thuyết cho hồi quy hạt nhân.

Chúng tôi giới thiệu một thuật toán theo dõi đường đi cho các mô hình tuyến tính tổng quát được điều chỉnh L1. Quy trình điều chỉnh L1 rất hữu ích, đặc biệt vì nó, trên thực tế, lựa chọn các biến theo mức độ hình phạt trên chuẩn L1 của các hệ số, theo cách ít tham lam hơn so với lựa chọn theo hướng tiến - xóa theo hướng lùi. Thuật toán đường đi mô hình tuyến tính tổng quát tính toán hiệu quả các giải pháp dọc theo toàn bộ đường điều chỉnh bằng cách sử dụng phương pháp dự đoán - điều chỉnh trong tối ưu hóa lồi. Việc chọn chiều dài bước của tham số điều chỉnh là rất quan trọng trong việc kiểm soát độ chính xác tổng thể của các đường đi; chúng tôi đề xuất các chiến lược trực quan và linh hoạt để lựa chọn các giá trị thích hợp. Chúng tôi minh họa việc thực hiện với một số bộ dữ liệu giả lập và thực tế.

Markov chain Monte Carlo (MCMC) sampling is a numerically intensive simulation technique which has greatly improved the practicality of Bayesian inference and prediction. However, MCMC sampling is too slow to be of practical use in problems involving a large number of posterior (target) distributions, as in dynamic modelling and predictive model selection. Alternative simulation techniques for tracking moving target distributions, known as particle filters, which combine importance sampling, importance resampling and MCMC sampling, tend to suffer from a progressive degeneration as the target sequence evolves. We propose a new technique, based on these same simulation methodologies, which does not suffer from this progressive degeneration.