Mô hình markov ẩn là gì? Các nghiên cứu về Mô hình markov ẩn

Mô hình Markov ẩn (Hidden Markov Model, viết tắt là HMM) là một mô hình thống kê sinh dữ liệu (generative probabilistic model), trong đó hệ thống được giả định là một quá trình Markov với các trạng thái nội tại không thể quan sát trực tiếp (trạng thái ẩn), nhưng có thể suy luận thống kê thông qua một chuỗi các tín hiệu hoặc quan sát đo đạc được ở đầu ra.

Cấu trúc toán học và các thành phần của HMM

Một mô hình Markov ẩn rời rạc tiêu chuẩn được xác định một cách hình thức bởi bộ năm tham số cấu trúc, bao gồm không gian trạng thái, không gian quan sát và các phân phối xác suất tương ứng:

• Tập hợp các trạng thái ẩn $S = \{s_1, s_2, \dots, s_N\}$: Đại diện cho các trạng thái nội tại của hệ thống. Trạng thái tại thời điểm $t$ (ký hiệu là $s_i$) không quan sát được trực tiếp nhưng tuân theo tính chất Markov.
• Tập hợp các quan sát $V = \{v_1, v_2, \dots, v_M\}$: Đại diện cho các ký hiệu hoặc giá trị quan sát khả dĩ mà hệ thống có thể phát ra.
• Ma trận xác suất chuyển trạng thái $A = [a_{ij}]$: Xác định xác suất chuyển từ trạng thái ẩn $A$:

  $a_{ij} = P(s_{t+1} = j \mid s_t = i)$

• Ma trận xác suất phát xạ (emission probability) $B = [b_j(k)]$: Xác định xác suất phát sinh quan sát từ trạng thái $B$:

  $b_j(k) = P(o_t = v_k \mid s_t = j)$

• Phân phối xác suất khởi đầu $\pi = [\pi_i]$: Xác định xác suất hệ thống bắt đầu với phân phối $\pi$:

  $\pi_i = P(s_1 = i)$

Một mô hình Markov ẩn hoàn chỉnh thường được viết gọn dưới dạng bộ ba tham số: $\lambda = (A, B, \pi)$ và mô hình $\lambda$.

Ba bài toán kinh điển trong Mô hình Markov ẩn

Lý thuyết HMM tập trung giải quyết ba bài toán cơ bản nhằm khai thác mô hình trong thực tế tính toán:

1. Bài toán đánh giá (Evaluation Problem)

Mục tiêu là tính toán xác suất $P(O \mid \lambda)$ của một chuỗi quan sát cụ thể $O$ gồm các phần tử $o_1, o_2, ..., o_t$ khi biết trước cấu trúc mô hình $\lambda$. Thuật toán Forward được sử dụng để tính giá trị xác suất $P(O \mid \lambda)$ một cách hiệu quả.

2. Bài toán giải mã (Decoding Problem)

Mục tiêu là xác định chuỗi trạng thái ẩn tối ưu nhất đã sinh ra chuỗi quan sát cho trước. Thuật toán Viterbi là giải pháp quy hoạch động chuẩn xác cho bài toán giải mã này.

3. Bài toán học tham số (Learning / Training Problem)

Mục tiêu là tối ưu hóa và ước lượng các ma trận tham số $A$, $B$ và vector khởi đầu $\pi$ sao cho xác suất sinh dữ liệu đạt cực đại. Thuật toán Baum-Welch (thuật toán EM) được áp dụng để cập nhật lặp các tham số $A$, $B$, $\pi$ nhằm tối đa hóa $P(O \mid \lambda)$.

Thuật toán Forward

Thuật toán Forward sử dụng biến tiến $\alpha_t(i)$ biểu thị xác suất đồng thời quan sát được chuỗi tín hiệu cục bộ và hệ thống ở trạng thái $s_i$ tại thời điểm $t$:

$\alpha_t(i) = P(o_1, o_2, \dots, o_t, s_t = i \mid \lambda)$

Thuật toán tính toán biến $\alpha$ theo quy trình khởi tạo, đệ quy bước tiến và cộng dồn để thu được xác suất tổng thể $P(O \mid \lambda)$.

Thuật toán Viterbi

Thuật toán Viterbi tìm đường đi trạng thái có xác suất cực đại thông qua biến tích lũy $\delta_t(i)$, định nghĩa là xác suất cao nhất của một đường đi trạng thái kết thúc tại thời điểm $t$:

$\delta_t(i) = \max_{s_1, s_2, \dots, s_{t-1}} P(s_1, s_2, \dots, s_{t-1}, s_t = i, o_1, o_2, \dots, o_t \mid \lambda)$

Trong quá trình tính toán đệ quy, thuật toán lưu trữ các con trỏ ngược để truy vết chuỗi trạng thái ẩn tối ưu.

Thuật toán Baum-Welch

Thuật toán Baum-Welch tối ưu hóa tham số mô hình thông qua hai bước lặp tuần tự:

• Bước kỳ vọng (E-step): Sử dụng kết hợp biến Forward và biến Backward để tính toán kỳ vọng số lần chuyển giữa các trạng thái và số lần phát xạ quan sát.
• Bước tối đa hóa (M-step): Cập nhật lại các ma trận xác suất chuyển trạng thái $A$, ma trận phát xạ $B$ và vector phân phối ban đầu $\pi$ để tối đa hóa hàm hợp lý.

Ứng dụng thực tiễn trong khoa học và công nghệ

Mô hình Markov ẩn có tầm ảnh hưởng sâu rộng trong nhiều nhánh khoa học đương đại:

• Sinh học tính toán và tin sinh học: HMM dạng profile (Profile HMMs) trong bộ công cụ HMMER được sử dụng làm chuẩn mực quốc tế để căn chỉnh đa trình tự protein, phát hiện các miền bảo tồn trong cơ sở dữ liệu Pfam và dự đoán vị trí các gen mã hóa trên hệ gen sinh vật.
• Nhận dạng tiếng nói và âm thanh: HMM từng là kiến trúc cốt lõi trong các hệ thống nhận dạng tiếng nói tự động, mô hình hóa mối quan hệ giữa chuỗi đặc trưng âm học và các âm vị ngôn ngữ.
• Xử lý ngôn ngữ tự nhiên: Ứng dụng trong các tác vụ gán nhãn từ loại (Part-of-Speech tagging), nhận dạng thực thể có tên (Named Entity Recognition) và phân đoạn từ.
• Tài chính định lượng: Mô hình hóa sự chuyển dịch giữa các trạng thái thị trường tiềm ẩn (thị trường biến động mạnh, thị trường tăng trưởng, thị trường suy thoái) dựa trên chuỗi tỷ suất sinh lời của tài sản.

So sánh HMM và Trường ngẫu nhiên có điều kiện (CRF)

Đặc tính so sánh	Mô hình Markov ẩn (HMM)	Trường ngẫu nhiên có điều kiện (CRF)
Bản chất mô hình	Mô hình sinh (Generative model), tối ưu hóa xác suất đồng thời P(X, Y)	Mô hình phân biệt (Discriminative model), tối ưu hóa trực tiếp xác suất có điều kiện P(Y|X)
Không gian đặc trưng	Bị giới hạn bởi giả định độc lập có điều kiện của các quan sát	Cho phép tích hợp không giới hạn các đặc trưng ngữ cảnh phức tạp và phi cục bộ
Hiện tượng suy giảm nhãn (Label Bias)	Dễ bị ảnh hưởng do chuẩn hóa xác suất cục bộ tại từng trạng thái	Khắc phục triệt để nhờ cơ chế chuẩn hóa toàn cục trên toàn bộ chuỗi trạng thái
Chi phí tính toán huấn luyện	Tương đối thấp, thuật toán Baum-Welch hội tụ nhanh	Cao hơn đáng kể do yêu cầu tính toán hàm phân định toàn cục ở mỗi bước lặp