Mô hình RF-LSTM có trọng số giải quyết vấn đề gì của mạng LSTM truyền thống?

Mạng LSTM truyền thống thường giả định mọi biến đầu vào có vai trò ngang nhau, dễ bị phân tán chú ý bởi các biến nhiễu; mô hình RF-LSTM có trọng số sử dụng Rừng ngẫu nhiên để lọc biến và mạng trọng số để khuếch đại các đặc trưng then chốt.

Thuật toán Rừng ngẫu nhiên đóng vai trò gì trong kiến trúc lai?

Rừng ngẫu nhiên đóng vai trò là bộ lọc đặc trưng phi tuyến, đánh giá mức độ đóng góp của từng biến thông qua chỉ số Gini hoặc sai số ngoài bao để loại bỏ các đặc trưng dư thừa trước khi chuyển dữ liệu sang LSTM.

Trọng số của các đặc trưng được tính toán và áp dụng như thế nào?

Các đặc trưng đã chọn lọc được đưa qua một mạng nơ-ron liên kết đầy đủ kết hợp hàm softmax để sinh ra véc-tơ trọng số chuẩn hóa, sau đó nhân từng phần tử với dữ liệu đầu vào trước khi cấp cho tầng nhớ LSTM.

Mô hình RF-LSTM có trọng số thường được ứng dụng trong các lĩnh vực nào?

Mô hình được ứng dụng phổ biến trong dự báo nồng độ ô nhiễm không khí PM2.5, dự báo lưu lượng thủy văn, dự báo phụ tải năng lượng và các bài toán chuỗi thời gian đa biến phức tạp.

Mô hình RF-LSTM có trọng số (weighted RF-LSTM) là gì?

Mô hình RF-LSTM có trọng số (weighted RF-LSTM model) là một kiến trúc học máy lai kết hợp giữa thuật toán Rừng ngẫu nhiên (Random Forest) và mạng nơ-ron hồi quy bộ nhớ ngắn dài (Long Short-Term Memory) thông qua cơ chế phân bổ trọng số thích nghi để dự báo chuỗi thời gian đa biến phức tạp. Kiến trúc này giải quyết điểm nghẽn cố hữu của các mạng nơ-ron hồi quy truyền thống khi xử lý dữ liệu chuỗi thời gian chứa nhiều yếu tố tác động ngoại cảnh: giả định ngầm định rằng mọi biến đầu vào đều có vai trò tương đương nhau, từ đó dễ dẫn đến hiện tượng quá khớp (overfitting) hoặc phân tán sự chú ý vào các biến gây nhiễu. Bằng cách sử dụng Rừng ngẫu nhiên để sàng lọc các đặc trưng then chốt và tích hợp một cơ chế mạng nơ-ron xác định trọng số phân biệt cho từng biến đầu vào trước khi đưa vào các tầng tế bào nhớ LSTM, mô hình nâng cao rõ rệt độ chính xác dự báo và năng lực tổng quát hóa trên dữ liệu thực tế.

Cơ sở lý thuyết và động lực phát triển kiến trúc lai

Dự báo chuỗi thời gian trong các hệ thống tự nhiên và kỹ thuật thường đối mặt với hai thách thức lớn diễn ra đồng thời: tính phụ thuộc phi tuyến tĩnh giữa các biến đặc trưng đầu vào và tính phụ thuộc thời gian động theo chiều dài lịch sử quan sát. Các mô hình học máy dạng cây như Rừng ngẫu nhiên rất mạnh mẽ trong việc phân tích dữ liệu bảng, xử lý mối quan hệ phi tuyến phức tạp và đánh giá mức độ quan trọng của biến, nhưng lại không có cơ chế nhớ nội tại để mô hình hóa sự trôi dạt và phụ thuộc theo thứ tự thời gian. Ngược lại, các mạng nơ-ron hồi quy sâu như LSTM có khả năng học các mẫu thời gian dài hạn vượt trội nhưng dễ bị ảnh hưởng tiêu cực nếu không gian đặc trưng đầu vào chứa quá nhiều biến phụ có tính tương quan yếu hoặc nhiễu đo lường ngẫu nhiên.

Theo khảo sát tổng quan của Lim và Zohren (2021), việc phát triển các mô hình lai kết hợp giữa các phương pháp học máy truyền thống và mạng nơ-ron sâu là một hướng tiếp cận quan trọng nhằm khai thác thế mạnh bổ trợ giữa các trường phái trong dự báo chuỗi thời gian đa chân trời. Hướng tiếp cận này cho phép hệ thống tận dụng năng lực phân tích đặc trưng của học máy và khả năng nắm bắt động học phụ thuộc thời gian của học sâu. Dựa trên định hướng đó, nghiên cứu của Ding và Sun (2023) đã đề xuất mô hình lai weighted RF-LSTM, trong đó thuật toán Rừng ngẫu nhiên đóng vai trò bộ lọc đặc trưng phi tuyến và mạng nơ-ron truyền thẳng đóng vai trò cơ chế sinh trọng số cho từng chiều dữ liệu trước khi chuyển tiếp vào mạng LSTM.

Thành phần Rừng ngẫu nhiên và cơ chế đánh giá độ quan trọng đặc trưng

Nền tảng của thành phần lọc đặc trưng dựa trên lý thuyết Rừng ngẫu nhiên do Breiman (2001) công bố. Thuật toán hoạt động như một mô hình tập hợp (ensemble) gồm nhiều cây quyết định độc lập, được huấn luyện bằng phương pháp lấy mẫu đóng bao kết hợp kỹ thuật chọn lựa ngẫu nhiên tập con đặc trưng tại mỗi nút phân nhánh của cây:

\hat{y}_{RF} = \frac{1}{B} \sum_{b=1}^{B} T_b(x)

Trong công thức trên, đại lượng $\hat{y}_{RF}$ đại diện cho giá trị dự báo tổng hợp của toàn bộ Rừng ngẫu nhiên, $B$ là tổng số lượng cây quyết định trong rừng, và $T_b(x)$ biểu diễn hàm dự báo của cây quyết định thứ $b$ trên véc-tơ đặc trưng đầu vào $x$ .

Ưu điểm cốt lõi của Rừng ngẫu nhiên trong kiến trúc lai là khả năng định lượng độ quan trọng của từng đặc trưng (feature importance). Theo Breiman (2001), độ quan trọng có thể được đo lường thông qua độ giảm độ tinh khiết Gini tích lũy tại các điểm chia nhánh hoặc thông qua độ suy giảm độ chính xác dự báo trên tập mẫu ngoài bao khi các giá trị của một biến bị xáo trộn ngẫu nhiên. Nhờ cơ chế này, Rừng ngẫu nhiên loại bỏ các biến đầu vào dư thừa, chỉ giữ lại tập hợp các yếu tố có ảnh hưởng mạnh nhất đến biến mục tiêu, giúp giảm chiều dữ liệu hiệu quả.

Thành phần mạng nơ-ron hồi quy Long Short-Term Memory

Thành phần nắm bắt động học thời gian trong mô hình là mạng LSTM được phát minh bởi Hochreiter và Schmidhuber (1997). Mạng giải quyết triệt để vấn đề biến mất hoặc bùng nổ đạo hàm (vanishing or exploding gradient) của mạng hồi quy cổ điển thông qua cấu trúc tế bào nhớ đặc biệt được điều tiết bởi các cổng logic:

f_t = \sigma(W_f [h_{t-1}, x_t] + b_f)

i_t = \sigma(W_i [h_{t-1}, x_t] + b_i)

\tilde{C}_t = \tanh(W_c [h_{t-1}, x_t] + b_c)

C_t = f_t \odot C_{t-1} + i_t \odot \tilde{C}_t

o_t = \sigma(W_o [h_{t-1}, x_t] + b_o)

h_t = o_t \odot \tanh(C_t)

Trong các phương trình trạng thái trên, $x_t$ là véc-tơ đầu vào tại bước thời gian $t$ , $h_{t-1}$ và $h_t$ lần lượt biểu thị véc-tơ trạng thái ẩn tại bước thời gian trước và bước hiện tại, $C_t$ là trạng thái tế bào nhớ lưu trữ thông tin dài hạn, $f_t$ là véc-tơ cổng quên quyết định lượng thông tin bị xóa bỏ, $i_t$ là véc-tơ cổng vào kiểm soát thông tin mới được nạp vào, $o_t$ là véc-tơ cổng ra điều tiết giá trị xuất, các ký hiệu $W$ và $b$ đại diện cho ma trận trọng số và véc-tơ độ lệch tương ứng của từng cổng, hàm $\sigma$ là hàm kích hoạt sigmoid phi tuyến, hàm $\tanh$ là hàm tang hyperbol, và ký hiệu $\odot$ biểu thị phép nhân từng phần tử giữa hai véc-tơ cùng kích thước.

Cơ chế phân bổ trọng số thích nghi

Điểm mấu chốt tạo nên sự khác biệt của mô hình RF-LSTM có trọng số so với việc ghép nối tuần tự thông thường nằm ở khối gán trọng số (weighting module). Trong kiến trúc của Ding và Sun (2023), sau khi các đặc trưng quan trọng được Rừng ngẫu nhiên lựa chọn, dữ liệu không được đưa trực tiếp vào LSTM mà đi qua một mạng nơ-ron liên kết đầy đủ (fully connected neural network) đóng vai trò bộ sinh trọng số:

w_k = \frac{\exp(z_k)}{\sum_{j=1}^{K} \exp(z_j)}

Trong đó, $w_k$ là trọng số chuẩn hóa của đặc trưng thứ $k$ , $z_k$ là giá trị kích hoạt đầu ra tuyến tính từ mạng nơ-ron trọng số tương ứng với đặc trưng đó, và $K$ là tổng số lượng đặc trưng đã qua sàng lọc. Véc-tơ đặc trưng có trọng số sau đó được biến đổi thành:

\tilde{x}_t = w \odot x_t

Ở đây, $\tilde{x}_t$ là dữ liệu đầu vào thực tế được cấp cho tầng tế bào nhớ LSTM tại mỗi bước thời gian. Nhờ cơ chế này, mô hình tự động khuếch đại tín hiệu từ các biến có mức độ tác động chi phối và triệt tiêu ảnh hưởng của các biến thứ yếu, giúp mạng LSTM tập trung vào các mẫu chuỗi mang tính bản chất.

Quy trình hoạt động tổng thể của mô hình

Quy trình huấn luyện và dự báo của mô hình RF-LSTM có trọng số được tiến hành tuần tự qua bốn giai đoạn tiêu chuẩn:

Giai đoạn tiền xử lý và chuẩn hóa dữ liệu: Dữ liệu chuỗi thời gian đa biến từ các cảm biến hoặc nguồn ghi nhận được làm sạch, xử lý giá trị khuyết thiếu và chuẩn hóa về khoảng giá trị đồng nhất để loại bỏ sai lệch đơn vị đo lường.
Giai đoạn chọn lọc đặc trưng bằng Rừng ngẫu nhiên: Toàn bộ tập dữ liệu đa biến được đưa vào thuật toán Rừng ngẫu nhiên để huấn luyện; sau đó xếp hạng độ quan trọng của các đặc trưng và loại bỏ các biến có điểm số đóng góp thấp hơn ngưỡng quy định.
Giai đoạn phân bổ trọng số đặc trưng: Tập các biến đã chọn lọc được đưa vào mạng nơ-ron trọng số để tính toán véc-tơ trọng số động tương ứng với tầm ảnh hưởng thực tế lên biến dự báo.
Giai đoạn huấn luyện LSTM và dự báo chuỗi thời gian: Chuỗi dữ liệu đã nhân trọng số được định dạng thành các cửa sổ trượt thời gian (sliding time windows) và đưa vào mạng LSTM để tối ưu hóa hàm mất mát dự báo bằng giải thuật lan truyền ngược qua thời gian.

Bảng đối chiếu đặc tính kỹ thuật giữa các mô hình

Bảng so sánh dưới đây tổng hợp các đặc tính kỹ thuật cơ bản giữa mô hình RF đơn lẻ, mô hình LSTM độc lập và mô hình RF-LSTM có trọng số:

Tiêu chí đánh giá	Rừng ngẫu nhiên (RF) đơn lẻ	Mạng LSTM đơn lẻ	Mô hình RF-LSTM có trọng số
Khả năng nắm bắt tương quan phi tuyến giữa các biến	Rất cao	Trung bình	Rất cao
Khả năng học phụ thuộc chuỗi thời gian dài hạn	Thấp (không có trạng thái nhớ)	Rất cao	Rất cao
Khả năng chống quá khớp trước biến nhiễu	Cao	Trung bình	Rất cao (nhờ cơ chế gán trọng số)
Tính diễn giải về độ quan trọng của biến	Rõ ràng qua chỉ số Gini	Thấp (hộp đen nơ-ron)	Rõ ràng qua trọng số đặc trưng

Nghiên cứu ứng dụng thực nghiệm và bối cảnh nghiên cứu tại Việt Nam

Trong nghiên cứu ứng dụng điển hình của Ding và Sun (2023), mô hình RF-LSTM có trọng số đã được triển khai để giải quyết bài toán dự báo nồng độ bụi mịn PM2.5 trong môi trường khí quyển. Các yếu tố khí tượng như nhiệt độ, độ ẩm, tốc độ gió và nồng độ các chất khí ô nhiễm được sàng lọc qua Rừng ngẫu nhiên, gán trọng số và chuyển vào mạng LSTM để dự báo chính xác nồng độ ô nhiễm cho 6 giờ tiếp theo. Kết quả thực nghiệm của Ding và Sun (2023) chứng minh rằng mô hình lai đạt sai số tuyệt đối trung bình và sai số toàn phương trung bình thấp hơn đáng kể so với các mô hình đơn lẻ như RF thuần túy, Support Vector Regression hoặc LSTM tiêu chuẩn.

Tại Việt Nam, nghiên cứu của Lê và Trần (2024) công bố trên Tạp chí Khoa học Đại học Cần Thơ đã tiến hành khảo sát và đánh giá thực nghiệm các mô hình học máy, bao gồm Rừng ngẫu nhiên, trong việc dự báo dữ liệu chuỗi thời gian thủy văn. Nghiên cứu trên chuỗi quan trắc lưu lượng nước sông Tiền tại trạm Tân Châu cho thấy dữ liệu thủy văn thực tế mang tính phi tuyến và phụ thuộc thời gian phức tạp, phản ánh sự cần thiết của việc đánh giá thực nghiệm đa dạng kiến trúc thuật toán khi xử lý chuỗi quan trắc môi trường tại khu vực Đồng bằng sông Cửu Long.

Hạn chế kỹ thuật và ranh giới áp dụng

Mặc dù mang lại hiệu năng dự báo ấn tượng, mô hình RF-LSTM có trọng số vẫn tồn tại những ranh giới kỹ thuật cần được cân nhắc kỹ lưỡng khi triển khai:

Chi phí tính toán và độ phức tạp huấn luyện: Kiến trúc đòi hỏi phải huấn luyện hai mô hình phức tạp tách biệt bao gồm một tập hợp cây quyết định quy mô lớn và một mạng nơ-ron sâu nhiều tầng, dẫn đến thời gian huấn luyện kéo dài và tiêu tốn tài nguyên phần cứng hơn đáng kể so với các mô hình đơn lẻ.
Số lượng siêu tham số cần tinh chỉnh: Người thiết kế hệ thống phải đồng thời tối ưu hóa số lượng cây, độ sâu tối đa của Rừng ngẫu nhiên, số lượng nút ẩn, tốc độ học và kích thước cửa sổ trượt của mạng LSTM, đòi hỏi các quy trình tìm kiếm siêu tham số tốn kém thời gian.
Sự phụ thuộc vào chất lượng dữ liệu quan trắc: Nếu chuỗi dữ liệu đầu vào có quá nhiều đoạn khuyết thiếu kéo dài hoặc tần suất lấy mẫu không đồng đều, cơ chế tính toán trọng số tĩnh có thể bị lệch lạc, làm giảm hiệu quả học của tầng LSTM.

Xu hướng phát triển và triển vọng nghiên cứu

Tính đến năm 2024, các hướng nghiên cứu mở rộng mô hình RF-LSTM có trọng số đang tập trung vào ba trọng tâm công nghệ chính:

Cơ chế chú ý tự động hóa (Attention Mechanism tích hợp): Thay thế mạng trọng số truyền thẳng bằng các cơ chế tự chú ý đa đầu để trọng số của từng đặc trưng có thể biến thiên linh hoạt theo từng bước thời gian riêng biệt thay vì giữ cố định cho toàn bộ chuỗi.
Học chuyển giao và thích nghi miền trực tuyến: Cho phép mô hình cập nhật tức thời các trọng số đặc trưng khi các điều kiện môi trường nền hoặc chế độ vận hành công nghiệp thay đổi đột ngột mà không cần huấn luyện lại toàn bộ từ đầu.
Tối ưu hóa siêu tham số tự động bằng trí tuệ nhân tạo (AutoML): Ứng dụng các thuật toán tiến hóa hoặc tối ưu hóa Bayes để tự động thiết kế kiến trúc và cân bằng số lượng nút giữa Rừng ngẫu nhiên và mạng LSTM, giảm thiểu sự can thiệp thủ công của chuyên gia.