Học tăng cường sâu là gì? Khái niệm, cơ chế và ứng dụng

Học tăng cường sâu (Deep reinforcement learning - DRL) là một phân ngành mũi nhọn của trí tuệ nhân tạo kết hợp các nguyên lý ra quyết định tuần tự của học tăng cường (reinforcement learning) với năng lực biểu diễn và trích xuất đặc trưng phi tuyến mạnh mẽ của mạng nơ-ron sâu (deep neural networks), cho phép các tác tử thông minh tự học chính sách hành động tối ưu trong không gian quan sát nhiều chiều và phức tạp.

Cơ sở toán học: Tiến trình Quyết định Markov (MDP)

Nền tảng toán học của mọi bài toán học tăng cường là Tiến trình Quyết định Markov (Markov Decision Process - MDP), được định nghĩa bởi bộ 5 tham số toán học $(S, A, P, R, \gamma)$:

• $S$: Không gian trạng thái (State space), biểu diễn toàn bộ các trạng thái môi trường mà tác tử có thể quan sát.
• $A$: Không gian hành động (Action space), tập hợp mọi hành động tác tử có thể thực hiện.
• $P(s' | s, a)$: Xác suất chuyển trạng thái, xác suất môi trường chuyển từ trạng thái $s$ sang trạng thái mới $s'$ khi thực thi hành động $a$.
• $R(s, a, s')$: Hàm phần thưởng skalar tức thời nhận được sau bước chuyển đổi.
• $\gamma \in [0, 1)$: Hệ số chiết khấu tương lai (discount factor), phản ánh mức độ ưu tiên giữa phần thưởng nhận ngay trước mắt so với phần thưởng tích lũy lâu dài trong tương lai.

Mục tiêu tối thượng của tác tử là tìm ra một chính sách hành động $\pi(a|s)$ (phân phối xác suất chọn hành động $a$ khi ở trạng thái $s$) nhằm tối đa hóa kỳ vọng tổng phần thưởng chiết khấu tích lũy qua thời gian:

$G_t = \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$

Phương trình Bellman và các hàm giá trị tối ưu

Lý thuyết học tăng cường vận hành xoay quanh hai hàm giá trị cốt lõi thỏa mãn phương trình đệ quy Bellman:

1. Hàm giá trị trạng thái $V^\pi(s)$: Đo lường kỳ vọng lợi ích tích lũy khi bắt đầu từ trạng thái $s$ và tuân theo chính sách $\pi$:

$V^\pi(s) = \mathbb{E}_\pi \left[ R_{t+1} + \gamma V^\pi(S_{t+1}) \mid S_t = s \right]$

2. Hàm giá trị hành động $Q^\pi(s, a)$: Đo lường kỳ vọng lợi ích khi thực hiện hành động $a$ tại trạng thái $s$, sau đó tuân thủ chính sách $\pi$:

$Q^\pi(s, a) = \mathbb{E}_\pi \left[ R_{t+1} + \gamma \sum_{a'} \pi(a'|S_{t+1}) Q^\pi(S_{t+1}, a') \mid S_t = s, A_t = a \right]$

Chính sách tối ưu $\pi^*$ thỏa mãn phương trình tối ưu Bellman cho hàm Q-value: $Q^*(s, a) = R(s, a) + \gamma \max_{a'} Q^*(s', a')$.

Các họ thuật toán học tăng cường sâu chủ đạo

Sự kết hợp giữa học sâu và học tăng cường sinh ra ba dòng kiến trúc thuật toán chính:

1. Thuật toán dựa trên giá trị (Value-Based Methods - DQN):
Mạng Deep Q-Network (DQN do DeepMind giới thiệu năm 2015) sử dụng mạng nơ-ron tích chập (CNN) tham số hóa bởi trọng số $\theta$ để xấp xỉ hàm giá trị $Q(s, a; \theta) \approx Q^*(s, a)$. Để khắc phục hiện tượng mất ổn định và phân kỳ khi huấn luyện phi tuyến, DQN đưa vào hai đột phá kỹ thuật cốt lõi:

• Bộ nhớ đệm trải nghiệm (Experience Replay Buffer): Lưu trữ các bộ chuyển trạng thái $(s_t, a_t, r_t, s_{t+1})$ vào bộ nhớ và lấy mẫu ngẫu nhiên từng mẻ (mini-batch) để huấn luyện, phá vỡ mối tương quan chuỗi thời gian giữa các mẫu liên tiếp.
• Mạng mục tiêu độc lập (Target Network): Sử dụng một mạng nơ-ron riêng biệt với trọng số $\theta^-$ được cập nhật chậm định kỳ để tính toán giá trị mục tiêu Bellman, loại bỏ hiện tượng 'đuổi theo mục tiêu di động' gây bất ổn định gradient.

Các biến thể nâng cao tiếp theo gồm Double DQN (giảm đánh giá quá cao Q-value), Dueling DQN (tách biệt giá trị trạng thái và hàm ưu thế Advantage) và Rainbow DQN (tổng hợp 6 cải tiến kỹ thuật đồng thời).

2. Thuật toán Gradient Chính sách (Policy Gradient Methods):
Thay vì ước lượng giá trị Q, các phương pháp này tham số hóa trực tiếp chính sách $\pi_\theta(a|s)$ và tối ưu hóa hàm mục tiêu lợi nhuận $J(\theta)$ bằng phương pháp tăng độ dốc (Gradient Ascent). Định lý Gradient Chính sách (Policy Gradient Theorem) khẳng định gradient được tính theo biểu thức:

$\nabla_\theta J(\theta) = \mathbb{E}_{\pi_\theta} \left[ \nabla_\theta \log \pi_\theta(a|s) Q^{\pi_\theta}(s, a) \right]$

3. Thuật toán Diễn viên - Phê bình (Actor-Critic Framework - A2C, PPO, SAC):
Kết hợp hài hòa ưu thế của cả hai trường phái: mạng Actor học chính sách hành động $\pi(a|s)$, trong khi mạng Critic học hàm đánh giá $V(s)$ hoặc $Q(s, a)$ để cung cấp phản hồi ít phương sai cho Actor. Các thuật toán nổi bật nhất hiện nay bao gồm:

• PPO (Proximal Policy Optimization): Sử dụng cơ chế cắt xén hàm mục tiêu tỷ lệ (clipped surrogate objective) để hạn chế mỗi bước cập nhật chính sách không lệch quá xa khỏi chính sách cũ, mang lại độ ổn định cao vượt trội và trở thành thuật toán tiêu chuẩn trong tinh chỉnh mô hình ngôn ngữ lớn (RLHF).
• SAC (Soft Actor-Critic): Tích hợp tối đa hóa entropy vào hàm mục tiêu ($R + \alpha \mathcal{H}(\pi)$), khuyến khích tác tử chủ động thăm dò không gian hành động liên tục, chống mắc kẹt vào các cực trị địa phương.

Học tăng cường dựa trên mô hình (Model-Based DRL)

Khác với các phương pháp không mô hình (model-free) đòi hỏi hàng triệu tương tác thực nghiệm với môi trường, các thuật toán học tăng cường dựa trên mô hình (Model-Based DRL) hướng tới xây dựng một mô hình nội tại (world model) về động học của môi trường:

• Thuật toán MuZero và AlphaZero: Tích hợp mạng nơ-ron sâu với thuật toán tìm kiếm cây Monte Carlo (MCTS). MuZero có khả năng tự học mô hình động học ẩn của môi trường mà không cần biết trước luật chơi, đạt thành tích siêu đẳng trên cờ vua, cờ vây và toàn bộ 57 trò chơi Atari.
• Mô hình thế giới mơ tưởng (Dreamer / World Models): Tác tử huấn luyện một mô hình chuyển trạng thái ẩn trong không gian tiềm ẩn (latent dynamics model), sau đó tự diễn tập và tối ưu hóa chính sách hành động hoàn toàn trong 'giấc mơ' tưởng tượng mà không cần chạm vào môi trường thực, giúp tăng hiệu quả sử dụng mẫu (sample efficiency) lên gấp hàng trăm lần.

Cân bằng Thăm dò và Khai thác (Exploration vs Exploitation)

Một trong những thách thức cốt lõi nhất của DRL là sự đánh đổi giữa việc khai thác (sử dụng những hành động đã biết mang lại điểm số cao) và thăm dò (thử nghiệm các hành động mới mẻ chưa từng khám phá để tìm giải pháp tối ưu hơn):

• Chiến lược $\epsilon$-greedy: Chọn hành động ngẫu nhiên với xác suất $\epsilon$ (giảm dần theo thời gian) và hành động tốt nhất với xác suất $1-\epsilon$.
• Thăm dò dựa trên sự tò mò nội tại (Curiosity-driven exploration): Thưởng thêm cho tác tử khi nó khám phá ra các trạng thái có độ bất định cao mà mạng nơ-ron chưa dự đoán chính xác được động học chuyển trạng thái.
• Thăm dò theo phân phối tham số (Noisy Nets): Thêm nhiễu ngẫu nhiên có thể học được trực tiếp vào các trọng số của mạng nơ-ron thay vì thêm nhiễu vào không gian hành động.

Ứng dụng thực tiễn đột phá

Học tăng cường sâu đã tạo nên những cột mốc lịch sử mang tính bước ngoặt trong khoa học công nghệ:

• Chinh phục các trò chơi đối kháng phức tạp: AlphaGo và AlphaZero đánh bại các kỳ thủ cờ vây hàng đầu thế giới; OpenAI Five và AlphaStar làm chủ các trò chơi chiến thuật thời gian thực phức tạp (Dota 2, StarCraft II).
• Điều khiển robot và phương tiện tự hành: Huấn luyện các cánh tay robot công nghiệp khéo léo lắp ráp linh kiện, điều khiển robot 4 chân di chuyển qua địa hình phức tạp, và lập kế hoạch quỹ đạo cho xe tự lái.
• Tinh chỉnh Mô hình Ngôn ngữ Lớn (LLMs): Kỹ thuật RLHF (Reinforcement Learning from Human Feedback) sử dụng PPO để căn chỉnh hành vi của các mô hình ngôn ngữ lớn theo phản hồi đánh giá của con người, đảm bảo tính hữu ích, an toàn và trung thực.
• Khoa học vật liệu và sinh học tính toán: AlphaFold ứng dụng nguyên lý tối ưu hóa trong việc giải mã cấu trúc không gian 3D của hàng trăm triệu protein, mở đường cho cuộc cách mạng thiết kế thuốc chữa bệnh mới.