Lựa chọn hành động khác gì với lập kế hoạch trong trí tuệ nhân tạo?

Lập kế hoạch thường liên quan đến việc tìm kiếm một chuỗi dài các hành động trong tương lai để đạt mục tiêu dựa trên mô hình thế giới. Ngược lại, lựa chọn hành động tập trung vào việc quyết định ngay lập tức hành vi nào sẽ được kích hoạt tại bước thời gian hiện tại dựa trên trạng thái quan sát và phản xạ thích nghi.

Tại sao cần cân bằng giữa khám phá và khai thác khi lựa chọn hành động?

Nếu chỉ khai thác các hành động đã biết là tốt, tác nhân sẽ mắc kẹt ở giải pháp hạ tối ưu và không thể phát hiện ra các chiến lược vượt trội hơn. Tuy nhiên, nếu khám phá quá nhiều hành động ngẫu nhiên, hệ thống sẽ lãng phí tài nguyên và làm giảm hiệu quả tích lũy phần thưởng dài hạn.

Mô hình hạch đáy đóng vai trò gì trong việc giải thích lựa chọn hành động sinh học?

Hạch đáy trong não bộ động vật có xương sống hoạt động như một bộ phân xử trung tâm, giải quyết xung đột khi nhiều vùng vỏ não cùng cạnh tranh điều khiển hệ vận động. Mô hình tính toán GPR chỉ ra rằng hạch đáy chọn lọc hành vi thông qua cơ chế giải ức chế kênh vận động mục tiêu.

Lựa chọn hành động (action selection) là gì?

Lựa chọn hành động (action selection) là cơ chế tính toán hoặc sinh học mà qua đó một tác nhân tự trị quyết định hành vi hoặc hành động tối ưu cần kích hoạt tiếp theo tại mỗi thời điểm từ tập hợp nhiều phương án cạnh tranh, nhằm đạt được mục tiêu thích nghi hoặc tối đa hóa phần thưởng lâu dài. Khái niệm này giữ vai trò nền tảng trong trí tuệ nhân tạo, điều khiển robot tự hành, khoa học nhận thức và thần kinh học tính toán. Bài viết này trình bày cơ sở lý thuyết, các mô hình thuật toán chủ đạo, kiến trúc điều khiển phân tầng, cơ chế thần kinh học tương ứng, ứng dụng thực tế và những thách thức kỹ thuật đang được nghiên cứu.

Bản chất và bài toán lựa chọn hành động

Trong bất kỳ hệ thống tác tử tự trị nào, năng lực tương tác với môi trường luôn bị giới hạn bởi tài nguyên vận động và khả năng xử lý thông tin. Một tác nhân sinh học hay một robot công nghiệp không thể đồng thời thực hiện hai hành vi cơ học đối nghịch nhau trên cùng một cơ cấu chấp hành. Do đó, bài toán lựa chọn hành động phát sinh như một yêu cầu phân xử trung tâm: chuyển đổi trạng thái nhận thức đa chiều thành một quyết định hành động cụ thể.

Một chu trình hoạt động tiêu chuẩn của tác nhân bao gồm bốn giai đoạn liên hoàn: cảm nhận trạng thái môi trường, xử lý và đánh giá thông tin, lựa chọn hành động tối ưu, và truyền tín hiệu điều khiển tới cơ cấu chấp hành. Điểm mấu chốt của lựa chọn hành động nằm ở chỗ hệ thống phải cân nhắc giữa lợi ích trước mắt và hậu quả lâu dài, đặc biệt trong các môi trường có tính bất định cao hoặc chứa đựng yếu tố cạnh tranh từ các tác nhân khác.

Lịch sử phát triển và sự phân kỳ phương pháp

Nghiên cứu về lựa chọn hành động phát triển qua hai nhánh tiếp cận chính: nhánh trí tuệ nhân tạo cổ điển dựa trên biểu diễn tri thức và nhánh tác tử dựa trên hành vi sinh học. Vào giai đoạn ban đầu, các hệ thống chuyên gia cố gắng mô hình hóa lựa chọn hành động thông qua hệ thống quy tắc logic dạng điều kiện và hệ quả. Tuy nhiên, cách tiếp cận này bộc lộ sự cứng nhắc khi đối mặt với thế giới thực nhiều nhiễu.

Sự ra đời của các kiến trúc dựa trên hành vi kể từ công trình năm 1986 của Rodney Brooks đã tạo nên bước chuyển biến sâu sắc. Thay vì xây dựng một bản đồ thế giới trừu tượng duy nhất rồi mới suy luận hành động, các nhà nghiên cứu chuyển sang thiết kế các mô-đun hành vi gắn liền với cảm biến và bộ truyền động. Song song đó, sự trỗi dậy của lý thuyết học tăng cường đã cung cấp khung toán học chặt chẽ giúp lượng hóa giá trị của các hành động thông qua kinh nghiệm tích lũy.

Các chiến lược lựa chọn hành động trong học tăng cường

Trong lý thuyết học tăng cường kinh điển, bài toán lựa chọn hành động được đặt trong bối cảnh cân bằng giữa khám phá (exploration) và khai thác (exploitation). Theo chuyên khảo chuẩn của Sutton và Barto (năm 2018), tác nhân muốn tối đa hóa phần thưởng thì phải khai thác các hành động đã biết là mang lại giá trị cao, nhưng để tìm ra những hành động tốt hơn nữa trong tương lai thì bắt buộc phải khám phá các hành động chưa từng thử nghiệm.

Chiến lược tham lam và epsilon tham lam

Chiến lược tham lam thuần túy luôn chọn hành động mang giá trị kỳ vọng lớn nhất tại bước thời gian hiện tại. Nếu ký hiệu giá trị ước tính của hành động $a$ tại thời điểm $t$ là $Q_t(a)$ , thì hành động được lựa chọn $A_t$ được xác định bởi công thức:

A_t = \arg\max_a Q_t(a)

Trong đó, $A_t$ là hành động được kích hoạt và $Q_t(a)$ là hàm giá trị hành động ước tính cho phương án $a$ . Hạn chế căn bản của chiến lược tham lam thuần túy là nguy cơ mắc kẹt vĩnh viễn ở các nghiệm cục bộ hạ tối ưu.

Để khắc phục nhược điểm này, chiến lược epsilon tham lam được Sutton và Barto (năm 2018) chuẩn hóa. Tác nhân phần lớn thời gian sẽ cư xử theo cách tham lam với xác suất bằng một trừ đi tham số khám phá, nhưng với xác suất nhỏ $\epsilon$ (chẳng hạn giá trị $\epsilon = 0,1$ hoặc giá trị $\epsilon = 0,01$ ), tác nhân sẽ lựa chọn ngẫu nhiên một hành động độc lập với giá trị ước tính. Cơ chế này đảm bảo mọi hành động khả thi đều có xác suất được lấy mẫu, giúp ước tính giá trị tiến dần đến giá trị thực.

Chiến lược phân phối xác suất Softmax

Mặc dù chiến lược epsilon tham lam duy trì tính khám phá, nó lại coi tất cả các hành động phi tham lam đều bình đẳng như nhau. Chiến lược Softmax khắc phục điểm này bằng cách gán xác suất chọn hành động tỉ lệ thuận với hàm mũ của giá trị hành động thông qua phân phối Boltzmann:

P(A_t = a) = \frac{e^{\frac{Q_t(a)}{\tau}}}{\sum_{b} e^{\frac{Q_t(b)}{\tau}}}

Trong đó, $P(A_t = a)$ là xác suất lựa chọn hành động $a$ , $Q_t(a)$ và $Q_t(b)$ là giá trị ước tính tương ứng của các hành động, còn $\tau$ là tham số nhiệt độ dương. Khi nhiệt độ tiến về vô cùng, các hành động có xác suất được chọn gần như bằng nhau; khi nhiệt độ tiến dần về không, phân phối hội tụ về chiến lược tham lam chuẩn.

Lựa chọn hành động theo giới hạn trên khoảng tin cậy

Một phương pháp hiệu quả khác được phân tích kỹ lưỡng trong nghiên cứu của Sutton và Barto (năm 2018) là thuật toán Upper-Confidence-Bound. Thay vì chọn ngẫu nhiên mù quáng khi khám phá, thuật toán đánh giá tiềm năng của từng hành động dựa trên cả giá trị ước tính lẫn mức độ bất định của ước tính đó:

A_t = \arg\max_a \left[ Q_t(a) + c \sqrt{\frac{\ln t}{N_t(a)}} \right]

Trong đó, $A_t$ là hành động tối ưu được lựa chọn, $Q_t(a)$ là giá trị trung bình đã quan sát của hành động $a$ , tham số thực dương $c$ điều khiển mức độ ưu tiên khám phá, đại lượng $t$ biểu diễn tổng số bước thời gian đã trôi qua, và biến số $N_t(a)$ ghi nhận số lần hành động $a$ đã được chọn trước thời điểm hiện tại. Thành phần căn bậc hai đóng vai trò giới hạn trên của độ bất định; hành động nào ít được chọn sẽ có giá trị căn bậc hai lớn, thúc đẩy tác nhân thử nghiệm.

Kiến trúc dựa trên hành vi và điều khiển phân tầng

Trong lĩnh vực robot học di động, Rodney Brooks (năm 1986) đã đề xuất kiến trúc Subsumption (kiến trúc bao hàm), đánh dấu bước ngoặt loại bỏ bộ xử lý biểu diễn trung tâm cồng kềnh. Thay vì tập trung hóa, hệ thống điều khiển được cấu thành từ nhiều tầng năng lực hành vi độc lập, chạy bất đồng bộ và kết nối trực tiếp với cảm biến cơ học.

Mỗi tầng hành vi trong kiến trúc của Brooks (năm 1986) đảm nhiệm một nhiệm vụ cụ thể, từ các phản xạ sinh tồn cấp thấp như tránh va chạm cơ học đến các mục tiêu cấp cao hơn như di chuyển thám hiểm hoặc lập bản đồ không gian. Cơ chế lựa chọn hành động trong kiến trúc này được hiện thực hóa thông qua hai phương thức tương tác tín hiệu cục bộ:

Thay thế tín hiệu đầu vào (Suppression): Tín hiệu từ tầng hành vi cấp cao hơn can thiệp trực tiếp vào đường truyền đầu vào của một mô-đun cấp thấp hơn, tạm thời thế chỗ dữ liệu cảm biến đầu vào bằng mệnh lệnh chỉ đạo mới.
Triệt tiêu tín hiệu đầu ra (Inhibition): Tín hiệu từ một tầng năng lực can thiệp vào đường truyền đầu ra của một mô-đun khác trong một khoảng thời gian xác định, dập tắt và ngăn không cho thông điệp đầu ra của mô-đun đó truyền tới bộ chấp hành.

Nhờ cấu chế phân tầng phân tán này, robot vẫn duy trì được các phản xạ an toàn tức thời ngay cả khi tầng lập kế hoạch cấp cao gặp trục trặc hoặc cần nhiều thời gian tính toán.

Cơ chế thần kinh học: Mô hình hạch đáy

Nghiên cứu về lựa chọn hành động trong khoa học máy tính có sự tương đồng sâu sắc với các phát hiện trong giải phẫu thần kinh học động vật có xương sống. Nghiên cứu kinh điển của Redgrave, Prescott và Gurney (năm 1999) đã đề xuất giả thuyết rằng các cấu trúc hạch đáy (basal ganglia) trong não bộ tiến hóa như một cơ chế phân xử chuyển mạch tập trung, chuyên trách giải quyết xung đột khi nhiều vùng vỏ não vận động và cảm giác cùng cạnh tranh tiếp cận các nguồn tài nguyên vận động giới hạn.

Tiếp tục phát triển hướng đi này, Gurney, Prescott và Redgrave (năm 2001) đã công bố mô hình tính toán GPR chi tiết về giải phẫu chức năng của hạch đáy. Mô hình GPR chỉ ra rằng hạch đáy không chỉ đơn thuần phân tách thành đường dẫn trực tiếp và gián tiếp như quan niệm cũ, mà tổ chức thành hai hệ thống chức năng song song:

Đường dẫn lựa chọn (Selection pathway): Bao gồm thể vân và thể lưới thuộc chất đen cùng cầu nhạt trong, hoạt động như một mạng nơ-ron truyền thẳng ức chế xung quanh nhằm khuếch đại kênh hành động có tín hiệu nổi trội nhất và dập tắt các kênh cạnh tranh khác.
Đường dẫn kiểm soát (Control pathway): Bao gồm nhân dưới đồi và cầu nhạt ngoài, đóng vai trò điều hòa ngưỡng kích hoạt tổng thể của mạng lưới, đảm bảo việc lựa chọn diễn ra dứt khoát và đồng bộ với sự điều biến của chất dẫn truyền dopamine.

Cơ chế lựa chọn hành động sinh học vận hành dựa trên nguyên lý giải ức chế (disinhibition): ở trạng thái nghỉ, hạch đáy liên tục phát tín hiệu ức chế trương lực lên các nhân đồi thị vận động; khi một hành động được chọn, tín hiệu ức chế tại kênh vận động tương ứng bị triệt tiêu, cho phép mệnh lệnh cơ học được phát động xuống tủy sống.

Bảng so sánh các phương pháp lựa chọn hành động

Dưới đây là bảng đối chiếu các đặc tính kỹ thuật cốt lõi giữa các mô hình lựa chọn hành động phổ biến trong trí tuệ nhân tạo và điều khiển tự động:

Phương pháp	Cơ chế phân xử cốt lõi	Ưu điểm nổi bật	Hạn chế chính
Epsilon tham lam	Khám phá ngẫu nhiên đều đặn theo tỷ lệ xác định	Cài đặt đơn giản, đảm bảo hội tụ tiệm cận	Khám phá mù quáng, không phân biệt các hành động xấu
Phân phối Softmax	Chọn lọc theo hàm xác suất tỉ lệ với giá trị hàm mũ	Phân biệt mức độ hứa hẹn của từng hành động	Nhạy cảm với việc tinh chỉnh tham số nhiệt độ
Upper-Confidence-Bound	Cân đối giữa giá trị kỳ vọng và cận trên bất định	Hiệu quả mẫu cao, có giới hạn hối tiếc lý thuyết	Khó mở rộng cho không gian trạng thái liên tục
Kiến trúc Subsumption	Triệt tiêu và ức chế tín hiệu theo tầng năng lực	Phản xạ thời gian thực cực nhanh, độ bền cao	Khó thiết kế phối hợp khi số lượng tầng tăng nhiều
Mạng phân xử thần kinh	Ức chế tương hỗ cục bộ và giải ức chế chọn lọc	Tương thích sinh học, thích nghi linh hoạt	Đòi hỏi tài nguyên mô phỏng tính toán phức tạp

Ứng dụng thực tế và bối cảnh tại Việt Nam

Lựa chọn hành động là thành phần trung tâm trong nhiều giải pháp tự động hóa hiện đại. Trong lĩnh vực xe tự hành và hệ thống hỗ trợ lái xe nâng cao, bộ điều khiển lựa chọn hành động liên tục xử lý dữ liệu từ camera và cảm biến đo xa để đưa ra quyết định ở từng phần nhỏ của giây: duy trì làn đường, chuyển hướng tránh chướng ngại vật hay kích hoạt phanh khẩn cấp.

Tại Việt Nam, các mô hình lựa chọn hành động đang được ứng dụng thực tiễn trong các hệ thống xe tự hành vận chuyển hàng hóa (AGV) và robot di động tự trị (AMR) phục vụ trong các nhà kho thông minh và dây chuyền lắp ráp công nghiệp. Trong môi trường nhà xưởng có không gian hẹp và thường xuyên xuất hiện chướng ngại vật di động như công nhân hoặc phương tiện bốc dỡ, robot phải vận dụng các chiến lược lựa chọn hành động thích nghi để vừa duy trì lộ trình tối ưu vừa đảm bảo an toàn tuyệt đối theo tiêu chuẩn công nghiệp.

Ngoài ra, theo khảo sát của Gronauer và Diepold (năm 2021) về học tăng cường sâu đa tác tử, các nền tảng trí tuệ nhân tạo hiện đại đang mở rộng bài toán lựa chọn hành động sang bối cảnh đa tác nhân thông qua mô hình huấn luyện tập trung nhưng thực thi phi tập trung (centralized training with decentralized execution). Phương pháp này cho phép mỗi robot hoặc tác tử phần mềm tự đưa ra lựa chọn hành động cục bộ dựa trên quan sát riêng, trong khi vẫn duy trì sự phối hợp tối ưu với toàn bộ hệ thống mà không cần truyền thông liên tục gây nghẽn băng thông.

Thách thức, giới hạn và định hướng nghiên cứu

Mặc dù đã đạt được nhiều bước tiến lớn, các giải pháp lựa chọn hành động hiện đại vẫn phải đối mặt với nhiều rào cản kỹ thuật nghiêm ngặt:

Bùng nổ không gian hành động: Khi số lượng hành động khả thi mở rộng hoặc chuyển sang miền liên tục nhiều chiều, việc đánh giá toàn diện từng phương án trở nên bất khả thi về mặt tính toán.
Môi trường phi dừng và tương tác đa tác tử: Theo phân tích của Gronauer và Diepold (năm 2021), trong môi trường có nhiều tác tử cùng hoạt động, sự biến đổi chiến lược của một tác tử sẽ làm thay đổi quy luật chuyển trạng thái của toàn bộ môi trường đối với các tác tử còn lại, khiến việc lựa chọn hành vi tối ưu dễ mất ổn định.
Rủi ro trong các tác vụ then chốt: Việc duy trì khám phá ngẫu nhiên bằng các chiến lược truyền thống có thể gây ra những hành vi mất an toàn nghiêm trọng khi thử nghiệm trên các hệ thống vật lý thực tế như thiết bị y tế hoặc phương tiện giao thông.

Để khắc phục những giới hạn trên, các hướng nghiên cứu tập trung vào học tăng cường an toàn có ràng buộc, kết hợp mô hình dự đoán thế giới để mô phỏng hành vi trong trí tưởng tượng trước khi thực thi, và xây dựng các cơ chế phân xử hành động có khả năng giải trình minh bạch.