Mạng nơ ron phi tuyến khác gì so với mạng nơ-ron tuyến tính?

Mạng nơ-ron tuyến tính chỉ thực hiện các phép biến đổi afin, do đó nhiều lớp ẩn liên tiếp vẫn chỉ tương đương một phép biến đổi tuyến tính đơn lẻ và không thể giải được các bài toán phân tách phi tuyến như hàm XOR. Ngược lại, mạng nơ ron phi tuyến sử dụng các hàm kích hoạt phi tuyến tại các nơ-ron, cho phép bẻ cong không gian đặc trưng và xấp xỉ vạn năng mọi mặt cong phức tạp.

Tại sao hàm kích hoạt phi tuyến lại bắt buộc trong mạng nơ-ron sâu?

Nếu không có hàm kích hoạt phi tuyến, việc tăng số lượng lớp ẩn trong mạng nơ-ron sâu sẽ hoàn toàn vô nghĩa vì tích của các ma trận tuyến tính vẫn là một ma trận tuyến tính. Hàm kích hoạt phi tuyến đưa tính phi tuyến vào từng nơ-ron, giúp mạng học được các biểu diễn dữ liệu phân cấp ở nhiều mức độ trừu tượng khác nhau.

Định lý xấp xỉ vạn năng khẳng định điều gì về mạng nơ ron phi tuyến?

Định lý xấp xỉ vạn năng được Cybenko (1989) và Hornik cùng các cộng sự (1989) chứng minh khẳng định rằng một mạng nơ-ron truyền thẳng chỉ cần một lớp ẩn với các đơn vị kích hoạt phi tuyến là đủ khả năng xấp xỉ bất kỳ hàm liên tục nào trên tập compact với độ chính xác tùy ý, miễn là số lượng nơ-ron ẩn đủ lớn.

Mạng nơ-ron NARX được ứng dụng như thế nào trong kỹ thuật điều khiển?

Mạng nơ-ron tự hồi quy phi tuyến với đầu vào ngoại sinh (NARX) sử dụng các giá trị quá khứ của tín hiệu điều khiển đầu vào và đầu ra hệ thống để dự báo trạng thái động học tiếp theo. Kiến trúc này được ứng dụng rộng rãi để nhận dạng đối tượng hộp đen phi tuyến và thiết kế các bộ điều khiển thích nghi cho cánh tay robot, lò nhiệt và các quá trình công nghệ bất định.

Mạng nơ ron phi tuyến (nonlinear neural network) là gì?

Mạng nơ ron phi tuyến (nonlinear neural network) là kiến trúc mạng nơ-ron nhân tạo tích hợp các hàm biến đổi phi tuyến trong cấu trúc xử lý thông tin, cho phép mô hình hóa, xấp xỉ và điều khiển các mối quan hệ phi tuyến phức tạp giữa không gian đầu vào và không gian đầu ra. Điểm cốt lõi tạo nên năng lực biểu diễn của mạng nơ ron phi tuyến là sự kết hợp giữa các phép toán đại số tuyến tính và các hàm kích hoạt phi tuyến tại từng nơ-ron tính toán, hoặc các phản hồi động học phi tuyến qua thời gian. Bài viết này trình bày toàn diện cơ sở toán học, các kiến trúc kinh điển, định lý xấp xỉ vạn năng, phương pháp nhận dạng và điều khiển hệ thống, cùng các thách thức tính toán và phạm vi ứng dụng trong khoa học kỹ thuật hiện đại.

Bản chất toán học và cơ chế hoạt động

Trong cấu trúc cơ bản của một nơ-ron nhân tạo, tín hiệu đầu vào được tổng hợp có trọng số trước khi đưa qua một hàm kích hoạt phi tuyến. Nếu loại bỏ thành phần phi tuyến này, toàn bộ mạng truyền thẳng dù có bao nhiêu lớp trung gian cũng chỉ tương đương với một phép biến đổi afin duy nhất, bởi vì tích của các ma trận tuyến tính luôn là một ma trận tuyến tính. Do đó, tính phi tuyến là điều kiện tiên quyết để mạng vượt qua giới hạn của các hệ thống tuyến tính.

Xét một nơ-ron đơn lẻ nhận vector đầu vào trong không gian nhiều chiều. Giá trị đầu ra của nơ-ron được xác định thông qua biểu thức toán học sau:

y = \sigma \left( \sum_{i=1}^n w_i x_i + b \right)

Trong công thức trên, đại lượng $x_i$ đại diện cho tín hiệu đầu vào thứ $i$ , đại lượng $w_i$ là trọng số liên kết tương ứng với đầu vào đó, đại lượng $b$ đóng vai trò là hệ số độ lệch ngưỡng (bias), đại lượng $\sigma(\cdot)$ biểu thị hàm kích hoạt phi tuyến được lựa chọn, và đại lượng $y$ là giá trị phản hồi đầu ra của nơ-ron.

Khi liên kết nhiều nơ-ron thành cấu trúc nhiều tầng, mạng nơ ron phi tuyến thực hiện một chuỗi các phép biến đổi không gian liên tiếp. Mỗi tầng ẩn bẻ cong, xoắn hoặc kéo giãn không gian đặc trưng ban đầu, biến một tập dữ liệu không thể phân tách tuyến tính ở đầu vào thành một biểu diễn có thể phân tách tuyến tính hoặc xấp xỉ trơn tru ở tầng đầu ra. Cơ chế này giúp giải quyết triệt để các bài toán logic phi tuyến kinh điển mà các cấu trúc nơ-ron tuyến tính đơn tầng bất lực.

Các dạng hàm kích hoạt phi tuyến tiêu biểu

Đặc tính động học và khả năng học của mạng nơ ron phi tuyến phụ thuộc mật thiết vào việc lựa chọn hàm kích hoạt tại các tầng ẩn. Mỗi hàm kích hoạt sở hữu miền giá trị, đạo hàm và tính chất đối xứng riêng biệt, phù hợp với từng bài toán cụ thể.

Hàm sigmoid

Hàm sigmoid chuyển đổi miền giá trị thực vô hạn về khoảng mở từ không đến một, phản ánh tính chất bão hòa tương tự như cơ chế kích phát xung điện thế sinh học của nơ-ron tự nhiên:

\sigma(z) = \frac{1}{1 + e^{-z}}

Ở đây, biến số $z$ là tổng trọng số đầu vào và ký hiệu $e$ là cơ số logarit tự nhiên. Mặc dù có tính chất vi phân liên tục và giới hạn chặn hai đầu, hàm sigmoid gặp hạn chế lớn khi giá trị tuyệt đối của biến số quá lớn, khiến đạo hàm tiệm cận về không và gây ra hiện tượng suy giảm gradient nghiêm trọng.

Hàm tiếp tuyến hyperbolic

Hàm tiếp tuyến hyperbolic khắc phục nhược điểm mất đối xứng quanh gốc tọa độ của hàm sigmoid, đưa miền giá trị về khoảng mở từ âm một đến dương một:

\tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}

Với $z$ là tín hiệu tổng đầu vào, hàm tiếp tuyến hyperbolic giúp giá trị trung bình của đầu ra tại các tầng ẩn gần bằng không, từ đó ổn định tốc độ hội tụ trong quá trình lan truyền ngược, song vẫn chịu ảnh hưởng của hiện tượng bão hòa đạo hàm ở hai vùng biên.

Hàm chỉnh lưu tuyến tính

Hàm chỉnh lưu tuyến tính là một hàm phi tuyến từng đoạn đơn giản nhưng tạo nên bước ngoặt trong huấn luyện các mạng nơ-ron sâu:

\text{ReLU}(z) = \max(0, z)

Trong phương trình này, ký hiệu $z$ là giá trị đầu vào và hàm trả về giá trị không khi biến số âm, giữ nguyên giá trị khi biến số dương. Đạo hàm bằng hằng số một trên miền dương triệt tiêu hiện tượng biến mất gradient, đồng thời tính chất thưa giúp tăng hiệu quả tính toán trên các hệ thống xử lý song song quy mô lớn.

Nền tảng lý thuyết: Định lý xấp xỉ vạn năng

Cơ sở lý thuyết vững chắc nhất chứng minh năng lực biểu diễn của mạng nơ ron phi tuyến bắt nguồn từ các công trình toán học về xấp xỉ hàm. Năm 1989, nhà toán học Cybenko công bố nghiên cứu mang tính nền tảng khẳng định các tổ hợp tuyến tính hữu hạn của một hàm sigmoid liên tục duy nhất có thể xấp xỉ đều bất kỳ hàm liên tục nào trên các tập compact của không gian đa chiều.

Cùng năm 1989, nhóm nghiên cứu gồm Hornik, Stinchcombe và White công bố kết quả tổng quát hơn, chỉ ra rằng năng lực xấp xỉ vạn năng không phải là đặc tính riêng biệt của hàm sigmoid, mà xuất phát từ chính cấu trúc truyền thẳng nhiều lớp với hàm nén (squashing function) bất kỳ. Nghiên cứu của Hornik và các cộng sự (1989) chứng minh rằng mạng truyền thẳng chỉ cần một lớp ẩn với các đơn vị nơ-ron phi tuyến là đã đủ khả năng xấp xỉ bất kỳ hàm đo được Borel nào với độ chính xác tùy ý, miễn là số lượng nơ-ron ẩn đủ lớn.

Mô hình xấp xỉ toán học tổng quát của mạng truyền thẳng một lớp ẩn được biểu diễn bằng dạng tổ hợp sau:

F(x) = \sum_{j=1}^m \alpha_j \sigma(w_j^T x + b_j)

Trong hệ thức này, ký hiệu $x$ là vector đầu vào thực, ký hiệu $w_j$ là vector trọng số kết nối giữa đầu vào và nơ-ron ẩn thứ $j$ , ký hiệu $b_j$ là hệ số lệch của nơ-ron ẩn thứ $j$ , ký hiệu $\sigma(\cdot)$ là hàm kích hoạt phi tuyến, ký hiệu $\alpha_j$ là trọng số tuyến tính kết nối nơ-ron ẩn với đầu ra, ký hiệu $m$ là tổng số nơ-ron ẩn, và hàm $F(x)$ là giá trị xấp xỉ tổng thể.

Mặc dù định lý xấp xỉ vạn năng đảm bảo sự tồn tại về mặt lý thuyết của cấu hình trọng số, định lý này không đưa ra thuật toán trực tiếp để tìm kiếm bộ trọng số đó, cũng như không giới hạn số lượng nơ-ron ẩn cần thiết trong thực tế. Năm 2015, nghiên cứu tổng quan của LeCun, Bengio và Hinton nhấn mạnh rằng việc xếp chồng nhiều tầng ẩn biến đổi phi tuyến cho phép biểu diễn các hàm mục tiêu phức tạp với số lượng tham số nhỏ hơn theo cấp số nhân so với mạng chỉ có một lớp ẩn duy nhất.

Các kiến trúc mạng nơ-ron phi tuyến chủ đạo

Tùy thuộc vào đặc tính không gian và thời gian của dữ liệu, mạng nơ ron phi tuyến được tổ chức thành các lớp kiến trúc khác nhau, từ cấu trúc tĩnh truyền thẳng đến các cấu trúc động lực học có phản hồi hồi quy.

Mạng truyền thẳng nhiều tầng phi tuyến

Mạng truyền thẳng nhiều tầng là kiến trúc cơ bản nhất, trong đó thông tin lan truyền một chiều từ lớp đầu vào qua một hoặc nhiều lớp ẩn đến lớp đầu ra mà không có vòng hồi tiếp. Tính phi tuyến được tích lũy qua từng tầng biến đổi, cho phép mô hình học các biểu diễn phân cấp ngày càng trừu tượng. Kiến trúc này thường được áp dụng cho các bài toán phân loại mẫu, hồi quy phi tuyến tĩnh và xấp xỉ mặt cong trong không gian trạng thái.

Mạng nơ-ron hàm cơ sở xuyên tâm

Mạng hàm cơ sở xuyên tâm sử dụng các hàm phi tuyến đối xứng xuyên tâm (thường là hàm Gauss) tại tầng ẩn để đo khoảng cách Euclid từ vector đầu vào đến các tâm cụm định trước. Điểm đặc biệt của kiến trúc này là sự tách biệt rõ ràng giữa hai pha: pha phi tuyến định vị tâm cụm ở tầng ẩn và pha tuyến tính tối ưu hóa trọng số ở tầng ra. Cấu trúc này đảm bảo tốc độ học nhanh và không bị rơi vào các cực tiểu địa phương trong pha tối ưu hóa tuyến tính.

Mạng nơ-ron tự hồi quy phi tuyến với đầu vào ngoại sinh (NARX)

Đối với các hệ thống động lực học phụ thuộc thời gian, mạng nơ-ron tự hồi quy phi tuyến với đầu vào ngoại sinh (Nonlinear AutoRegressive with eXogenous inputs, NARX) là công cụ mô hình hóa mạnh mẽ bậc nhất. Năm 1997, Siegelmann, Horne và Giles công bố nghiên cứu khẳng định mạng NARX với số lượng tham số hữu hạn sở hữu năng lực tính toán tương đương máy Turing và mạng hồi quy toàn phần, mặc dù chỉ sử dụng phản hồi từ đầu ra thay vì phản hồi toàn bộ trạng thái ẩn.

Phương trình toán học mô tả quan hệ vào ra của mạng NARX được thiết lập như sau:

y(t) = \Psi \big( y(t-1), \dots, y(t-n_y), u(t), u(t-1), \dots, u(t-n_u) \big)

Trong công thức trên, ký hiệu $y(t)$ là tín hiệu đầu ra tại thời điểm rời rạc $t$ , ký hiệu $u(t)$ là tín hiệu điều khiển ngoại sinh tác động vào hệ thống, các ký hiệu $n_y$ và $n_u$ lần lượt là bậc trễ động học của đầu ra và đầu vào, và toán tử $\Psi(\cdot)$ là ánh xạ phi tuyến được tham số hóa bởi mạng nơ-ron.

Ứng dụng trong nhận dạng và điều khiển hệ phi tuyến

Trong kỹ thuật điều khiển và tự động hóa, hầu hết các đối tượng thực tế như lò phản ứng hóa học, cánh tay robot công nghiệp, hệ thống treo chủ động và lưới điện đều có hành vi phi tuyến cao. Mạng nơ ron phi tuyến đóng vai trò trung tâm trong hai nhiệm vụ cốt lõi: nhận dạng hệ thống và tổng hợp bộ điều khiển thích nghi.

Năm 1990, Narendra và Parthasarathy đề xuất 4 cấu hình mô hình kinh điển kết hợp mạng truyền thẳng và mạng hồi quy để nhận dạng hệ thống phi tuyến. Bốn mô hình này phân loại cách thức tín hiệu đầu vào và các trạng thái trễ tương tác qua các khối hàm phi tuyến độc lập hoặc kết hợp. Phương pháp của Narendra và Parthasarathy (1990) đã tạo tiền đề cho việc áp dụng thuật toán lan truyền ngược động học vào việc bám quỹ đạo và bù sai lệch cho các hệ thống công nghiệp bất định.

Đến năm 2000, Nørgaard và các cộng sự trong công trình nghiên cứu chuyên sâu đã hệ thống hóa các cấu trúc mô hình hóa hộp đen phi tuyến, bao gồm các biến thể mạng nơ-ron mở rộng từ lý thuyết nhận dạng tuyến tính cổ điển:

Mô hình NN-ARX: Sử dụng mạng nơ-ron phi tuyến để dự báo đầu ra dựa trên các giá trị quá khứ của đầu vào và đầu ra thực tế.
Mô hình NN-ARMAX: Tích hợp thêm thành phần nhiễu màu được mô hình hóa qua các sai số dự báo trong quá khứ, nâng cao độ chính xác khi hệ thống chịu tác động của tạp âm đo lường.
Mô hình NN-OE: Mô hình sai số đầu ra, chỉ sử dụng đầu vào thực tế và đầu ra do chính mô hình tự sinh ra trong các bước trước, phù hợp cho việc mô phỏng dài hạn.
Mô hình NN-BJ: Tách biệt hoàn toàn kênh động học của đối tượng và kênh mô hình hóa nhiễu ngẫu nhiên bằng hai cấu trúc mạng nơ-ron phi tuyến độc lập.

Tại Việt Nam, các nguyên lý mạng nơ-ron phi tuyến đã được đưa vào chương trình đào tạo sau đại học và các tài liệu chuyên khảo chuyên ngành điều khiển tự động. Trong các nghiên cứu ứng dụng, mạng nơ-ron phi tuyến được thử nghiệm để nhận dạng và điều khiển thích nghi cho các đối tượng phi tuyến phức tạp như cánh tay robot, hệ thống nhiệt và các động cơ truyền động chịu ma sát bất định.

Năm 2022, nghiên cứu của Böttcher, Antulov-Fantulin và Asikis trên tạp chí Nature Communications đã mở ra bước tiến mới khi chứng minh mạng nơ-ron có thể giải trực tiếp các bài toán điều khiển tối ưu phi tuyến phức tạp dựa trên nguyên lý cực đại Pontryagin, giảm thiểu đáng kể chi phí tính toán so với các phương pháp quy hoạch động cổ điển.

So sánh mạng nơ-ron phi tuyến và mạng nơ-ron tuyến tính

Bảng đối chiếu dưới đây làm rõ sự khác biệt căn bản giữa kiến trúc mạng nơ ron phi tuyến và mạng nơ-ron tuyến tính truyền thống trên các khía cạnh lý thuyết và kỹ thuật:

Tiêu chí so sánh	Mạng nơ-ron tuyến tính	Mạng nơ ron phi tuyến
Hàm kích hoạt tại nơ-ron	Hàm đồng nhất hoặc biến đổi afin	Hàm phi tuyến như sigmoid, tanh, ReLU, GELU
Năng lực biểu diễn toán học	Chỉ biểu diễn các mặt phẳng và siêu phẳng	Xấp xỉ vạn năng mọi mặt cong và siêu mặt phức tạp
Không gian tối ưu hóa hàm mất mát	Không gian lồi với một cực tiểu toàn cục duy nhất	Không gian phi lồi với nhiều cực tiểu địa phương
Năng lực giải bài toán XOR	Không thể phân tách được	Phân tách chính xác với cấu trúc lớp ẩn phù hợp
Độ nhạy với điều kiện khởi tạo	Thấp, luôn hội tụ về một nghiệm duy nhất	Cao, quỹ đạo học phụ thuộc vào phân bố trọng số ban đầu
Khả năng mô hình hóa động học	Giới hạn trong các hệ phương trình sai phân tuyến tính	Mô hình hóa chính xác các hiện tượng trễ và bão hòa

Mô hình hóa khoa học và mạng nơ-ron tích hợp vật lý

Bên cạnh các bài toán kỹ thuật truyền thống, mạng nơ ron phi tuyến đang định hình lại phương pháp luận nghiên cứu trong vật lý tính toán và cơ học chất lưu. Năm 2019, Raissi, Perdikaris và Karniadakis giới thiệu khung làm việc mạng nơ-ron tích hợp tri thức vật lý (Physics-Informed Neural Networks, PINN). Bằng cách nhúng trực tiếp các phương trình vi phân đạo hàm riêng phi tuyến vào hàm mất mát thông qua kỹ thuật vi phân tự động, mô hình PINN cho phép mạng nơ ron phi tuyến học nghiệm của phương trình Navier-Stokes, phương trình sóng phi tuyến và phương trình truyền nhiệt với lượng mẫu thực nghiệm rất hạn chế.

Hạn chế kỹ thuật và điều kiện áp dụng

Dù sở hữu năng lực biểu diễn mạnh mẽ, việc thiết kế và ứng dụng mạng nơ ron phi tuyến đòi hỏi sự am hiểu sâu sắc về các giới hạn lý thuyết và rào cản tính toán:

Bản chất hộp đen và khả năng giải thích: Việc liên kết hàng triệu tham số qua nhiều tầng phi tuyến khiến mô hình rất khó diễn giải cơ chế ra quyết định theo các quy luật nhân quả tường minh, gây cản trở trong các ứng dụng đòi hỏi độ an toàn tuyệt đối như hàng không hay y tế.
Hiện tượng quá khớp (overfitting): Với số lượng tham số tự do lớn, mạng nơ ron phi tuyến dễ dàng ghi nhớ cả tạp âm trong dữ liệu huấn luyện thay vì học quy luật tổng quát, dẫn đến suy giảm độ chính xác trên tập dữ liệu kiểm tra. Cần áp dụng các kỹ thuật điều chuẩn như chuẩn hóa trọng số, dropout và dừng sớm để hạn chế rủi ro này.
Tối ưu hóa phi lồi: Bề mặt hàm mất mát của mạng nơ ron phi tuyến chứa vô số điểm yên ngựa, vùng bình nguyên và các thung lũng cực tiểu địa phương nghèo nàn, đòi hỏi các thuật toán tối ưu hóa thích nghi như Adam, RMSprop kết hợp lập lịch suy giảm tốc độ học.
Rủi ro biến mất hoặc bùng nổ gradient: Trong các mạng sâu hoặc mạng hồi quy chuỗi thời gian dài, tích của các ma trận Jacobian qua nhiều tầng có thể tiệm cận về không hoặc tăng theo hàm mũ, làm tê liệt quá trình cập nhật trọng số ở các lớp đầu tiên.

Xu hướng phát triển và triển vọng nghiên cứu

Các hướng nghiên cứu hiện đại về mạng nơ ron phi tuyến tập trung giải quyết bài toán điều khiển tối ưu và học biểu diễn động học liên tục. Nghiên cứu của Böttcher và các cộng sự (2022) trên Nature Communications đã chỉ ra tiềm năng của mạng nơ-ron trong việc giải các phương trình vi phân giá trị biên hai điểm phục vụ điều khiển tối ưu theo nguyên lý Pontryagin. Hướng tiếp cận này kết hợp phương trình vi phân nơ-ron (Neural ODEs) để mô tả các quỹ đạo động học phi tuyến dưới dạng dòng chảy vector liên tục, mở ra triển vọng lớn cho các hệ thống tự hành và robot thông minh trong tương lai.