Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Sự hội tụ của các nghiệm cho các phương trình phát sinh trong mạng nơ-ron
Tóm tắt
Chúng tôi nghiên cứu các hệ phương trình vi phân thông thường đa thức
$$\dot M(t) = QM - M(M'QM){\text{, }}M(0) = M_0 ,t \geqslant 0,$$
trong đó Q ≥ 0 là ma trận n×n và M(t) là ma trận n×k. Chúng tôi chứng minh rằng, khi t tiến tới vô cực, nghiệm M(t) có xu hướng đóng tới một giới hạn BU, trong đó U là ma trận trực giao k×k và B là ma trận n×k có các cột là k vectơ riêng trực giao và chuẩn hóa của Q. Hơn nữa, đối với hầu hết mọi M₀, các vectơ riêng này tương ứng với k giá trị riêng lớn nhất của Q; đối với một Q tùy ý với các cột độc lập, chúng tôi cung cấp một quy trình tính toán B bằng cách sử dụng các phép toán ma trận cơ bản trên M₀. Kết quả này có ý nghĩa quan trọng cho việc nghiên cứu một số hệ thống mạng nơ-ron, và trong bối cảnh này, nó cho thấy rằng M(∞) cung cấp một công cụ phân tích thành phần chính.
Từ khóa
#phương trình vi phân #mạng nơ-ron #nghiệm #ma trận trực giao #vectơ riêng #phân tích thành phần chínhTài liệu tham khảo
KOHONEN, T., Self-Organization and Associated Memory, 2nd Edition, Springer Verlag, Berlin, Germany, 1988.
OJA, E., Subspace Methods of Pattern Recognition, Wiley, New York, New York, 1983.
OJA, E., Neural Networks, Principal Components, and Subspaces, International Journal of Neural Systems, Vol. 1, pp. 61–68, 1989.
OJA, E., and KOHONEN, T., The Subspace Learning Algorithm as a Formalism for Pattern Recognition and Neural Networks, Proceedings of the IEEE ICNN, pp. 277–284, 1988.
OJA, E., A Simplified Neuron Model as a Principal Component Analyzer, Journal of Mathematical Biology, Vol. 15, pp. 267–273, 1982.
OJA, E., and KARHUNEN, J., On Stochastic Approximation of Eigenvectors and Eigenvalues of the Expectation of a Random Matrix, Journal of Mathematical Analysis and Applications, Vol. 106, pp. 69–84, 1985.
KARHUNEN, J., On the Recursive Estimation of the Eigenvectors of Correlation Type Matrices, Tech. Lic. Thesis, Helsinki University of Technology, Helsinki, Finland, 1982.
LEE, E. B., and MARKUS, L., Foundation of Optimal-Control Theory, Wiley, New York, New York, 1967.
ANDERSON, B. D. O., and MOORE, J. B., Optimal Control Linear-Quadratic Methods, Prentice-Hall, Englewood Cliffs, New Jersey, 1989.
HORN, R. A., and JOHNSON, C. R., Matrix Theory, Cambridge University Press, New York, New York, 1985.
LENZ, R., Group Theoretical Methods in Image Processing, Lecture Notes in Computer Sciences, Springer Verlag, Berlin, Germany, Vol. 413, 1990.
RUBINSTEIN, J., Invariant Low-Dimensional Approximation of Distorted Patterns, Technical Report, Technion, Haifa, Israel, 1990.