Khám Phá Cấu Trúc Dữ Liệu Phi Tuyến Tính Sử Dụng Mạng Nơ-ron Hebbian Đơn Giản

Colin Fyfe1, Roland Baddeley2
1Department of Computer Science, University of Strathclyde, UK
2Department of Experimental Psychology, University of Oxford, Oxford, UK

Tóm tắt

Chúng tôi trình bày một lớp các thuật toán mạng nơ-ron dựa trên học Hebbian đơn giản cho phép tìm kiếm cấu trúc bậc cao trong dữ liệu. Các mạng nơ-ron sử dụng phản hồi tiêu cực của hoạt động để tự tổ chức; các mạng như vậy trước đây đã được chứng minh là có khả năng thực hiện phân tích thành phần chính (PCA). Trong bài báo này, khả năng đó được mở rộng cho phương pháp khám phá chiếu (EPP), một phương pháp thống kê để điều tra cấu trúc trong các tập dữ liệu có độ chiều cao. Khác với các đề xuất trước đó cho các mạng học bằng phương pháp học Hebbian, không yêu cầu chuẩn hóa trọng số, suy giảm hay cắt trọng số một cách rõ ràng. Các kết quả cũng được mở rộng cho nhiều đơn vị và liên quan đến tài liệu thống kê về EPP cũng như tài liệu mạng nơ-ron về PCA phi tuyến.

Từ khóa

#mạng nơ-ron #học Hebbian #phân tích thành phần chính #khám phá chiếu #dữ liệu phi tuyến tính

Tài liệu tham khảo

Baldi P, Hornik K (1988) Neural networks and principal component analysis learning from examples without local minima. Neural Networks 2:53–58

DeMers D, Cottrell G (1993) Non-linear dimensionality reduction. ftp site.

Diaconis P, Freedman D (1984) Asymptotics of graphical projections. Ann Stat 12:793–815

Friedman JH (1987) Exploratory projection pursuit. J Am Stat Assoc 82:249–266

Fyfe C (1993a) Interneurons which identify principal components. In:Recent advances in neural networks, bnns 93, Conference of the British Neural Networks Society

Fyfe C (1993b) Pca properties of interneurons. In:From neurobiology to real world computing, icann 93, International Conference on Artificial Neural Networks

Horswell RL, Looney SW (1992) A comparison of tests for multivariate normality that are based on measures of multivariate skewness and kurtosis. J Stat Comput Simulations 42:21–38

Huber PJ (1985) Projection pursuit. Ann Stat 13:435–475

Jones MC, Sibson R (1987) What is projection pursuit. Royal Statistical Society

Karhunen J (1994) Stability of oja's pca subspace rule. Neural Comput (preprint)

Karhunen J, Joutsensalo J (1992) Nonlinear hebbian algorithms for sinusoidal frequency estimation. Aleksander I, Taylor J, (eds) Artificial neural networks 2. North-Holland, Amsterdam, 1099–1103

Karhunen J, Joutsensalo J (1993a) Learning of robust principal component subspace. International Joint Conference on Neural Networks 2409–2412

Karhunen J, Joutsensalo J (1993b) Nonlinear generalizations of principal component learning algorithms. International Joint Conference on Neural Networks 2599–2602

Karhunen J, Joutsensalo J (1994) Representation and separation of signals using nonlinear pca type learning. Neural Networks 7:113–127

Kashyap RL, Blaydon CC, Fu KS (1994) A prelude to neural networks: Adaptive and learning systems. Prentice Hall, New York, 329–355

Mardia KV, Kent JT, Bibby JM (1979) Multivariate analysis. Academic Press, London

Oja E (1982) A simplified neuron model as a principal component analyser. J Math Biol 15:267–273

Oja E (1989) Neural networks, principal components and subspaces. Int J Neural Syst. 1:61–68

Oja E, Karhunen J (1993) Nonlinear pca:algorithms and applications (Tech. report A18) University of Technology, Helsinki

Oja E, Ogawa J, Wangviwattana J (1991) Learning in nonlinear constrained hebbian networks. Kohonen T, Makisara K, Simula O, Kangas J (eds) Artificial neural networks. Elsevier, Amsterdam, 385–390

Oja E, Ogawa H, Wangviwattana J (1992a) Pca in fully parallel neural networks. In:Aleksander I, Taylor J (eds) Artificial neural networks, 2. North-Holland, Amsterdam

Oja E, Ogawa H, Wangviwattana J (1992b) Principal component analysis by homogeneous neural networks, part 2: analysis and extensions of the learning algorithms. Ieice Trans Inf. Syst E75-D (3):375–381

Sanger TD (1990) Analysis of the two-dimensional receptive fields learned by the generalised hebbian algorithm in response to andom input. Biol Cybern 63:221–228

Shapiro JL, Prugel-Bennett A (1992) Unsupervised hebbian learning and the shape of the neuron activation function. In: Aleksander I, Taylor J (eds) Artificial neural networks 2. North-Holland, Amsterdam