Giảm Kích Thước Dữ Liệu Bằng Mạng Nơ-ron
Tóm tắt
Dữ liệu nhiều chiều có thể được chuyển đổi thành các mã thấp chiều bằng cách huấn luyện một mạng nơ-ron đa lớp với lớp trung tâm nhỏ để tái tạo các vector đầu vào nhiều chiều. Phương pháp giảm gradient có thể được sử dụng để tinh chỉnh các trọng số trong các mạng 'autoencoder' như vậy, nhưng điều này chỉ hoạt động tốt nếu các trọng số ban đầu gần với một giải pháp tốt. Chúng tôi mô tả một phương pháp hiệu quả để khởi tạo các trọng số cho phép các mạng autoencoder sâu học các mã thấp chiều hoạt động tốt hơn nhiều so với phân tích thành phần chính như một công cụ để giảm kích thước dữ liệu.
Từ khóa
#giảm kích thước dữ liệu #mạng nơ-ron #autoencoder #phân tích thành phần chính #học sâu #khởi tạo trọng sốTài liệu tham khảo
D. DeMers, G. Cottrell, Advances in Neural Information Processing Systems 5 (Morgan Kaufmann, San Mateo, CA, 1993), pp. 580–587.
P. Smolensky, Parallel Distributed Processing: Volume 1: Foundations, D. E. Rumelhart, J. L. McClelland, Eds. (MIT Press, Cambridge, 1986), pp. 194–281.
G. E. Hinton, Neural Comput.14, 1711 (2002).
See supporting material on Science Online.
M. Welling, M. Rosen-Zvi, G. Hinton, Advances in Neural Information Processing Systems 17 (MIT Press, Cambridge, MA, 2005), pp. 1481–1488.
The MNIST data set is available at http://yann.lecun.com/exdb/mnist/index.html.
The Olivetti face data set is available at www.cs.toronto.edu/roweis/data.html.
The Reuter Corpus Volume 2 is available at http://trec.nist.gov/data/reuters/reuters.html.
We thank D. Rumelhart M. Welling S. Osindero and S. Roweis for helpful discussions and the Natural Sciences and Engineering Research Council of Canada for funding. G.E.H. is a fellow of the Canadian Institute for Advanced Research.