Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Các Giới Hạn Dưới và Trên cho Xác Suất Phân Loại Sai Dựa Trên Thông Tin Renyi
Journal of VLSI signal processing systems for signal, image and video technology - Tập 37 - Trang 305-317 - 2004
Tóm tắt
Định lý bất đẳng thức Fano đã chứng tỏ là một kết quả quan trọng trong lý thuyết thông tin của Shannon và đã được áp dụng trong nhiều chứng minh về sự hội tụ. Nó cũng cung cấp cho chúng ta một giới hạn dưới về xác suất sai sót ký hiệu trong một kênh truyền thông, theo các định nghĩa của Shannon về entropy và thông tin tương hỗ. Kết quả này cũng có ý nghĩa quan trọng khi nó gợi ý các hiểu biết về cách thức hiệu suất phân loại bị ảnh hưởng bởi lượng thông tin mà bộ phân loại nhận được. Chúng tôi đã từng mở rộng giới hạn dưới của Fano về xác suất sai sót tới một họ các giới hạn dưới và trên dựa trên các định nghĩa của Renyi về entropy và thông tin tương hỗ. Tuy nhiên, những giới hạn mới này, mặc dù có sức hấp dẫn lý thuyết, lại không thể tính toán được trong thực tế. Trong bài báo này, chúng tôi trình bày một số sửa đổi cho những giới hạn này để cho phép chúng tôi sử dụng chúng trong các tình huống thực tế. Ý nghĩa của những giới hạn mới này là ba điểm: Minh họa một ứng dụng lý thuyết của định nghĩa thông tin của Renyi, mở rộng kết quả của Fano để bao gồm một giới hạn trên cho xác suất sai sót phân loại, và cung cấp các hiểu biết về cách thức thông tin truyền qua một bộ phân loại ảnh hưởng đến hiệu suất của nó. Hiệu suất của các giới hạn đã được sửa đổi được điều tra qua nhiều ví dụ số, bao gồm các ứng dụng cho các kênh truyền thông kỹ thuật số được thiết kế để chỉ ra các kết luận chính.
Từ khóa
#Fano's inequality #Shannon's information theory #error probability #Renyi's entropy #classification performanceTài liệu tham khảo
T. Cover and J. Thomas, Elements of Information Theory, New York: John Wiley, 1991.
R. Linsker, “Towards an Organizing Principle for a Layered Perceptual Network,” Neural Information Processing Systems, 1988, pp. 485-494.
K. Torkkola, “Visualizing Class Structure in Data Using Mutual Information,” in Proceedings of Neural Networks for Signal Processing X, Sydney, Australia, 2000, pp. 376-385.
K. Fu, “Statistical Pattern Recognition,” in Adaptive, Learning and Pattern Recognition Systems, Mendel and Fu (Eds.), New York: Academic Press, 1970, pp. 35-76.
K. Fukunaga, An Introduction to Statistical Pattern Recognition, New York: Academic Press, 1972.
G. Deco and D. Obradovic, An Information Theoretic Approach to Neural Computing, New York: Springer, 1996.
J. Fisher, “Nonlinear Extensions to the MACE Filter,” Ph.D. Dissertation, University of Florida, 1997.
B. Ripley, Pattern Recognition and Neural Networks, New York: Cambridge University Press, 1996.
V. Vapnik, The Nature of Statistical Learning Theory, New York: Springer Verlag, 1995.
R.M. Fano, Transmission of Information: A Statistical Theory of Communications, New York: MIT Press and John Wiley &; Sons Inc., 1961.
C.E. Shannon, “A Mathematical Theory of Communications,” Bell Systems Technical Journal, vol. 27, 1948, pp. 379-423, 623–656.
A. Renyi, Probability Theory, New York: American Elsevier Publishing Company Inc., 1970.
R.G. Gallager, Information Theory and Reliable Communication, New York: John Wiley &; Sons Inc., 1968.
M.B. Bassat and J. Raviv, “Renyi's Entropy and the Prbability of Error,” IEEE Transactions on Information Theory, vol. 24, no. 3, 1978, pp. 324-330.
M. Feder and N. Merhav, “Relations Between Entropy and Error Probability,” IEEE Transactions on Information Theory, vol. 40, no. 1, 1994, pp. 259-266.
T.S. Han and S. Verdu, “Generalizing the Fano Inequality,” IEEE Transactions on Information Theory, vol. 40, no. 4, 1994, pp. 1247-1251.
H.V. Poor and S. Verdu, “A Lower Bound on the Probability of Error in Multihypothesis Testing,” IEEE Transactions on Information Theory, vol. 41, no. 6, 1995, pp. 1992-1994.
S. Kullback, Information Theory and Statistics, New York: Dover Publications Inc., 1968.
D. Erdogmus and J.C. Principe, “Information Transfer Through Classifiers and its Relation to Probability of Error,” in Proceedings of International Joint Conference on Neural Networks (IJCNN'01), Washington, DC, 2001, pp. 50-54.
C. Bishop, Neural Networks for Pattern Recognition, Oxford: Clarendon Press, 1995.