Quy tắc huấn luyện dựa trên độ chính xác F mới cho mô hình tuyến tính

Pattern Analysis and Applications - Tập 22 - Trang 537-548 - 2017
Mariusz Paradowski1, Michał Spytkowski1, Halina Kwaśnicka1
1Department of Computational Intelligence, Wrocław University of Science and Technology, Wrocław, Poland

Tóm tắt

Quy tắc Delta là một phương pháp tiêu chuẩn, được thiết lập tốt để huấn luyện mô hình nhận dạng perceptron. Tuy nhiên, lỗi bình phương trung bình, một cách mà quy tắc này dựa vào, không phù hợp để ước lượng cho một số vấn đề, như truy xuất thông tin hoặc chú thích dữ liệu tự động. Độ chính xác F, một sự kết hợp giữa độ chính xác và độ hồi tưởng, là một trong những thước đo chất lượng chính và có thể được sử dụng như một sự thay thế. Trong bài báo này, chúng tôi trình bày mô hình huấn luyện perceptron dựa trên độ chính xác F. Một xấp xỉ của độ chính xác F được đề xuất, dựa trên các thành phần là liên tục và khả vi. Điều này cho phép xây dựng một quy trình huấn luyện giảm dần theo độ dốc, về mặt khái niệm tương tự như quy tắc delta tiêu chuẩn.

Từ khóa

#quy tắc Delta #mô hình perceptron #độ chính xác F #độ chính xác #độ hồi tưởng #huấn luyện giảm dần

Tài liệu tham khảo

Murphy Kevin P (2012) Machine learning a probabilistic perspective. MIT Press, Cambridge Therrien CW (1989) Decision estimation and classification: an introduction to pattern recognition and related topics. Wiley, Hoboken Friedman JH (1989) Regularized discriminant analysis. J Am Stat Assoc 84(405):165–175 Fukunaga K (1990) Introduction to statistical pattern recognition. Academic press, Cambridge Mika S, Ratsch G, Weston J, Scholkopf B, Mullers KR (1999) Fisher discriminant analysis with Kernels. In: Neural networks for signal processing IX, 1999. Proceedings of the 1999 IEEE signal processing society Workshop, pp 41–48 Johnson RA, Wichern DW (2007) Applied multivariate statistical analysis, 6th edn. Prentice Hall, Upper Saddle River Press S (1978) James, Wilson, S.: choosing between logistic regression and discriminant analysis. J Am Stat Assoc 73(364):699–705 Frean M (1992) A “thermal” perceptron learning rule. Neural Comput 4(6):946–957 Gallant SI (1990) Perceptron-based learning algorithms. IEEE Trans Neural Netw 1(2):179–191 Sethi Ishwar K, Jae H (1994) Design of multicategory multifeature split decision trees using perceptron learning. Pattern Recognit 27(7):939–947 Kuncheva Ludmila I (2004) Combining pattern classifiers: methods and algorithms. Wiley, Hoboken Kivinen J, Warmuth MK (1997) Exponentiated gradient versus gradient descent for linear predictors. Inf Comput 132(1):1–63 Crammer K, Singer Y (2003) A family of additive online algorithms for category ranking. J Mach Learn Res 3:1025–1058 Loza Mencia E, Furnkranz J (2008) Pairwise Learning of Multilabel Classifications with Perceptrons. Neural Networks Fürnkranz J et al (2008) Multilabel classification via calibrated label ranking. Mach Learn 73(2):133–153 Collins M (2002) Discriminative training methods for hidden Markov models: theory and experiments with perceptron algorithms. In: EMNLP 02: proceedings of the ACL-02 conference on empirical methods in natural language processing, vol 10, pp 1–8 Cooper M, Foote J, Girgensohn A, Wilcox L (2005) Temporal event clustering for digital photo collections. ACM Trans Multimed Comput Commun Appl (TOMCCAP) 1(3):269–288 Demner-Fushman D, Antani S, Simpson M, Thoma GR (2009) Annotation and retrieval of clinically relevant images. Int J Med Inf 78:59–67 Maier O, Stanek M, Kwasnicka H (2010) PATSI—Photo annotation through similar images with annotation length optimization. Intelligent Inf Syst. pp 219–232 Stanek M, Broda B, Kwasnicka H (2010) Patsi—photo annotation through finding similar images with multivariate gaussian models. Computer vision and graphics. Springer, Berlin Heidelberg Maier O, Kwasnicka H, Stanek M (2012) Image auto-annotation with automatic selection of the annotation length. J Intell Inf Syst 39(3):651–685 Xirong Li, et al. (2006) Image annotation by large-scale content-based image retrieval. In: Proceedings of the 14th annual ACM international conference on multimedia. ACM Ameesh M, Pavlovic V, Kumar S (2008) A New Baseline for Image Annotation. Computer Vision-ECCV 2008. Springer, Berlin Heidelberg. Gunes S, Polat K, Yosunkaya S (2010) Multi-class f-score feature selection approach to classification of obstructive sleep apnea syndrome. Expert Syst Appl 37:998–1004 Kwasnicka H, Paradowski M (2008) Resulted word counts optimization—a new approach for better automatic image annotation. Pattern Recognit 41(12):3562–3571 Arandjelovic R, Zisserman A (2012) Three things everyone should know to improve object retrieval, computer vision and pattern recognition (CVPR). In: IEEE conference on, pp 2911–2918