Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Lựa chọn đặc trưng học sâu dựa trên lập trình tiến hóa và xây dựng mạng lưới cho phân loại dữ liệu hình ảnh
Tóm tắt
Mô hình Mạng Nơ-ron Tích Chập (CNN) và nhiều bộ dữ liệu hình ảnh lớn công khai dễ dàng tiếp cận đã đưa rất nhiều công trình nghiên cứu đến một giai đoạn mới đáng kể. Nhờ vào các mô hình CNN được huấn luyện tốt, các tập dữ liệu huấn luyện nhỏ có thể học được những đặc trưng rộng rãi bằng cách sử dụng các đặc trưng sơ khởi từ việc học chuyển giao. Tuy nhiên, hiệu suất không được đảm bảo khi vận dụng những đặc trưng này để xây dựng một mô hình mới, vì luôn có sự khác biệt giữa miền nguồn và miền đích. Trong bài báo này, chúng tôi đề xuất xây dựng một khuôn khổ dựa trên Lập trình Tiến hóa nhằm giải quyết nhiều thách thức khác nhau. Khuôn khổ này tự động hóa cả quy trình học đặc trưng và xây dựng mô hình. Nó đầu tiên xác định những đặc trưng có giá trị nhất từ các mô hình đã được huấn luyện trước và sau đó xây dựng một mô hình phù hợp để hiểu các đặc trưng của những nhiệm vụ khác nhau. Mỗi mô hình có sự khác biệt ở nhiều khía cạnh. Tổng thể, các kết quả thực nghiệm đạt được những giải pháp tối ưu một cách hiệu quả, chứng minh rằng một nhiệm vụ tiêu tốn thời gian cũng có thể được thực hiện bởi một quy trình tự động vượt qua khả năng của con người.
Từ khóa
#Mạng Nơ-ron Tích Chập #Lập trình Tiến hóa #Học máy #Dữ liệu hình ảnh #Chọn lựa đặc trưngTài liệu tham khảo
Back, T. (1996). Evolutionary algorithms in theory and practice: evolution strategies, evolutionary programming, genetic algorithms. Oxford: Oxford University Press.
Bergstra, J., & Bengio, Y. (2012). Random search for hyper-parameter optimization. Journal of Machine Learning Research, 13(Feb), 281–305.
Chang, W.L. (2019). The impact of emotion: a blended model to estimate influence on social media. Information Systems Frontiers, 21(5), 1137–1151.
Chen, C., Zhu, Q., Lin, L., & Shyu, M.L. (2013). Web media semantic concept retrieval via tag removal and model fusion. ACM Transactions on Intelligent Systems and Technology, 4(4), 61.
Chen, S.C., & Kashyap, R.L. (2001). A spatio-temporal semantic model for multimedia database systems and multimedia information systems. IEEE Transactions on Knowledge and Data Engineering, 13(4), 607–622.
Chen, S.C., Rubin, S.H., Shyu, M.L., & Zhang, C. (2006). A dynamic user concept pattern learning framework for content-based image retrieval. IEEE Transactions on Systems, Man, and Cybernetics, Part C (Applications and Reviews), 36(6), 772–783.
Chen, S.C., Shyu, M.L., & Kashyap, R. (1998). Augmented transition network as a semantic model for video data. International Journal of Networking and Information Systems, 3(3), 9–25.
Chen, S.C., Shyu, M.L., & Zhang, C. (2005). Innovative shot boundary detection for video indexing. In Video data management and information retrieval. IGI Global (pp. 217–236).
Chen, S.C., Shyu, M.L., Zhang, C., & Kashyap, R.L. (2001). Identifying overlapped objects for video indexing and modeling in multimedia database systems. International Journal on Artificial Intelligence Tools, 10(04), 715–734.
He, K., Zhang, X., Ren, S., & Sun, J. (2016). Deep residual learning for image recognition. In The IEEE conference on computer vision and pattern recognition (pp. 770–778).
Howard, A.G., Zhu, M., Chen, B., Kalenichenko, D., Wang, W., Weyand, T., Andreetto, M., & Adam, H. (2017). Mobilenets: efficient convolutional neural networks for mobile vision applications. CoRR arXiv:1704.04861.
Huang, G., Liu, Z., Van Der Maaten, L., & Weinberger, K.Q. (2017). Densely connected convolutional networks. In The IEEE conference on computer vision and pattern recognition (pp. 4700–4708).
Lameski, P., Zdravevski, E., Mingov, R., & Kulakov, A. (2015). SVM parameter tuning with grid search and its impact on reduction of model over-fitting. In Rough sets, fuzzy sets, data mining, and granular computing (pp. 464–474): Springer.
Li, H., He, F., Liang, Y., & Quan, Q. (2019). A dividing-based many-objective evolutionary algorithm for large-scale feature selection. Soft Computing, 1–20.
Li, X., Chen, S.C., Shyu, M.L., & Furht, B. (2002). Image retrieval by color, texture, and spatial information. In The 8th international conference on distributed multimedia systems (pp. 152–159).
Lin, L., & Shyu, M.L. (2010). Weighted association rule mining for video semantic detection. International Journal of Multimedia Data Engineering and Management (IJMDEM), 1(1), 37–54.
Mania, H., Guy, A., & Recht, B. (2018). Simple random search provides a competitive approach to reinforcement learning. CoRR arXiv:1803.07055.
Mitchell, T.M. (1997). Machine learning.
Molchanov, P., Tyree, S., Karras, T., Aila, T., & Kautz, J. (2016). Pruning convolutional neural networks for resource efficient transfer learning. CoRR arXiv:1611.06440.
Mukherjee, S. (2020). Emerging frontiers in smart environment and healthcare–A vision. Information Systems Frontiers, 22(1), 23–27.
Pan, S.J., & Yang, Q. (2010). A survey on transfer learning. IEEE Transactions on Knowledge and Data Engineering, 22(10), 1345–1359.
Pedregosa, F., Varoquaux, G., Gramfort, A., Michel, V., Thirion, B., Grisel, O., Blondel, M., Prettenhofer, P., Weiss, R., Dubourg, V., Vanderplas, J., Passos, A., Cournapeau, D., Brucher, M., Perrot, M., & Duchesnay, E. (2011). Scikit-learn: machine learning in Python. Journal of Machine Learning Research, 12, 2825–2830.
Pouyanfar, S., Sadiq, S., Yan, Y., Tian, H., Tao, Y., Reyes, M.P., Shyu, M.L., Chen, S.C., & Iyengar, S. (2018). A survey on deep learning: algorithms, techniques, and applications. ACM Computing Surveys, 51(5), 92.
Pouyanfar, S., Tao, Y., Tian, H., Chen, S.C., & Shyu, M.L. (2019). Multimodal deep learning based on multiple correspondence analysis for disaster management. World Wide Web, 22(5), 1893–1911.
Pouyanfar, S., Yang, Y., Chen, S.C., Shyu, M.L., & Iyengar, S. (2018). Multimedia big data analytics: a survey. ACM Computing Surveys, 51(1), 10.
Shin, H.C., Roth, H.R., Gao, M., Lu, L., Xu, Z., Nogues, I., Yao, J., Mollura, D., & Summers, R.M. (2016). Deep convolutional neural networks for computer-aided detection: CNN architectures, dataset characteristics and transfer learning. IEEE Transactions on Medical Imaging, 35(5), 1285–1298.
Snoek, J., Larochelle, H., & Adams, R.P. (2012). Practical Bayesian optimization of machine learning algorithms. In Advances in neural information processing systems (pp. 2951–2959).
Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., & Wojna, Z. (2016). Rethinking the inception architecture for computer vision. In The IEEE conference on computer vision and pattern recognition (pp. 2818–2826).
Tian, H., & Chen, S.C. (2017). Mca-nn: multiple correspondence analysis based neural network for disaster information detection. In IEEE third international conference on multimedia big data (bigMM) (pp. 268–275): IEEE.
Tian, H., Chen, S.C., & Shyu, M.L. (2019). Genetic algorithm based deep learning model selection for visual data classification. In The 20th international conference on information reuse and integration for data science (pp. 127–134): IEEE.
Tian, H., Chen, S.C., Shyu, M.L., & Rubin, S. (2019). Automated neural network construction with similarity sensitive evolutionary algorithms. In The 20th international conference on information reuse and integration for data science (pp. 283–290): IEEE.
Tian, H., Pouyanfar, S., Chen, J., Chen, S.C., & Iyengar, S.S. (2018). Automatic convolutional neural network selection for image classification using genetic algorithms. In The IEEE international conference on information reuse and integration (pp. 444–451): IEEE.
Tian, H., Tao, Y., Pouyanfar, S., Chen, S.C., & Shyu, M.L. (2019). Multimodal deep representation learning for video classification. World Wide Web, 22(3), 1325–1341.
Tian, H., Zheng, H.C., & Chen, S.C. (2018). Sequential deep learning for disaster-related video classification. In IEEE conference on multimedia information processing and retrieval (MIPR) (pp. 106–111): IEEE.
Wang, D., & Zheng, T.F. (2015). Transfer learning for speech and language processing. In The asia-pacific signal and information processing association annual summit and conference (pp. 1225–1237): IEEE.
Winston, P.H. (1992). Artificial intelligence.
Yang, J., & Honavar, V. (1998). Feature subset selection using a genetic algorithm. In Feature extraction, construction and selection (pp. 117–136): Springer.
Yao, X., Liu, Y., & Lin, G. (1999). Evolutionary programming made faster. IEEE Transactions on Evolutionary Computation, 3(2), 82–102.
Zhu, Q., Lin, L., Shyu, M.L., & Chen, S.C. (2011). Effective supervised discretization for classification based on correlation maximization. In IEEE international conference on information reuse & integration (pp. 390–395): IEEE.
Zhu, W., Cui, P., Wang, Z., & Hua, G. (2015). Multimedia big data computing. IEEE Multimedia, 22(3), 96–c3.