Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Tối ưu hóa mạng học sâu cho các thiết bị biên với trường hợp sử dụng tập dữ liệu bệnh da liễu và bệnh lá ngô
Tóm tắt
Điện toán biên cung cấp các giải pháp hứa hẹn cho những thách thức liên quan đến độ trễ, kết nối, khả năng mở rộng, chi phí và quyền riêng tư. Tuy nhiên, các yêu cầu về tài nguyên của mạng học sâu tiếp tục gây khó khăn cho các thiết bị biên. Các ứng dụng trong nông nghiệp và y tế dựa trên trí tuệ nhân tạo (AI) đòi hỏi một mô hình có kích thước mạng lớn liên quan đến nhiều phép toán số thực. Nghiên cứu này nhằm giải quyết các vấn đề về tài nguyên hạn chế liên quan đến thiết bị biên thông qua tối ưu hóa mạng nơ-ron. Các chiến lược được sử dụng để thực hiện tối ưu hóa mạng nơ-ron bao gồm cắt bớt, cụm trọng số và lượng tử hóa. Đối với các mô hình học sâu, các kỹ thuật tối ưu hóa hợp tác này hỗ trợ trong việc giảm kích thước bộ nhớ và mức sử dụng. Để minh họa công việc của chúng tôi, chúng tôi đã sử dụng các tập dữ liệu Bệnh lá ngô và Bệnh da liễu và thực hiện các bước tiền xử lý hình ảnh cần thiết. Thuật toán Mạng nơ-ron tích chập (CNN) được sử dụng để đào tạo mô hình bằng tập dữ liệu đã được tiền xử lý. Đối với Bệnh lá ngô, mô hình CNN được tối ưu hóa sử dụng 5.1 MB bộ nhớ với độ chính xác đào tạo là 81.92% so với mô hình đào tạo có dung lượng 66 MB và độ chính xác đào tạo là 83.38%. Công trình nghiên cứu này đã tối ưu hóa các mô hình học chuyển giao như ResNet và MobileNet vì độ chính xác là điều quan trọng, và nhận thấy rằng MobileNet không chỉ cho kết quả độ chính xác tốt mà còn hoạt động hiệu quả về khía cạnh bộ nhớ so với CNN và ResNet. Để xác minh độ tin cậy của các mô hình đã được đào tạo trong thời gian thực, thuật toán GradCam được sử dụng ngoài độ chính xác. Sử dụng một công cụ phân tích bộ nhớ, chúng tôi đã đánh giá hiệu suất của mô hình tối ưu hóa và việc suy diễn được thực hiện trên thiết bị biên Raspberry PI sử dụng vi xử lý ARM.
Từ khóa
#điện toán biên #tối ưu hóa mạng nơ-ron #học sâu #trí tuệ nhân tạo #bệnh lá ngô #bệnh da liễu #Mạng nơ-ron tích chập #ResNet #MobileNetTài liệu tham khảo
Pérez J, Díaz J, Berrocal J, López-Viana R, González-Prieto Á. Edge computing. Computing. 2022;104(12):2711–47.
Alzubaidi L, Zhang J, Humaidi AJ, Al-Dujaili A, Duan Y, Al-Shamma O, Santamaría J, Fadhel MA, Al-Amidie M, Farhan L. Review of deep learning: concepts, CNN architectures, challenges, applications, future directions. J Big Data. 2021;8(1):1–74.
Yang T-J, Chen Y-H, Emer J, Sze V. A method to estimate the energy consumption of deep neural networks. In: 2017 51st Asilomar Conference on Signals, Systems, and Computers. 2017; p. 1916–1920.
Gao M, Liu D, Miao Z, Liu S. Memory optimization of CNN heterogeneous multi-core architecture. In: 2019 IEEE 4th International Conference on Integrated Circuits and Microsystems (ICICM). 2019; p. 287–292.
Hascoet T, Febvre Q, Zhuang W, Ariki Y, Takiguchi T. Reversible designs for extreme memory cost reduction of CNN training. EURASIP J Image Video Process. 2023;2023(1):1–30.
See J-C, Ng H-F, Tan H-K, Chang J-J, Lee W-K, Hwang SO. Doubleqext: hardware and memory efficient CNN through two levels of quantization. IEEE Access. 2021;9:169082–91.
Zhang Y, Wang X, Jiang X, Yang Y, Shen Z, Jia Z. PQ-PIM: a pruning-quantization joint optimization framework for reram-based processing-in-memory DNN accelerator. J Syst Archit. 2022;127: 102531.
Singh D, Jain N, Jain P, Kayal P, Kumawat S, Batra N. Plantdoc: a dataset for visual plant disease detection. In: Proceedings of the 7th ACM IKDD CoDS and 25th COMAD. 2020; p. 249–253.
Pandian JA, Geetharamani G. Data for: identification of plant leaf diseases using a 9-layer deep convolutional neural network. Mendeley Data. 2019;1:2019.
Wen D, Khan SM, Xu AJ, Ibrahim H, Smith L, Caballero J, Zepeda L, de Blas PC, Denniston AK, Liu X, et al. Characteristics of publicly available skin cancer image datasets: a systematic review. The Lancet Digital Health. 2021;4:e64–e74.
Singh V. An extension of jury-lee’s criterion for the stability analysis of fixed-point digital filters designed with two’s complement arithmetic. IEEE Trans Circuits Syst. 1986;33(3):355–355.
Nandhini S, Ashokkumar K. Improved crossover based monarch butterfly optimization for tomato leaf disease classification using convolutional neural network. Multimed Tools Appl. 2021;80(12):18583–610.
De Vita F, Nocera G, Bruneo D, Tomaselli V, Giacalone D, Das SK. Porting deep neural networks on the edge via dynamic k-means compression: a case study of plant disease detection. Pervasive Mobile Comput. 2021;75: 101437.
Mary S, Rani M, Chitra P, Lakshmanan S, Kalpana DM, Sangeetha R, Nithya S. Deepcompnet: a novel neural net model compression architecture. Comput Intell Neurosci. 2022, vol 2022.
Capotondi A, Rusci M, Fariselli M, Benini L. CMIX-NN: mixed low-precision CNN library for memory-constrained edge devices. IEEE Trans Circuits Syst II Express Briefs. 2020;67(5):871–5.
Zhou Z, Song Z, Fu L, Gao F, Li R, Cui Y. Real-time kiwifruit detection in orchard using deep learning on android smartphones for yield estimation. Comput Electron Agric. 2020;179: 105856.
Li G, Ma X, Wang X, Liu L, Xue J, Feng X. Fusion-catalyzed pruning for optimizing deep learning on intelligent edge devices. IEEE Trans Comput Aided Design Integr Circuits Syst. 2020;39(11):3614–26.
Adi SE, Casson AJ. Design and optimization of a tensorflow lite deep learning neural network for human activity recognition on a smartphone. In: 2021 43rd Annual International Conference of the IEEE Engineering in Medicine & Biology Society (EMBC). 2021; p. 7028–7031.
Jung J, Kim J, Kim Y, Kim C. Reinforcement learning-based layer-wise quantization for lightweight deep neural networks. In: 2020 IEEE International Conference on Image Processing (ICIP). 2020; p. 3070–3074.
Hirose S, Wada N, Katto J, Sun H. Research and examination on implementation of super-resolution models using deep learning with int8 precision. In: 2022 International Conference on Artificial Intelligence in Information and Communication (ICAIIC). 2022; pp. 133–137.
Kristiani E, Yang C-T, Nguyen KLP. Optimization of deep learning inference on edge devices. In: 2020 International Conference on Pervasive Artificial Intelligence (ICPAI). 2020; pp. 264–267.
Parameshwara S, Hegde S, et al. Optimizing neural network for computer vision task in edge device. arXiv:2110.00791. 2021.
Qi C, Shen S, Li R, Zhao Z, Liu Q, Liang J, Zhang H. An efficient pruning scheme of deep neural networks for internet of things applications. EURASIP J Adv Signal Process. 2021;2021(1):1–21.
Naveen S, Kounte MR, Ahmed MR. Low latency deep learning inference model for distributed intelligent IOT edge clusters. IEEE Access. 2021;9:160607–21.
Abdolrasol MG, Hussain SS, Ustun TS, Sarker MR, Hannan MA, Mohamed R, Ali JA, Mekhilef S, Milad A. Artificial neural networks based optimization techniques: a review. Electronics. 2021;10(21):2689.
Zhou X, Qin AK, Gong M, Tan KC. A survey on evolutionary construction of deep neural networks. IEEE Trans Evolut Comput. 2021;25(5):894–912.
Kingma DP, Ba J. Adam. A method for stochastic optimization. arXiv:1412.6980. 2014.
Vassilvitskii S, Arthur D. k-means++: The advantages of careful seeding. In: Proceedings of the Eighteenth Annual ACM-SIAM Symposium on Discrete Algorithms. 2006; p. 1027–1035.
Xu Y, Wang Y, Zhou A, Lin W, Xiong H. Deep neural network compression with single and multiple level quantization. In: Proceedings of the AAAI Conference on Artificial Intelligence, vol. 32. 2018.
Han S, Pool J. Tran J. Dally W. Learning both weights and connections for efficient neural network. Adv Neural Inf Process Syst. 2015; 28.
Selvaraju RR, Cogswell M, Das A, Vedantam R, Parikh D, Batra D. Grad-cam: visual explanations from deep networks via gradient-based localization. In: Proceedings of the IEEE International Conference on Computer Vision. 2017; p. 618–626.