Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Cải thiện khả năng chống chịu và hiệu suất của các mô hình điện toán biên
Wireless Networks - Trang 1-13 - 2022
Tóm tắt
Các thiết kế hiện tại của các mô hình điện toán biên chủ yếu nhằm cải thiện hiệu suất chính xác. Tuy nhiên, bên cạnh độ chính xác, tính linh hoạt và hiệu quả suy diễn cũng là những thuộc tính quan trọng đối với hiệu suất. Để đạt được hiệu suất tốt trong các khung điện toán biên - đám mây, mỗi mô hình phân tán cần phải vừa có khả năng chống chịu với các rối loạn vừa khả thi cho việc tải thông tin trong các môi trường không dây có băng thông giới hạn. Nói cách khác, các bộ mã hóa đặc trưng cần phải mạnh mẽ hơn và có thời gian suy diễn nhanh hơn trong khi duy trì độ chính xác ở mức cạnh tranh. Do đó, để thiết kế các mô hình chính xác, mạnh mẽ và hiệu quả cho điện toán biên có băng thông giới hạn, chúng tôi đề xuất một phương pháp hệ thống hóa để tối ưu hóa tự động các tham số và kiến trúc của các mạng nơ-ron sâu tùy ý. Phương pháp này sử dụng một mạng đối kháng hai thế hệ dựa trên thuật toán di truyền, được sử dụng để tự động phát triển và chọn số lượng bộ lọc (trong các lớp tích chập) và số lượng nơ-ron (trong các lớp kết nối đầy đủ) từ một loạt các giá trị. Để minh họa hiệu suất, chúng tôi thử nghiệm phương pháp của mình trên các cơ sở dữ liệu ImageNet và ModelNet, và so sánh với mạng khối lượng 3D tiên tiến nhất và hai phương pháp hoàn toàn dựa trên GA. Kết quả của chúng tôi cho thấy phương pháp đề xuất có thể cải thiện đáng kể hiệu suất bằng cách tối ưu hóa đồng thời nhiều tham số mạng nơ-ron, bất kể độ sâu của mạng.
Từ khóa
#mô hình điện toán biên #khả năng chống chịu #hiệu suất suy diễn #tối ưu hóa mạng nơ-ron sâu #thuật toán di truyềnTài liệu tham khảo
Krizhevsky, A., Sutskever, I., Hinton, G.E. (2012). Imagenet classification with deep convolutional neural networks. In Advances in Neural Information Processing Systems, pp. 1097–1105
Deng, J., Dong, W., Socher, R., Li, L.-J., Li, K., Fei-Fei, L. (2009). Imagenet: A large-scale hierarchical image database. In 2009 IEEE Conference on Computer Vision and Pattern Recognition, pp. 248–255. Ieee
Simonyan, K., Zisserman, A. (2014). Very deep convolutional networks for large-scale image recognition. arXiv preprint arXiv:1409.1556
Ren, S., He, K., Girshick, R., Sun, J. (2015). Faster r-cnn: Towards real-time object detection with region proposal networks. In Advances in Neural Information Processing Systems, pp. 91–99
Zeiler, M.D., Fergus, R. (2014). Visualizing and understanding convolutional networks. In European Conference on Computer Vision, pp. 818–833, Springer
Lin, M., Chen, Q., Yan, S. (2013). Network in network. arXiv preprint arXiv:1312.4400
Szegedy, C., Liu, W., Jia, Y., Sermanet, P., Reed, S., Anguelov, D., & Rabinovich, A. (2015). Going deeper with convolutions. In Proceedings of the IEEE conference on computer vision and pattern recognition (pp. 1-9).
Szegedy, C., Vanhoucke, V., Ioffe, S., Shlens, J., Wojna, Z. (2016). Rethinking the inception architecture for computer vision. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 2818–2826
He, K., Zhang, X., Ren, S., Sun, J. (2016). Deep residual learning for image recognition. In Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 770–778
Elsken, T., Metzen, J. H., & Hutter, F. (2019). Neural architecture search: A survey. The Journal of Machine Learning Research, 20(1), 1997–2017.
Liu, C., Zoph, B., Neumann, M., Shlens, J., Hua, W., Li, L.-J., Fei-Fei, L., Yuille, A., Huang, J., Murphy, K. (2018). Progressive neural architecture search. In Proceedings of the European Conference on Computer Vision (ECCV), pp. 19–34
Tan, M., Chen, B., Pang, R., Vasudevan, V., Sandler, M., Howard, A., Le, Q.V. (2019). Mnasnet: Platform-aware neural architecture search for mobile. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp. 2820–2828
Xie, L., Yuille, A.: Genetic cnn. In 2017 IEEE International Conference on Computer Vision (ICCV), pp. 1388–1397 (2017). https://doi.org/10.1109/ICCV.2017.154
Azizpour, H., Razavian, A. S., Sullivan, J., Maki, A., & Carlsson, S. (2016). Factors of transferability for a generic convnet representation. IEEE Transactions on Pattern Analysis and Machine Intelligence, 38(9), 1790–1802. https://doi.org/10.1109/TPAMI.2015.2500224
Deb, K., Pratap, A., Agarwal, S., & Meyarivan, T. (2002). A fast and elitist multiobjective genetic algorithm: Nsga-ii. IEEE Transactions on Evolutionary Computation, 6(2), 182–197. https://doi.org/10.1109/4235.996017
Leung, F. H. F., Lam, H. K., Ling, S. H., & Tam, P. K. S. (2003). Tuning of the structure and parameters of a neural network using an improved genetic algorithm. IEEE Transactions on Neural Networks, 14(1), 79–88. https://doi.org/10.1109/TNN.2002.804317
Ritchie, M. D., White, B. C., Parker, J. S., Hahn, L. W., & Moore, J. H. (2003). Optimizationof neural network architecture using genetic programming improvesdetection and modeling of gene-gene interactions in studies of humandiseases. BMC bioinformatics, 4(1), 28.
Benardos, P., & Vosniakos, G.-C. (2007). Optimizing feedforward artificial neural network architecture. Engineering Applications of Artificial Intelligence, 20(3), 365–382.
Magnier, L., & Haghighat, F. (2010). Multiobjective optimization of building design using trnsys simulations, genetic algorithm, and artificial neural network. Building and Environment, 45, 739–746.
Islam, B.U., Baharudin, Z., Raza, M.Q., Nallagownden, P. (2014). Optimization of neural network architecture using genetic algorithm for load forecasting. In Intelligent and Advanced Systems (ICIAS), 2014 5th International Conference On, pp. 1–6. Ieee
Stanley, K. O., & Miikkulainen, R. (2002). Evolving neural networks through augmenting topologies. Evolutionary computation, 10(2), 99–127.
Miikkulainen, R., Liang, J., Meyerson, E., Rawal, A., Fink, D., Francon, O., Raju, B., Navruzyan, A., Duffy, N., Hodjat, B. (2017). Evolving deep neural networks. arXiv preprint arXiv:1703.00548
Rylander, B.I. (2001). Computational complexity and the genetic algorithm. PhD thesis, Moscow, ID, USA . AAI3022336
Bergstra, J., & Bengio, Y. (2012). Random search for hyper-parameter optimization. Journal of Machine Learning Research, 13, 281–305.
Jin, J., Yan, Z., Fu, K., Jiang, N., Zhang, C. (2016). Neural network architecture optimization through submodularity and supermodularity. arXiv preprint arXiv:1609.00074
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., Courville, A., Bengio, Y. (2014). Generative adversarial nets. In: Advances in Neural Information Processing Systems, pp. 2672–2680
Gatys, L.A., Ecker, A.S., Bethge, M. (2015). A neural algorithm of artistic style. arXiv preprint arXiv:1508.06576
Radford, A., Metz, L., Chintala, S. (2015). Unsupervised representation learning with deep convolutional generative adversarial networks. arXiv preprint arXiv:1511.06434
Johnson, J., Alahi, A., Fei-Fei, L. (2016). Perceptual losses for real-time style transfer and super-resolution. In: European Conference on Computer Vision
Isola, P., Zhu, J.-Y., Zhou, T., Efros, A.A. (2017). Image-to-image translation with conditional adversarial networks. arXiv preprint
Zhu, J.-Y., Park, T., Isola, P., Efros, A.A. (2017). Unpaired image-to-image translation using cycle-consistent adversarial networks. arXiv preprint arXiv:1703.10593
Lu, Y., Velipasalar, S. (2019). Autonomous choice of deep neural network parameters by a modified generative adversarial network. In: 2019 IEEE International Conference on Image Processing (ICIP), pp. 3846–3850, IEEE
Wu, Z., Song, S., Khosla, A., Yu, F., Zhang, L., Tang, X., Xiao, J. (2015). 3d shapenets: A deep representation for volumetric shapes. In: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, pp. 1912–1920
Tramèr, F., Kurakin, A., Papernot, N., Goodfellow, I., Boneh, D., McDaniel, P. (2017). Ensemble adversarial training: Attacks and defenses. arXiv preprint arXiv:1705.07204
Madry, A., Makelov, A., Schmidt, L., Tsipras, D., Vladu, A. (2017). Towards Deep Learning Models Resistant to Adversarial Attacks
Dong, Y., Liao, F., Pang, T., Hu, X., Zhu, J.(2017). Discovering adversarial examples with momentum. CoRR abs/1710.06081, arXiv:1710.06081
Xie, C., Zhang, Z., Wang, J., Zhou, Y., Ren, Z., Yuille, A.L. (2018). Improving transferability of adversarial examples with input diversity. CoRR abs/1803.06978arXiv:1803.06978
Dong, Y., Pang, T., Su, H., Zhu, J. (2019). Evading defenses to transferable adversarial examples by translation-invariant attacks. In: Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition
Wang, Z., Guo, H., Zhang, Z., Liu, W., Qin, Z., Ren, K. (2021). Feature importance-aware transferable adversarial attacks. In: Proceedings of the IEEE/CVF International Conference on Computer Vision, pp. 7639–7648
Pytorch: Pytorch torchvision models. https://pytorch.org/docs/stable/torchvision/models.html