Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Trine: Phát hiện bất thường trong nhật ký hệ thống với ba bộ mã hóa transformer trong một mạng đối kháng sinh.
Tóm tắt
Nhật ký hệ thống cung cấp hỗ trợ mạnh mẽ cho việc duy trì an ninh và tính ổn định của hệ thống, nhưng việc xác định bất thường thường phụ thuộc vào ngữ cảnh của chuỗi trong khi ẩn mình trong các dấu vết dưới nền hành vi bình thường đồ sộ. Gần đây, các mô hình transformer đã thể hiện thành công đáng kể trong việc trích xuất đặc trưng của các chuỗi dài và các tác vụ phân loại văn bản. Do đó, chúng tôi kết hợp công việc phát hiện bất thường trong nhật ký hệ thống của mình với việc triển khai nhiều phương pháp ứng dụng trong một mô hình tích hợp. Đó là, mạng đối kháng sinh mà chúng tôi đề xuất dựa trên ba bộ mã hóa transformer, được gọi là Trine. Một trong các bộ mã hóa được sử dụng để trích xuất các đại diện đặc trưng của nhật ký hệ thống, trong khi hai bộ còn lại lần lượt phục vụ như một bộ sinh và một bộ phân biệt cho các Mạng đối kháng sinh nhằm giảm bớt sự không cân bằng giữa các lớp của dữ liệu. Chúng tôi đã đánh giá Trine trên hai tập dữ liệu thực tế, HDFS và OpenStack. Nó cho thấy sự cạnh tranh lớn so với các mô hình hiện tại tốt nhất cho việc phát hiện bất thường trong nhật ký hệ thống. Kết quả thực nghiệm chứng minh rằng kiến trúc tốt nhất của mô hình chúng tôi đạt được điểm F1 là 0.906, cao hơn ít nhất 27.8% so với các phương pháp trước đó.
Từ khóa
#phát hiện bất thường #nhật ký hệ thống #mạng đối kháng sinh #transformer #trích xuất đặc trưngTài liệu tham khảo
Arjovsky M, Chintala S, Bottou L (2017) Wasserstein generative adversarial networks. In: International conference on machine learning. PMLR, pp 214–223
Beltagy I, Peters ME, Cohan A (2020) Longformer: The long-document transformer. arXiv:2004.05150. [cs]
Brown A, Tuor A, Hutchinson B, Nichols N (2018) Recurrent neural network attention mechanisms for interpretable system log anomaly detection. In: Proceedings of the First Workshop on Machine Learning for Computing Systems - MLCS’18. https://doi.org/10.1145/3217871.3217872. ACM Press, USA, pp 1–8
Chalapathy R, Chawla S (2019) Deep Learning for Anomaly Detection: A Survey. arXiv:...... [cs, stat]
Chandola V, Banerjee A, Kumar V (2009) Anomaly detection: A survey. ACM Comput Surv 41(3):1–58. https://doi.org/10.1145/1541880.1541882
Devlin J, Chang MW, Lee K, Toutanova K (2019) BERT: Pre-training of deep bidirectional transformers for language understanding. arXiv:1810.04805. [cs]
Du M, Li F, Zheng G, Srikumar V (2017) Deeplog: Anomaly detection and diagnosis from system logs through deep learning. In: Proceedings of the 2017 ACM SIGSAC conference on computer and communications security. https://doi.org/10.1145/3133956.3134015. ACM, Dallas, pp 1285–1298
Goernitz N, Kloft M, Rieck K, Brefeld U (2013) Toward supervised anomaly detection. J Artif Intell Res 46:235–262. https://doi.org/10.1613/jair.3623
Goodfellow IJ, Pouget-Abadie J, Mirza M, Xu B, Warde-Farley D, Ozair S, Courville A, Bengio Y (2014) Generative adversarial networks. arXiv:1406.2661. [cs, stat]
Han S, Wu Q, Zhang H, Qin B, Hu J, Shi X, Liu L, Yin X (2021) Log-Based Anomaly detection with robust feature extraction and online learning. IEEE Trans Inform Forens Secur 16:2300–2311. https://doi.org/10.1109/TIFS.2021.3053371
He S, Zhu J, He P, Lyu MR (2020) Loghub: A Large Collection of System Log Datasets towards Automated Log Analytics. arXiv:2008.06448. [cs]
Hochreiter S, Schmidhuber J (1997) Long Short-Term memory. Neural Comput 9(8):1735–1780. https://doi.org/10.1162/neco.1997.9.8.1735
Li D, Chen D, Jin B, Shi L, Goh J, Ng SK (2019) MAD-GAN: Multivariate Anomaly Detection for Time Series Data with Generative Adversarial Networks. In: Tetko IV, Kůrková V, Karpov P, Theis F (eds) Artificial Neural Networks and Machine Learning – ICANN 2019: Text and Time Series, Lecture Notes in Computer Science. https://doi.org/10.1007/978-3-030-30490-4_56. Springer International Publishing, Cham, pp 703–716
Lin Q, Zhang H, Lou JG, Zhang Y, Chen X (2016) Log clustering based problem identification for online service systems. In: Proceedings of the 38th International Conference on Software Engineering Companion - ICSE ’16. https://doi.org/10.1145/2889160.2889232. ACM Press, Texas, pp 102–111
Lu S, Wei X, Li Y, Wang L (2018) Detecting anomaly in big data system logs using convolutional neural network. In: 2018 IEEE 16Th intl conf on dependable, autonomic and secure computing, 16th intl conf on pervasive intelligence and computing, 4th intl conf on big data intelligence and computing and cyber science and technology congress(DASC/picom/datacom/ cyberscitech). https://doi.org/10.1109/DASC/PiCom/DataCom/CyberSciTec.2018.00037. IEEE, Athens, pp 151–158
Meng W, Liu Y, Zhu Y, Zhang S, Pei D, Liu Y, Chen Y, Zhang R, Tao S, Sun P, Zhou R (2019) Loganomaly: Unsupervised detection of sequential and quantitative anomalies in unstructured logs. In: Proceedings of the twenty-eighth international joint conference on artificial intelligence. https://doi.org/10.24963/ijcai.2019/658. International Joint Conferences on Artificial Intelligence Organization, China, pp 4739–4745
Mi H, Wang H, Zhou Y, Lyu MRT, Cai H (2013) Toward Fine-Grained, unsupervised, scalable performance diagnosis for Production Cloud Computing Systems. IEEE Transactions on Parallel and Distributed Systems 24(6):1245–1255. https://doi.org/10.1109/TPDS.2013.21
Mirza M, Osindero S (2014) Conditional Generative Adversarial Nets. arXiv:1411.1784. [cs, stat]
Nanduri A, Sherry L (2016) Anomaly detection in aircraft data using Recurrent Neural Networks (RNN). In: 2016 Integrated communications navigation and surveillance (ICNS). https://doi.org/10.1109/ICNSURV.2016.7486356. IEEE , Herndon, pp 5c2–1–5c2–8
Ngo PC, Winarto AA, Kou CKL, Park S, Akram F, Lee HK (2019) Fence GAN: Towards better anomaly detection. In: 2019 IEEE 31St International Conference on tools with artificial intelligence (ICTAI), pp 141–148. https://doi.org/10.1109/ICTAI.2019.00028
Perera P, Patel VM (2019) Learning deep features for One-Class classification. IEEE Trans Image Process 28(11):5450–5463. https://doi.org/10.1109/TIP.2019.2917862
Ren R, Cheng J, Yin Y, Zhan J, Wang L, Li J, Luo C (2018) Deep convolutional neural networks for log event classification on distributed cluster systems. In: 2018 IEEE International conference on big data (big data). https://doi.org/10.1109/BigData.2018.8622611. IEEE, Seattle, WA, USA, pp 1639–1646
Schlegl T, Seeböck P, Waldstein SM, Langs G, Schmidt-Erfurth U (2019) F-anoGAN: Fast unsupervised anomaly detection with generative adversarial networks. Med Image Anal 54:30–44. https://doi.org/10.1016/j.media.2019.01.010
Schlegl T, Seeböck P, Waldstein SM, Schmidt-Erfurth U, Langs G (2017) Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery. In: Niethammer M, Styner M, Aylward S, Zhu H, Oguz I, Yap PT, Shen D (eds) Information Processing in Medical Imaging, Lecture Notes in Computer Science. https://doi.org/10.1007/978-3-319-59050-9_12. Springer International Publishing, Cham, pp 146–157
Tuor A, Kaplan S, Hutchinson B, Nichols N, Robinson S (2017) Deep Learning for Unsupervised Insider Threat Detection in Structured Cybersecurity Data Streams. arXiv:1710.00811. [cs, stat]
Vaswani A, Shazeer N, Parmar N, Uszkoreit J, Jones L, Gomez AN, Kaiser L, Polosukhin I (2017) Attention Is All You Need. arXiv:1706.03762. [cs]
Wang S, Li BZ, Khabsa M, Fang H, Ma H (2020) Linformer: Self-Attention with Linear Complexity. arXiv:2006.04768. [cs, stat]
Xia B, Bai Y, Yin J, Li Y, Xu J (2020) LogGAN: A log-level generative adversarial network for anomaly detection using permutation event modeling information systems frontiers. https://doi.org/10.1007/s10796-020-10026-3
Yu L, Zhang W, Wang J, Yu Y (2017) SeqGAN: Sequence Generative Adversarial Nets with Policy Gradient Proceedings of the AAAI Conference on Artificial Intelligence 31(1)
Zenati H, Romain M, Foo C, Lecouat B, Chandrasekhar V (2018) Adversarially learned anomaly detection. In: 2018 IEEE International conference on data mining (ICDM), pp 727–736. https://doi.org/10.1109/ICDM.2018.00088
Zhang D, Zheng Y, Wen Y, Xu Y, Wang J, Yu Y, Meng D (2018) Role-based log analysis applying deep learning for insider threat detection. In: Proceedings of the 1st workshop on security-oriented designs of computer architectures and processors - SecArch’18. https://doi.org/10.1145/3267494.3267495. ACM Press, Canada, pp 18–20
Zhou H, Zhang S, Peng J, Zhang S, Li J, Xiong H, Zhang W (2021) Informer: Beyond efficient transformer for long sequence time-series forecasting. arXiv:2012.07436. [cs]