Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Máy học quên: lọc tuyến tính cho các bộ phân loại dựa trên logit
Tóm tắt
Gần đây, các luật được ban hành đã cấp cho các cá nhân một số quyền nhất định để quyết định cách mà dữ liệu cá nhân của họ có thể được sử dụng, đặc biệt là "quyền được quên". Điều này tạo ra một thách thức cho học máy: làm thế nào để tiếp tục khi một cá nhân rút lại sự cho phép sử dụng dữ liệu đã được sử dụng trong quá trình huấn luyện của một mô hình? Từ câu hỏi này xuất hiện lĩnh vực học máy quên, có thể được mô tả rộng rãi là nghiên cứu cách "xóa dữ liệu huấn luyện khỏi các mô hình". Công trình của chúng tôi bổ sung cho hướng nghiên cứu này trong bối cảnh cụ thể của các yêu cầu xóa theo lớp cho các mô hình phân loại (ví dụ: mạng nơ-ron sâu). Như một bước đầu tiên, chúng tôi đề xuất lọc tuyến tính như một phương pháp làm sạch trực quan và hiệu quả về tính toán. Các thử nghiệm của chúng tôi chứng minh những lợi ích trong một môi trường đối kháng so với các sơ đồ xóa đơn giản.
Từ khóa
#học máy quên #lọc tuyến tính #mô hình phân loại #nơ-ron sâu #quyền được quênTài liệu tham khảo
Abadi, M., Chu, A., Goodfellow, I., McMahan, B., Mironov, I., Talwar, K., & Zhang, L. (2016). Deep learning with differential privacy. In: 23rd ACM Conference on Computer and Communications Security (ACM CCS)
Achille, A., Paolini, G., & Soatto, S. (2019). Where is the information in a deep neural network? arXiv 190512213
AT&T Laboratories Cambridge (1994) The database of faces
Biggio, B., & Roli, F. (2018). Wild patterns: Ten years after the rise of adversarial machine learning. Pattern Recognition, 84, 317–331.
Bourtoule, L., Chandrasekaran, V., Choquette-Choo, C., Jia, H., Travers, A., Zhang, B., Lie, D., & Papernot, N .(2019). Machine unlearning. arXiv preprint arXiv:1912.03817
Cao, Y., & Yang, J . (2015). Towards making systems forget with machine unlearning. In: 2015 IEEE Symposium on Security and Privacy
Carlini, N., Liu, C., Erlingsson, Ú., Kos, J., & Song, D. (2019). The secret sharer: Evaluating and testing unintended memorization in neural networks. In: 28th USENIX Security Symposium (USENIX Security 19)
Council of European Union (2012) Regulation (eu) 2012/0011. https://eur-lex.europa.eu/legal-content/EN/TXT/?uri=CELEX:52012PC0011, accessed: 2022/04/28 09:23:04
Council of European Union (2016) Regulation (eu) 2016/679. https://eur-lex.europa.eu/eli/reg/2016/679/oj, accessed: 2022/04/28 09:23:04
Dwork, C., & Roth, A .(2014). The algorithmic foundations of differential privacy. Foundations Trends in Theoretical Computer Science, 4(3–4):211-407
Dwork, C., McSherry, F., Nissim, K., & Smith, A .(2006). Calibrating noise to sensitivity in private data analysis. In: Halevi S, Rabin T (eds) Theory of Cryptography
Fredrikson, M., Lantz, E., Jha, S., Lin, S., Page, D., & Ristenpart, T .(2014) . Privacy in pharmacogenetics: An end-to-end case study of personalized warfarin dosing. In: Proceedings of the 23rd USENIX Conference on Security Symposium
Fredrikson, M., Jha, S., & Ristenpart, T. (2015) . Model inversion attacks that exploit confidence information and basic countermeasures. In: Proceedings of the 22nd ACM SIGSAC Conference on Computer and Communications Security
Ginart, A., Guan, M., Valiant, G., & Zou, JY .(2019) . Making AI forget you: Data deletion in machine learning. In: Advances in Neural Information Processing Systems, pp 3518–3531
Golatkar, A., Achille, A., & Soatto, S .(2020a) . Eternal sunshine of the spotless net: Selective forgetting in deep networks. IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)
Golatkar, A., Achille, A., & Soatto, S .(2020b) . Forgetting outside the box: Scrubbing deep networks of information accessible from input-output observations. arXiv 200302960
Guo, C., Goldstein, T., Hannun, A., & van der Maaten, L .(2019) . Certified data removal from machine learning models. arXiv 191103030
Hayes, J., Melis, L., Danezis, G., & De Cristofaro, E. (2019). LOGAN: Membership inference attacks against generative models. PoPETs
He, K., Zhang, X., Ren, S., & Sun, J .(2016). Deep residual learning for image recognition. 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR)
Jacot, A., Gabriel, F., & Hongler, C . (2018) . Neural tangent kernel: Convergence and generalization in neural networks. Advances in Neural Information Processing Systems
Kearns, M. (1998). Efficient noise-tolerant learning from statistical queries. Journal of the ACM, 45(6), 983–1006.
Kerckhoffs, A. (1883). La cryptographie militaire. Journal des sciences militaires, IX(1), 5–38.
Koh, PW., & Liang, P . (2017) .Understanding black-box predictions via influence functions. Proceedings of the 34th International Conference on Machine Learning
Krizhevsky, A. (2009). Learning multiple layers of features from tiny images. Tech. rep.: University of Toronto.
Lecun, Y., Bottou, L., Bengio, Y., & Haffner, P. (1998). Gradient-based learning applied to document recognition. Proceedings of the IEEE
Lee, J., Xiao, L., Schoenholz, S., Bahri, Y., Sohl-Dickstein, J., & Pennington, J .(2019) . Wide neural networks of any depth evolve as linear models under gradient descent. Advances in Neural Information Processing Systems
McSherry, F. (2016). Statistical inference considered harmful. https://github.com/frankmcsherry/blog/blob/master/posts/2016-06-14.md, accessed: 2022/04/28 09:23:04
Papernot, N., McDaniel, P., Jha, S., Fredrikson, M., Celik, ZB., & Swami, A. (2016). The limitations of deep learning in adversarial settings. In: 2016 IEEE European symposium on security and privacy (EuroS&P), IEEE, pp 372–387
Sablayrolles, A., Douze, M., Schmid, C., Ollivier, Y., & Jegou, H. (2019). White-box vs black-box: Bayes optimal strategies for membership inference. In: International Conference on Machine Learning
Shokri, R., Stronati, M., Song, C., & Shmatikov, V. (2017). Membership inference attacks against machine learning models. In: 2017 IEEE Symposium on Security and Privacy (SP)
Sommer, DM., Song, L., Wagh, S., & Mittal, P. (2020). Towards probabilistic verification of machine unlearning. arXiv 200304247
State of California (2018) California Consumer Privacy Act. https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_ id=201720180AB375, accessed: 2022/04/28 09:23:04
van der Maaten, L., & Hannun, A.Y. (2020). The trade-offs of private prediction. CoRR abs/2007.05089, https://arxiv.org/abs/2007.05089, 2007.05089
Veale, M., Binns, R., & Edwards, L. (2018). Algorithms that remember: Model inversion attacks and data protection law. Mathematical, Physical and Engineering Sciences: Philosophical Transactions of the Royal Society A.
Villaronga, EF., Kieseberg, P., & Li, TJ .(2018) . Humans forget, machines remember: Artificial intelligence and the right to be forgotten. Computer Law & Security Review
Yeom, S., Giacomelli, I., Fredrikson, M., & Jha, S .(2018) . Privacy risk in machine learning: Analyzing the connection to overfitting. 2018 IEEE 31st Computer Security Foundations Symposium (CSF)
Zhang, Y., Jia, R., Pei, H., Wang, W., Li, B., & Song, D .(2020) . The secret revealer: generative model-inversion attacks against deep neural networks. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, pp 253–261