Bảo mật thông tin trong hồi quy logistic hai bên trên dữ liệu phân đoạn theo chiều dọc sử dụng chia sẻ gradient bất đồng bộ

Peer-to-Peer Networking and Applications - Tập 14 - Trang 1379-1387 - 2020
Qianjun Wei1, Qiang Li1, Zhipeng Zhou1, ZhengQiang Ge1, Yonggang Zhang2
1College of Computer Science and Technology, Jilin University, Changchun, China
2Key Laboratory of Symbolic Computation and Knowledge Engineering of Ministry of Education, Jilin University, Changchun, China

Tóm tắt

Việc ứng dụng đầy đủ machine learning đã gây ra nhiều vấn đề liên quan đến bảo vệ quyền riêng tư. Đặc biệt trong machine learning nhiều bên, dữ liệu riêng tư thường bị lộ ra trong các giai đoạn tập hợp, truyền tải và giao tiếp, dẫn đến vấn đề rò rỉ dữ liệu riêng tư. Các công trình hiện tại sử dụng tính toán an toàn giữa nhiều bên (SMPC) hoặc công nghệ chia sẻ bí mật để đảm bảo bảo vệ quyền riêng tư trong machine learning nhiều bên. Tuy nhiên, điều này mang lại chi phí khổng lồ và những trở ngại về tính khả thi. Phương pháp phân vùng dữ liệu là một trong những yếu tố quan trọng nhất ảnh hưởng đến hiệu suất của machine learning. Dữ liệu phân vùng theo chiều dọc gặp phải vấn đề thông tin đặc trưng không đầy đủ do một bên tham gia duy nhất nắm giữ và quy trình huấn luyện phức tạp. Do đó, việc giải quyết hiệu quả và an toàn quy trình huấn luyện nhiều bên sử dụng dữ liệu phân vùng theo chiều dọc là điều cần thiết và cấp bách. Hơn nữa, việc huấn luyện các mô hình hồi quy logistic một cách hiệu quả là một trong những hướng nghiên cứu đáng chú ý. Trong bài báo này, chúng tôi đề xuất một giao thức có thể hoàn thành mô hình hồi quy logistic trên dữ liệu phân vùng theo chiều dọc thông qua việc chia sẻ gradient bất đồng bộ. Đồng thời, chúng tôi sử dụng một phương pháp mã hóa đồng hình hiệu quả để bảo vệ dữ liệu riêng tư. Các thí nghiệm cho thấy giao thức của chúng tôi có thể giảm thời gian huấn luyện mà không làm ảnh hưởng nhiều đến kết quả đầu ra, và tốc độ tăng có thể đạt trên 10 lần. Trong khi đó, nó sẽ đảm bảo an toàn cho bộ dữ liệu phân vùng theo chiều dọc.

Từ khóa

#bảo vệ quyền riêng tư #hồi quy logistic #chia sẻ gradient bất đồng bộ #dữ liệu phân đoạn theo chiều dọc #mã hóa đồng hình

Tài liệu tham khảo

Brakerski Z, Gentry C, Vaikuntanathan V (2014) (leveled) fully homomorphic encryption without bootstrapping. ACM Trans Comput Theory 6(3). https://doi.org/10.1145/2633600 Cheng K, Fan T, Jin Y, Liu Y, Chen T, Yang Q (2019) Secureboost: A lossless federated learning framework Cheon JH, Kim A, Kim M, Song Y (2017) Homomorphic encryption for arithmetic of approximate numbers. In: International conference on the theory and application of cryptology and information security. Springer, pp 409–437 Duverle DA, Kawasaki S, Yamada Y, Sakuma J, Tsuda K (2015) Privacy-preserving statistical analysis by exact logistic regression. In: 2015 IEEE Security and privacy workshops. IEEE, pp 7–16 Feng S, Yu H (2020) Multi-participant multi-class vertical federated learning. arXiv:2001.11154 Gascón A., Schoppmann P, Balle B, Raykova M, Doerner J, Zahur S, Evans D (2017) Privacy-preserving distributed linear regression on high-dimensional data. Proc Privacy Enhanc Technol 2017(4):345–364 Hardy S, Henecka W, Ivey-Law H, Nock R, Patrini G, Smith G, Thorne B (2017) Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption. arXiv:1711.10677 Liu Y, Chen C, Zheng L, Wang L, Zhou J, Liu G (2020) Privacy preserving pca for multiparty modeling. arXiv:2002.02091 Liu Y, Kang Y, Zhang X, Li L, Cheng Y, Chen T, Hong M, Yang Q (2019) A communication efficient collaborative learning framework for distributed features Mohassel P, Zhang Y (2017) Secureml: a system for scalable privacy-preserving machine learning. In: 2017 IEEE Symposium on security and privacy (SP). IEEE, pp 19–38 Paillier P (1999) Public-key cryptosystems based on composite degree residuosity classes, pp 223–238 Song Lei MC Privacy-preserving logistic regressionon vertically partitioned data. J Comput Res Dev 56(10), 2243–2249. https://doi.org/10.7544/issn1000-1239.2019.20190414. http://crad.ict.ac.cn/CN/abstract/abstract4032.shtml Wu S, Sakuma J (2013) Privacy-preservation for Stochastic Gradient Descent Method, pp 3l1OS06a3–3l1OS06a3 Yang K, Fan T, Chen T, Shi Y, Yang Q (2019) A quasi-newton method based vertical federated learning framework for logistic regression Yang Q, Liu Y, Chen T, Tong Y (2019) Federated machine learning: Concept and applications. ACM Trans Intell Syst Technol (TIST) 10(2):1–19 Yang S, Ren B, Zhou X, Liu L (2019) Parallel distributed logistic regression for vertical federated learning without third-party coordinator. arXiv:1911.09824