Nội dung được dịch bởi AI, chỉ mang tính chất tham khảo
Bảo mật thông tin trong hồi quy logistic hai bên trên dữ liệu phân đoạn theo chiều dọc sử dụng chia sẻ gradient bất đồng bộ
Tóm tắt
Việc ứng dụng đầy đủ machine learning đã gây ra nhiều vấn đề liên quan đến bảo vệ quyền riêng tư. Đặc biệt trong machine learning nhiều bên, dữ liệu riêng tư thường bị lộ ra trong các giai đoạn tập hợp, truyền tải và giao tiếp, dẫn đến vấn đề rò rỉ dữ liệu riêng tư. Các công trình hiện tại sử dụng tính toán an toàn giữa nhiều bên (SMPC) hoặc công nghệ chia sẻ bí mật để đảm bảo bảo vệ quyền riêng tư trong machine learning nhiều bên. Tuy nhiên, điều này mang lại chi phí khổng lồ và những trở ngại về tính khả thi. Phương pháp phân vùng dữ liệu là một trong những yếu tố quan trọng nhất ảnh hưởng đến hiệu suất của machine learning. Dữ liệu phân vùng theo chiều dọc gặp phải vấn đề thông tin đặc trưng không đầy đủ do một bên tham gia duy nhất nắm giữ và quy trình huấn luyện phức tạp. Do đó, việc giải quyết hiệu quả và an toàn quy trình huấn luyện nhiều bên sử dụng dữ liệu phân vùng theo chiều dọc là điều cần thiết và cấp bách. Hơn nữa, việc huấn luyện các mô hình hồi quy logistic một cách hiệu quả là một trong những hướng nghiên cứu đáng chú ý. Trong bài báo này, chúng tôi đề xuất một giao thức có thể hoàn thành mô hình hồi quy logistic trên dữ liệu phân vùng theo chiều dọc thông qua việc chia sẻ gradient bất đồng bộ. Đồng thời, chúng tôi sử dụng một phương pháp mã hóa đồng hình hiệu quả để bảo vệ dữ liệu riêng tư. Các thí nghiệm cho thấy giao thức của chúng tôi có thể giảm thời gian huấn luyện mà không làm ảnh hưởng nhiều đến kết quả đầu ra, và tốc độ tăng có thể đạt trên 10 lần. Trong khi đó, nó sẽ đảm bảo an toàn cho bộ dữ liệu phân vùng theo chiều dọc.
Từ khóa
#bảo vệ quyền riêng tư #hồi quy logistic #chia sẻ gradient bất đồng bộ #dữ liệu phân đoạn theo chiều dọc #mã hóa đồng hìnhTài liệu tham khảo
Brakerski Z, Gentry C, Vaikuntanathan V (2014) (leveled) fully homomorphic encryption without bootstrapping. ACM Trans Comput Theory 6(3). https://doi.org/10.1145/2633600
Cheng K, Fan T, Jin Y, Liu Y, Chen T, Yang Q (2019) Secureboost: A lossless federated learning framework
Cheon JH, Kim A, Kim M, Song Y (2017) Homomorphic encryption for arithmetic of approximate numbers. In: International conference on the theory and application of cryptology and information security. Springer, pp 409–437
Duverle DA, Kawasaki S, Yamada Y, Sakuma J, Tsuda K (2015) Privacy-preserving statistical analysis by exact logistic regression. In: 2015 IEEE Security and privacy workshops. IEEE, pp 7–16
Feng S, Yu H (2020) Multi-participant multi-class vertical federated learning. arXiv:2001.11154
Gascón A., Schoppmann P, Balle B, Raykova M, Doerner J, Zahur S, Evans D (2017) Privacy-preserving distributed linear regression on high-dimensional data. Proc Privacy Enhanc Technol 2017(4):345–364
Hardy S, Henecka W, Ivey-Law H, Nock R, Patrini G, Smith G, Thorne B (2017) Private federated learning on vertically partitioned data via entity resolution and additively homomorphic encryption. arXiv:1711.10677
Liu Y, Chen C, Zheng L, Wang L, Zhou J, Liu G (2020) Privacy preserving pca for multiparty modeling. arXiv:2002.02091
Liu Y, Kang Y, Zhang X, Li L, Cheng Y, Chen T, Hong M, Yang Q (2019) A communication efficient collaborative learning framework for distributed features
Mohassel P, Zhang Y (2017) Secureml: a system for scalable privacy-preserving machine learning. In: 2017 IEEE Symposium on security and privacy (SP). IEEE, pp 19–38
Paillier P (1999) Public-key cryptosystems based on composite degree residuosity classes, pp 223–238
Song Lei MC Privacy-preserving logistic regressionon vertically partitioned data. J Comput Res Dev 56(10), 2243–2249. https://doi.org/10.7544/issn1000-1239.2019.20190414. http://crad.ict.ac.cn/CN/abstract/abstract4032.shtml
Wu S, Sakuma J (2013) Privacy-preservation for Stochastic Gradient Descent Method, pp 3l1OS06a3–3l1OS06a3
Yang K, Fan T, Chen T, Shi Y, Yang Q (2019) A quasi-newton method based vertical federated learning framework for logistic regression
Yang Q, Liu Y, Chen T, Tong Y (2019) Federated machine learning: Concept and applications. ACM Trans Intell Syst Technol (TIST) 10(2):1–19
Yang S, Ren B, Zhou X, Liu L (2019) Parallel distributed logistic regression for vertical federated learning without third-party coordinator. arXiv:1911.09824