Tấn công đối kháng là gì? Các nghiên cứu khoa học liên quan

Tiếng AnhAdversarial Attack

Tấn công đối kháng là kỹ thuật cố ý tạo ra các nhiễu loạn nhỏ không thể nhận biết bằng mắt thường trên dữ liệu đầu vào nhằm đánh lừa các mô hình học máy và mạng nơ-ron sâu đưa ra dự đoán hoặc phân loại sai lệch.

Kỹ thuật và công nghệ 351 lượt xem Cập nhật 12/9/2026

Định nghĩa tấn công đối kháng

Tấn công đối kháng (adversarial attack) là kỹ thuật thao túng đầu vào của một hệ thống học máy hoặc trí tuệ nhân tạo nhằm mục đích khiến mô hình đưa ra dự đoán sai lệch có chủ đích. Dữ liệu bị tấn công được gọi là mẫu đối kháng (adversarial example) – là những đầu vào gần như không thể phân biệt với đầu vào hợp lệ về mặt thị giác hoặc cảm quan, nhưng vẫn đủ để đánh lừa mô hình một cách nhất quán.

Điểm đặc biệt của tấn công đối kháng là nhiễu được thêm vào đầu vào có cường độ rất nhỏ, thường nằm trong giới hạn mà người dùng không nhận ra được. Tuy nhiên, chỉ cần một thay đổi cực nhỏ trong đầu vào cũng có thể gây ra sự thay đổi lớn trong đầu ra của mô hình học sâu, đặc biệt là các mạng nơ-ron nhiều lớp. Điều này cho thấy hệ thống AI có thể cực kỳ nhạy cảm với các nhiễu không đáng kể trong không gian đầu vào.

Tấn công đối kháng là một chủ đề nghiên cứu quan trọng vì nó đặt ra câu hỏi về tính ổn định và độ tin cậy của các mô hình học máy hiện đại trong môi trường thực tế. Những ứng dụng như xe tự hành, nhận diện khuôn mặt, giọng nói và hệ thống y tế thông minh đều có thể trở thành mục tiêu của loại tấn công này nếu không được bảo vệ đầy đủ.

Bản chất toán học của tấn công đối kháng

Về mặt hình thức, mục tiêu của tấn công đối kháng là tìm ra một nhiễu δ\delta sao cho mô hình phân loại f(x)f(x) với đầu vào gốc xx cho nhãn đúng, nhưng với đầu vào bị nhiễu x′=x+δx' = x + \delta thì mô hình lại đưa ra nhãn sai f(x′)≠f(x)f(x') \ne f(x). Ràng buộc là ∥δ∥≤ϵ\|\delta\| \leq \epsilon – nghĩa là nhiễu không được vượt quá một ngưỡng nhỏ để đảm bảo tính "vô hình" với con người.

Bài toán có thể được biểu diễn như sau:

maximizeδ  L(f(x+δ),y),subject to ∥δ∥≤ϵ \text{maximize}_{\delta} \; \mathcal{L}(f(x + \delta), y), \quad \text{subject to } \|\delta\| \leq \epsilon

Trong đó, L\mathcal{L} là hàm mất mát (loss function), yy là nhãn thật, và ff là mô hình. Mục tiêu là làm tăng mất mát để mô hình đưa ra dự đoán sai. Một số chuẩn phổ biến được sử dụng để giới hạn nhiễu bao gồm chuẩn L∞, L2 và L1, tùy thuộc vào yêu cầu về độ khó và mức độ tự nhiên của mẫu đối kháng.

Chuẩn nhiễu Ký hiệu Mô tả
Chuẩn vô cùng L∞ Giới hạn độ lớn tuyệt đối của từng phần tử nhiễu
Chuẩn Euclid L2 Tổng bình phương căn bậc hai toàn bộ nhiễu
Chuẩn Manhattan L1 Tổng giá trị tuyệt đối của tất cả phần tử nhiễu

Phân loại tấn công đối kháng

Có nhiều cách phân loại tấn công đối kháng, nhưng thông dụng nhất là theo quyền truy cập của kẻ tấn công vào mô hình, mục tiêu tấn công và phương pháp sinh mẫu. Dựa trên quyền truy cập, tấn công có thể là white-box (biết hoàn toàn cấu trúc và tham số mô hình), black-box (chỉ truy cập đầu vào và đầu ra) hoặc grey-box (biết một phần mô hình).

Theo mục tiêu tấn công, có hai loại chính:

  • Tấn công không mục tiêu (untargeted): chỉ cần làm thay đổi kết quả đầu ra khỏi nhãn đúng, không cần hướng tới một nhãn cụ thể.
  • Tấn công có mục tiêu (targeted): khiến mô hình dự đoán nhầm sang một nhãn cụ thể đã định trước.

Phân loại theo phương pháp sinh mẫu gồm các nhóm sử dụng gradient (gradient-based), điểm số (score-based), truy hồi mô hình (transfer-based), và tối ưu hóa xác suất (probabilistic methods). Mỗi phương pháp có lợi thế riêng về tốc độ, hiệu quả và khả năng áp dụng vào các loại mô hình khác nhau.

Các phương pháp tấn công phổ biến

Nhiều thuật toán cụ thể đã được đề xuất để tạo ra mẫu đối kháng hiệu quả. Phổ biến nhất là phương pháp dựa trên đạo hàm gradient, sử dụng thông tin về độ dốc của hàm mất mát để tìm hướng nhiễu hiệu quả. Một số phương pháp nổi bật gồm:

  • FGSM (Fast Gradient Sign Method): do Goodfellow et al. (2014) đề xuất, dùng đạo hàm cấp một để sinh mẫu chỉ với một bước nhiễu: x′=x+ϵ⋅sign(∇xL(f(x),y))x' = x + \epsilon \cdot \text{sign}(\nabla_x \mathcal{L}(f(x), y)).
  • PGD (Projected Gradient Descent): là mở rộng nhiều bước của FGSM, lặp lại việc cập nhật nhiễu và chiếu kết quả về không gian hợp lệ.
  • Carlini & Wagner (CW) Attack: dùng tối ưu hóa phi tuyến để tìm nhiễu nhỏ nhất mà vẫn đạt được tấn công hiệu quả cao.

Mỗi thuật toán có khả năng gây nhiễu khác nhau, một số có thể vượt qua các lớp phòng vệ thông thường. Chi tiết thuật toán FGSM và PGD có thể tham khảo tại arXiv:1412.6572.

Ảnh hưởng tới hệ thống học máy

Tấn công đối kháng đã bộc lộ một điểm yếu cơ bản trong các mô hình học máy, đặc biệt là mạng nơ-ron sâu: sự nhạy cảm bất ngờ với những nhiễu nhỏ trong dữ liệu đầu vào. Dù mô hình có thể đạt độ chính xác cao trên tập kiểm tra truyền thống, chỉ cần một nhiễu đối kháng tinh vi cũng có thể khiến nó đưa ra dự đoán hoàn toàn sai lệch.

Điều này đặc biệt nghiêm trọng trong các hệ thống có tính an toàn cao như xe tự hành, chẩn đoán y tế bằng hình ảnh, hay phân tích tài chính. Ví dụ, một biển báo giao thông bị chỉnh sửa bằng vài pixel có thể bị nhận diện sai thành một biển khác hoàn toàn, dẫn đến hành vi lái xe nguy hiểm. Hay trong chẩn đoán ảnh X-quang, nhiễu đối kháng có thể làm mô hình bỏ sót khối u nghiêm trọng.

Không chỉ gây ra lỗi tại chỗ, mẫu đối kháng còn có tính chuyển giao (transferability): một mẫu được tạo để đánh lừa mô hình A có thể vẫn hiệu quả trên mô hình B với kiến trúc khác. Tính chất này khiến tấn công trở nên nguy hiểm ngay cả trong các hệ thống bảo mật hạn chế quyền truy cập.

Ứng dụng thực tiễn của tấn công đối kháng

Mặc dù bản chất là một kỹ thuật tấn công, adversarial attack cũng mang lại nhiều giá trị thực tiễn trong phát triển và kiểm thử hệ thống AI. Nó đóng vai trò như một công cụ kiểm tra độ bền (robustness testing) giúp các nhà nghiên cứu và kỹ sư phát hiện điểm yếu tiềm ẩn trong mô hình trước khi triển khai thực tế.

Trong lĩnh vực bảo mật, mẫu đối kháng giúp kiểm tra khả năng phòng thủ của hệ thống xác thực sinh trắc học. Nghiên cứu tại hội nghị CVPR 2018 đã chỉ ra rằng chỉ cần đeo kính được thiết kế đặc biệt, một người có thể đánh lừa hệ thống nhận diện khuôn mặt để mạo danh người khác. Xem chi tiết tại CVPR 2018.

Trong học thuật, tấn công đối kháng còn giúp hiểu rõ hơn về cấu trúc nội tại của mô hình học sâu, cách nó ra quyết định và giới hạn trong việc tổng quát hóa. Những hiểu biết này góp phần cải tiến kiến trúc mạng và thuật toán huấn luyện nhằm tạo ra các mô hình AI đáng tin cậy hơn.

Các chiến lược phòng thủ

Để bảo vệ mô hình học máy khỏi tấn công đối kháng, nhiều kỹ thuật phòng thủ đã được đề xuất. Mỗi phương pháp có ưu điểm riêng nhưng chưa có giải pháp nào hoàn toàn kháng được mọi loại tấn công. Một số kỹ thuật phổ biến bao gồm:

  • Adversarial Training: đưa mẫu đối kháng vào tập huấn luyện để mô hình học cách xử lý chúng.
  • Input Transformation: làm trơn, nén hoặc chuẩn hóa dữ liệu đầu vào nhằm loại bỏ nhiễu.
  • Gradient Masking: làm mờ hoặc giấu thông tin gradient để gây khó khăn cho thuật toán sinh nhiễu.

Adversarial training là kỹ thuật hiệu quả nhất tính đến hiện tại, nhưng đổi lại chi phí tính toán rất cao, thời gian huấn luyện dài và độ chính xác trên dữ liệu gốc có thể bị giảm. Gradient masking có thể khiến kẻ tấn công không tìm được hướng sinh mẫu, nhưng cũng có nguy cơ tạo ra ảo tưởng an toàn khi dùng sai cách.

Nghiên cứu về phòng thủ tiếp tục được mở rộng, tập trung vào các kỹ thuật kết hợp nhiều tầng bảo vệ, tối ưu hóa loss function để tăng tính ổn định, hoặc dùng chứng nhận toán học cho độ bền mô hình. Tham khảo thêm tại Athalye et al., 2018.

Khái niệm mô hình phòng thủ toàn diện

Ý tưởng về một mô hình học sâu "miễn nhiễm" với tấn công đối kháng hiện vẫn là mục tiêu lý tưởng. Những nghiên cứu gần đây hướng đến các phòng thủ có chứng nhận (certified defenses) – tức mô hình có thể chứng minh được giới hạn tối đa của nhiễu mà nó có thể chịu đựng mà không thay đổi kết quả.

Một trong những kỹ thuật tiêu biểu là Randomized Smoothing – kết hợp nhiều dự đoán ngẫu nhiên để ổn định đầu ra mô hình. Ngoài ra, các phương pháp như Interval Bound Propagation (IBP), Lipschitz regularization hoặc chứng minh dựa trên hình học convex đang được phát triển mạnh mẽ.

Những mô hình có chứng nhận này thường đánh đổi giữa hiệu năng và độ tin cậy. Tuy nhiên, chúng là hướng đi đầy hứa hẹn trong môi trường yêu cầu độ an toàn cao như xe tự hành, hệ thống y tế hoặc kiểm soát không gian mạng. Xem thêm tại Cohen et al., 2019.

Liên hệ với bảo mật hệ thống AI

Tấn công đối kháng là một thành phần quan trọng trong lĩnh vực bảo mật AI (AI security), đóng vai trò tương tự như tấn công mạng trong bảo mật truyền thống. Nó gắn liền với các nguy cơ về rò rỉ dữ liệu, truy cập trái phép, và kiểm soát sai lệch hành vi mô hình trong các ứng dụng nhạy cảm như quốc phòng, tài chính và y tế.

Trong các hệ thống sử dụng AI tự động ra quyết định, một mẫu đối kháng thành công có thể gây ra hậu quả nghiêm trọng về mặt xã hội hoặc pháp lý. Do đó, việc tích hợp bảo mật AI từ khâu thiết kế, huấn luyện cho đến vận hành là yếu tố không thể thiếu trong phát triển công nghệ hiện đại.

Kết luận

Tấn công đối kháng không chỉ là một mối đe dọa kỹ thuật, mà còn là thách thức lớn đối với tính minh bạch, độ tin cậy và an toàn của các hệ thống AI trong thực tiễn. Việc hiểu sâu về cơ chế, hình thức và cách phòng thủ trước các cuộc tấn công này là nền tảng để xây dựng các mô hình học máy bền vững, có thể hoạt động ổn định và có trách nhiệm trong mọi hoàn cảnh ứng dụng.

Câu hỏi thường gặp

Phương pháp tạo mẫu đối kháng Fast Gradient Sign Method (FGSM) hoạt động theo nguyên lý nào?

FGSM tính toán đạo hàm riêng của hàm mất mát theo dữ liệu đầu vào và cộng một lượng nhiễu loạn tỷ lệ với hàm dấu của gradient (nhân hệ số epsilon), tối đa hóa tổn thất phân loại chỉ sau một bước lan truyền ngược duy nhất.

Phân biệt tấn công hộp trắng (white-box attack) và tấn công hộp đen (black-box attack) trong học máy?

Tấn công hộp trắng giả định kẻ tấn công nắm toàn bộ thông tin kiến trúc mô hình, tham số trọng số và gradient; trong khi tấn công hộp đen chỉ có quyền truy cập đầu vào - đầu ra và dựa vào tính chất chuyển giao (transferability) của mẫu đối kháng hoặc xấp xỉ gradient.

Huấn luyện đối kháng (adversarial training) giúp tăng cường độ vững chắc của mô hình như thế nào?

Huấn luyện đối kháng đưa trực tiếp các mẫu đối kháng sinh ra trong quá trình tối ưu hóa cực tiểu - cực đại (min-max optimization) vào tập huấn luyện cùng nhãn chính xác, buộc mô hình học cách phẳng hóa cảnh quan mất mát xung quanh các điểm dữ liệu.

Các nghiên cứu khoa học về “tấn công đối kháng”

Công bố nổi bật trên thế giới và tại Việt Nam, kèm tóm tắt theo hướng chủ đề.

Mới nhất

  • Black-box Bayesian adversarial attack with transferable priors

    Shudong Zhang và cộng sự2024Machine Learning1 trích dẫn

    AI tóm tắt

    Trong bài toán tấn công đối kháng hộp đen dựa trên điểm số, nghiên cứu phương pháp phát triển thuật toán BO-ATP. Kết hợp tối ưu Bayes (Bayesian optimization) với tiên nghiệm chuyển giao từ mô hình thay thế, kỹ thuật tìm nhiễu trong không gian tiềm ẩn chiều thấp. Thử nghiệm ghi nhận BO-ATP đạt tỷ lệ thành công cao với ít truy vấn, vượt qua cả mô hình huấn luyện đối kháng, mở rộng kỹ thuật tấn công đối kháng.

  • Local aggressive and physically realizable adversarial attacks on 3D point cloud

    Zhiyu Chen và cộng sự2024Computers & Security

    AI tóm tắt

    Đối với mạng nơ-ron sâu trên đám mây điểm 3D (PointNet, PointNet++, DGCNN), nghiên cứu thực nghiệm đề xuất thuật toán Local Aggressive Adversarial Attacks (L3A) cho tấn công đối kháng cục bộ. Thay vì biến dạng toàn cục dễ kẹt cực trị, tác giả chọn điểm nổi bật theo gradient để tối ưu nhiễu loạn có khả năng hiện thực hóa vật lý. Kết quả ghi nhận hiệu quả vượt các phương pháp trước, mở rộng hiểu biết về tấn công đối kháng 3D.

  • Maxwell’s Demon in MLP-Mixer: towards transferable adversarial attacks

    Haoran Lyu và cộng sự2024Cybersecurity

    AI tóm tắt

    Kiến trúc MLP-Mixer là đối tượng trong nghiên cứu thực nghiệm đề xuất khung Maxwell’s demon Attack (MA) cho tấn công đối kháng chuyển giao. Bằng cách che mặt nạ đầu vào để phá vỡ cơ chế trộn kênh và trộn token, phương pháp đạt tỷ lệ tấn công hộp đen cao hơn và tăng hiệu suất tới 55.9% khi kết hợp kỹ thuật sẵn có. Kết quả mở rộng hiểu biết về tấn công đối kháng xuyên kiến trúc trên MLP-Mixer.

  • Adversarial attacks and defenses on ML- and hardware-based IoT device fingerprinting and identification

    Pedro Miguel Sánchez Sánchez và cộng sự2024Future Generation Computer Systems

    AI tóm tắt

    Nhận diện dấu vân tay phần cứng IoT được đánh giá qua nghiên cứu thực nghiệm trên 45 Raspberry Pi dùng LSTM-CNN (F1 trên 0.96) trước tấn công đối kháng. Biến động nhiệt độ không phá vỡ được mô hình, nhưng tấn công lẩn tránh đánh lừa hiệu quả hệ thống chưa bảo vệ. Kết hợp adversarial training và model distillation giảm tỷ lệ tấn công thành công từ 0.88 xuống 0.17, làm rõ hướng phòng thủ tấn công đối kháng trên IoT.

  • WFSS: weighted fusion of spectral transformer and spatial self-attention for robust hyperspectral image classification against adversarial attacks

    Lichun Tang và cộng sự2024

    AI tóm tắt

    Phân loại ảnh siêu phổ (HSI) trước tấn công đối kháng được khảo sát qua nghiên cứu thực nghiệm trên ba bộ chuẩn với khung WFSS. Khắc phục hạn chế khi chỉ dùng thông tin không gian, mô hình hợp nhất có trọng số spectral transformer và spatial self-attention để liên kết cả dải phổ lẫn pixel. Kết quả cho thấy WFSS phòng thủ vượt các phương pháp HSI tiên tiến, làm rõ đóng góp của thông tin phổ trong kháng tấn công đối kháng.

Trích dẫn nhiều nhất

  • Các cuộc tấn công đối kháng vào máy học y tế

    Dịch bởi AIAdversarial attacks on medical machine learning

    Samuel G. Finlayson và cộng sự2019American Association for the Advancement of Science (AAAS)740 trích dẫn

    AI tóm tắt

    Bài bình luận chính sách phân tích lỗ hổng của medical machine learning (học máy y tế) trước tấn công đối kháng. Nhóm tác giả chỉ ra biến đổi đầu vào nhỏ có thể làm sai lệch hoàn toàn kết luận thuật toán và nêu động cơ khai thác trong chăm sóc sức khỏe. Công trình đề xuất phối hợp chuyên gia y tế, kỹ thuật, pháp lý và đạo đức nhằm giảm thiểu rủi ro, bổ sung góc nhìn ứng dụng cho khái niệm tấn công đối kháng.

  • Deep Reinforcement Adversarial Learning Against Botnet Evasion Attacks

    Giovanni Apruzzese và cộng sự2020IEEE Transactions on Network and Service Management80 trích dẫn

    AI tóm tắt

    Trên các bộ phát hiện botnet học máy, nghiên cứu thực nghiệm đề xuất khung học tăng cường sâu tạo tấn công đối kháng dạng né tránh bằng nhiễu loạn lưu lượng mạng. Tái huấn luyện bằng mẫu sinh tự động giúp kháng được biến thể mới mà không giảm hiệu năng trên lưu lượng thường. Công trình làm rõ cách tạo nhiễu hợp lệ theo ràng buộc thực tế khi triển khai tấn công đối kháng.

  • Adversarial Attacks and Defenses Against Deep Neural Networks: A Survey

    Mesut Ozdag2018Procedia Computer Science65 trích dẫn

    AI tóm tắt

    Tổng quan tài liệu phân tích lỗ hổng của deep neural networks (mạng nơ-ron sâu) trước tấn công đối kháng dùng nhiễu loạn nhỏ khó nhận biết. Tác giả hệ thống hóa các phương thức tấn công hộp trắng, hộp đen cùng các cơ chế phòng thủ, đồng thời đối chiếu cấu trúc và kết quả các mô hình dẫn đầu tại NIPS 2017. Công trình góp phần chuẩn hóa khung phân loại tấn công và phòng vệ cho lĩnh vực tấn công đối kháng.

  • Adversarial examples: attacks and defenses in the physical world

    Huali Ren và cộng sự2021International Journal of Machine Learning and Cybernetics50 trích dẫn

    AI tóm tắt

    Trong physical world (môi trường vật lý), tổng quan khảo sát tấn công đối kháng lên mạng nơ-ron sâu ở phân loại ảnh, phát hiện đối tượng và nhận dạng giọng nói. Tác giả phân tích rào cản ánh sáng, góc nhìn, nhiễu máy ảnh và hệ thống hóa bốn hướng phòng thủ: huấn luyện đối kháng, tiền xử lý, phòng thủ chứng nhận, phát hiện. Công trình mở rộng khái niệm tấn công đối kháng từ không gian số sang thực địa.

  • Attacks on state-of-the-art face recognition using attentional adversarial attack generative network

    Lu Yang và cộng sự2021Multimedia Tools and Applications32 trích dẫn

    AI tóm tắt

    Nhằm đánh lừa các hệ thống face recognition hiện đại, nghiên cứu thực nghiệm đề xuất Attentional Adversarial Attack Generative Network (A3GN) tạo mẫu đối kháng mạo danh. Mô hình kết hợp bộ tự mã hóa biến phân có điều kiện, mô-đun chú ý và đưa mạng nhận dạng làm bên thứ ba cạnh tranh với bộ sinh, bộ phân biệt. Kết quả cho thấy ảnh tạo ra khó gây chú ý nhưng đa số bị gán thành người mục tiêu, làm rõ tấn công đối kháng có đích.

Nổi bật tại Việt Nam

  • Phương pháp đề xuất để chống lại hình ảnh đối nghịch dựa trên kiến ​​trúc ResNet

    Truong Phi Ho và cộng sự2024Tạp chí Khoa học - Công nghệ trong lĩnh vực An toàn thông tin1 trích dẫn

    AI tóm tắt

    Kiến trúc ResNet kết hợp đào tạo đối kháng được đề xuất trong nghiên cứu thực nghiệm để chống hình ảnh tấn công đối kháng. Mô hình được thử nghiệm trên tập Hybrid CIFAR-10 tích hợp ảnh từ GAN nhằm cải thiện độ bền và độ chính xác. Kết quả ghi nhận mô hình đạt độ chính xác trên 95%, cao hơn VGG19_bn, ShuffleNetV2 và RepVGG_a2, bổ sung hướng phòng thủ trước tấn công đối kháng.

  • A A Novel LSTM-based OFDM Channel Estimation for Adversarial Attack Defending

    Minh Hoang Tran và cộng sự2026VNU Journal of Science: Computer Science and Communication Engineering

    AI tóm tắt

    Ước lượng kênh OFDM bằng mạng nơ-ron là đối tượng của nghiên cứu phát triển phương pháp LSTM-CE nhằm phát hiện và bảo vệ hệ thống trước tấn công đối kháng. Tác giả xây dựng hàm mất mát mới để loại bỏ tác động nhiễu và phân tích nhiễu loạn theo hai trục thời gian, tần số. Thử nghiệm ghi nhận LSTM-CE phát hiện tốt tấn công và nâng cao hiệu năng ước lượng kênh so với phương pháp cũ, mở rộng hướng phòng thủ tấn công đối kháng.

  • FGSM Attack on CNN-based image classifiers: Vulnerability analysis and an effective defense strategy

    Huong-Giang Doan và cộng sự2025Tạp chí Nghiên cứu Khoa học và Công nghệ quân sự

    AI tóm tắt

    Bộ phân loại ảnh mạng nơ-ron tích chập (CNN) được đánh giá trong nghiên cứu phân tích lỗ hổng trước tấn công đối kháng FGSM. Thử nghiệm trên các bộ dữ liệu chuẩn ghi nhận một số mô hình CNN bị đánh lừa nghiêm trọng bởi ảnh nhiễu khó phân biệt bằng mắt thường. Nhóm tác giả đề xuất giải pháp WR_FGSM kết hợp huấn luyện đối nghịch với chính quy hóa, giúp cân bằng giữa khả năng kháng tấn công đối kháng và tính khái quát.

Tài liệu tham khảo

  1. Carlini, N., Wagner, D. (2017). Towards Evaluating the Robustness of Neural Networks. 2017 IEEE Symposium on Security and Privacy (SP). DOI: 10.1109/sp.2017.49
  2. Papernot, N., McDaniel, P., Jha, S., Fredrikson, M., Celik, Z. B., Swami, A. (2016). The Limitations of Deep Learning in Adversarial Settings. 2016 IEEE European Symposium on Security and Privacy (EuroS&P). DOI: 10.1109/eurosp.2016.36
  3. Biggio, B., Roli, F. (2018). Wild patterns: Ten years after the rise of adversarial machine learning. Pattern Recognition. DOI: 10.1016/j.patcog.2018.07.023