Nhúng từ giải quyết nhược điểm gì của mã hóa một điểm nóng?

Nhúng từ khắc phục hiện tượng bùng nổ số chiều và ma trận thưa của mã hóa một điểm nóng, đồng thời nắm bắt được khoảng cách ngữ nghĩa giữa các từ trong không gian hình học thay vì coi mọi từ đều độc lập trực giao.

Điểm khác biệt chính giữa mô hình GloVe và FastText là gì?

Mô hình GloVe tối ưu hóa hàm mục tiêu hồi quy trên ma trận đồng xuất hiện toàn cục của các từ nguyên vẹn, trong khi FastText phân rã mỗi từ thành tập hợp các chuỗi n-gram ký tự con để biểu diễn từ hiếm và từ ngoài từ điển.

Tại sao các hệ thống hiện đại chuyển từ nhúng từ tĩnh sang nhúng theo ngữ cảnh?

Nhúng từ tĩnh gán cho mỗi từ một vector cố định duy nhất nên không phân biệt được từ đa nghĩa hoặc đồng âm. Các mô hình ngữ cảnh sâu như BERT tính toán vector động dựa trên toàn bộ câu văn, phản ánh chính xác ngữ nghĩa thực tế.

Nhúng từ (word embedding) là gì?

Nhúng từ (word embedding) là kỹ thuật trong xử lý ngôn ngữ tự nhiên và học máy nhằm ánh xạ các từ vựng từ một không gian biểu diễn rời rạc sang các vector số thực liên tục trong một không gian hình học đa chiều có số chiều cố định. Phương pháp này biểu diễn các đặc trưng ngữ nghĩa và cú pháp của ngôn ngữ dưới dạng tọa độ toán học, cho phép các thuật toán học sâu tính toán độ tương đồng giữa các từ thông qua khoảng cách hình học. Bài viết này trình bày nền tảng toán học của không gian vector ngữ nghĩa, sự phát triển từ biểu diễn đếm truyền thống sang mô hình dự đoán và mô hình ngữ cảnh sâu, các thuật toán tiêu biểu, ứng dụng thực tế và những giới hạn kỹ thuật của biểu diễn từ trong trí tuệ nhân tạo.

Bản chất toán học và sự tiến hóa của biểu diễn từ

Trong giai đoạn đầu của ngôn ngữ học tính toán, văn bản được xử lý chủ yếu thông qua phương pháp mã hóa một điểm nóng (one-hot encoding). Trong biểu diễn này, mỗi từ vựng được gán một vector nhị phân có số chiều đúng bằng kích thước toàn bộ tập từ vựng, trong đó chỉ có duy nhất một phần tử mang giá trị 1 tại vị trí chỉ số của từ và tất cả các vị trí còn lại mang giá trị 0.

Cách tiếp cận một điểm nóng bộc lộ hai hạn chế căn bản:

Bùng nổ số chiều và ma trận thưa: Khi kích thước từ vựng lên tới hàng trăm nghìn hoặc hàng triệu từ, các vector có kích thước khổng lồ nhưng hầu hết các phần tử đều bằng 0, gây lãng phí bộ nhớ và chi phí tính toán lớn.
Trực giao ngữ nghĩa: Tích vô hướng giữa hai vector một điểm nóng bất kỳ luôn bằng 0, đồng nghĩa với việc mô hình coi mọi từ đều hoàn toàn độc lập và trực giao với nhau, không thể hiện được sự gần gũi ngữ nghĩa giữa các từ tương đồng.

Theo khảo sát tổng quan của Camacho-Collados và Pilehvar (2018) trên Journal of Artificial Intelligence Research (tập 63, trang 743-788), bước chuyển dịch sang nhúng từ liên tục bắt nguồn từ giả thuyết phân bố (distributional hypothesis) trong ngôn ngữ học cấu trúc, khẳng định rằng các từ xuất hiện trong những bối cảnh tương tự nhau sẽ có xu hướng mang ý nghĩa ngữ nghĩa tương đồng nhau. Thay vì sử dụng vector thưa có số chiều bằng kích thước từ vựng, nhúng từ nén thông tin ngữ nghĩa vào các vector đặc (dense vector) có số chiều thấp hơn rất nhiều, thường nằm trong khoảng từ 100 đến 300 chiều.

Bảng dưới đây so sánh sự khác biệt kỹ thuật giữa phương pháp biểu diễn truyền thống và kỹ thuật nhúng từ hiện đại:

Đặc trưng kỹ thuật	Mã hóa một điểm nóng (One-hot Encoding)	Nhúng từ liên tục (Word Embedding)
Dạng biểu diễn	Vector thưa, nhị phân rời rạc	Vector đặc, các số thực liên tục
Kích thước không gian	Bằng kích thước toàn bộ từ vựng	Cố định ở số chiều thấp, thường từ 100 đến 300 chiều
Khả năng nắm bắt ngữ nghĩa	Không thể nắm bắt, các từ luôn trực giao	Nắm bắt quan hệ ngữ nghĩa qua khoảng cách hình học
Khả năng tổng quát hóa	Kém đối với các từ hiếm	Cao, hỗ trợ suy diễn quan hệ tương đương
Yêu cầu tài nguyên tính toán	Gây quá tải bộ nhớ khi từ vựng lớn	Hiệu quả cao trong huấn luyện mạng nơ-ron

Hàm khoảng cách và tính toán độ tương đồng ngữ nghĩa

Trong không gian vector nhúng, độ tương đồng ngữ nghĩa giữa hai từ được định lượng thông qua khoảng cách hoặc góc giữa hai vector tương ứng. Thước đo phổ biến nhất là độ tương đồng cosin (cosine similarity), đo lường góc giữa hai hướng vector bất kể độ dài tuyệt đối của chúng.

Cho hai vector từ $u$ và $v$ trong không gian thực $d$ chiều, độ tương đồng cosin được xác định theo công thức sau:

\text{Cosine}(u, v) = \frac{u \cdot v}{\|u\| \|v\|} = \frac{\sum_{k=1}^{d} u_k v_k}{\sqrt{\sum_{k=1}^{d} u_k^2} \sqrt{\sum_{k=1}^{d} v_k^2}}

Trong công thức trên, đại lượng $u_k$ và $v_k$ lần lượt là tọa độ thứ $k$ của hai vector, đại lượng $u \cdot v$ là tích vô hướng, và đại lượng $\|u\|$ , $\|v\|$ là độ dài chuẩn Euclid của từng vector. Khi góc giữa hai vector tiến về 0, giá trị cosin tiến về 1, chỉ ra rằng hai từ có độ tương đồng ngữ cảnh rất cao; khi hai vector vuông góc, giá trị bằng 0; và khi hai vector ngược hướng, giá trị bằng trừ 1.

Một đặc tính hình học nổi bật của không gian nhúng từ là tính bảo toàn quan hệ tuyến tính (linear compositionality). Các phép toán cộng trừ vector có khả năng biểu diễn các phép loại suy ngữ nghĩa và cú pháp một cách tự nhiên mà không cần quy tắc lập trình thủ công.

Các phương pháp nhúng từ tĩnh kinh điển

Các phương pháp nhúng từ tĩnh tạo ra một vector duy nhất cố định cho mỗi từ vựng trong kho ngữ liệu, đại diện cho ý nghĩa tổng thể của từ đó qua toàn bộ các ngữ cảnh xuất hiện.

Mô hình GloVe: Kết hợp thống kê toàn cục

Nhằm khắc phục nhược điểm của các phương pháp chỉ quét ngữ cảnh cục bộ hoặc chỉ phân rã ma trận đếm đơn thuần, Pennington, Socher và Manning (2014) đã công bố mô hình GloVe (Global Vectors for Word Representation) trên kỷ yếu EMNLP (trang 1532-1543). GloVe xây dựng một hàm mục tiêu hồi quy bình phương tối thiểu có trọng số trực tiếp trên ma trận đồng xuất hiện từ vựng toàn cục.

Hàm mục tiêu của mô hình GloVe được định nghĩa như sau:

J = \sum_{i,j=1}^{V} f(X_{i,j}) \left( w_i^T \tilde{w}_j + b_i + \tilde{b}_j - \log X_{i,j} \right)^2

Trong công thức trên, đại lượng $V$ đại diện cho tổng kích thước từ vựng, đại lượng $X_{i,j}$ là số lần từ $i$ và từ $j$ đồng xuất hiện trong một cửa sổ trượt ngữ cảnh xác định, đại lượng $w_i$ là vector từ chính, đại lượng $\tilde{w}_j$ là vector từ ngữ cảnh, các đại lượng $b_i$ và $\tilde{b}_j$ là các hệ số điều chỉnh sai số (bias) của từng từ, và $f(X_{i,j})$ là hàm trọng số cắt cụt liên tục được thiết kế để hạn chế sự chi phối quá mức của các cặp từ xuất hiện quá thường xuyên như mạo từ hoặc liên từ.

Bằng cách ép tích vô hướng giữa hai vector xấp xỉ logarit của tần suất đồng xuất hiện của chúng, mô hình GloVe mã hóa tỷ lệ xác suất đồng xuất hiện thành các khoảng cách vector, giúp mô hình nắm bắt cấu trúc ngữ nghĩa toàn cục của văn bản một cách chặt chẽ.

Mô hình FastText: Tích hợp thông tin hình thái từ con

Một điểm yếu cố hữu của các mô hình nhúng cấp độ từ nguyên vẹn là sự bất lực trước các từ nằm ngoài từ điển (out-of-vocabulary, OOV) và việc bỏ qua hình thái học của các ngôn ngữ biến tố hoặc chắp dính. Để giải quyết rào cản này, Bojanowski và cộng sự (2017) đã phát triển mô hình FastText trên Transactions of the Association for Computational Linguistics (tập 5, trang 135-146).

Thay vì học một vector độc lập cho mỗi hình thái từ, FastText phân rã mỗi từ thành một tập hợp các chuỗi n-gram ký tự con (subword n-grams) có độ dài từ 3 đến 6 ký tự, bổ sung các ký hiệu đặc biệt đánh dấu ranh giới đầu và cuối từ. Vector của một từ được tính bằng tổng các vector của toàn bộ các phần tử n-gram cấu thành nó kết hợp với vector của chính từ đó.

Cách tiếp cận của Bojanowski và cộng sự (2017) đem lại ưu thế vượt trội khi xử lý các từ hiếm, từ sai lỗi chính tả nhẹ hoặc các từ ghép mới xuất hiện, bởi mô hình có thể chia sẻ trọng số thông qua các gốc từ và tiền tố, hậu tố chung. Điều này đặc biệt có ý nghĩa đối với các ngôn ngữ có cấu trúc từ ghép phong phú hoặc hiện tượng biến đổi ngữ pháp đa dạng.

Bước chuyển dịch sang nhúng từ theo ngữ cảnh

Dù đạt được nhiều thành tựu quan trọng, các mô hình nhúng từ tĩnh như GloVe hay FastText đều mắc phải hạn chế cốt tử: tính đơn nghĩa của biểu diễn vector. Một từ mang nhiều nghĩa khác nhau trong các ngữ cảnh khác nhau vẫn bị ép buộc phải chia sẻ chung một vector duy nhất, tạo ra sự pha trộn ngữ nghĩa không mong muốn.

Để khắc phục vấn đề này, giai đoạn từ năm 2018 chứng kiến sự ra đời của các mô hình nhúng từ theo ngữ cảnh động (contextualized word embeddings):

Mô hình ELMo: Peters và cộng sự (2018) trên NAACL (trang 2227-2237) đã đề xuất mô hình ELMo (Embeddings from Language Models), sử dụng mạng nơ-ron hồi quy hai chiều nhiều tầng để sinh vector biểu diễn từ phụ thuộc trực tiếp vào toàn bộ câu văn chứa nó. Mỗi trạng thái ẩn của mạng hồi quy nắm bắt một khía cạnh cú pháp và ngữ nghĩa khác nhau của từ trong ngữ cảnh cụ thể.
Kiến trúc Transformer và BERT: Devlin và cộng sự (2019) trên NAACL (trang 4171-4186) đã nâng cấp biểu diễn ngôn ngữ lên một tầm cao mới với mô hình BERT (Bidirectional Encoder Representations from Transformers). Khác với các mô hình hồi quy tuần tự, BERT áp dụng cơ chế tự chú ý (self-attention) hai chiều sâu sắc, cho phép mỗi từ tương tác đồng thời với toàn bộ các từ khác trong câu ở tất cả các tầng biểu diễn ẩn.

Mô hình BERT của Devlin và cộng sự (2019) cung cấp các không gian biểu diễn ẩn với kích thước 768 chiều trong phiên bản cơ sở và 1024 chiều trong phiên bản mở rộng. Trong không gian này, vector của một từ thay đổi linh hoạt tùy theo vai trò cú pháp và ý nghĩa cụ thể của nó trong từng ngữ cảnh văn bản, loại bỏ hoàn toàn hiện tượng xung đột đa nghĩa của nhúng tĩnh.

Ứng dụng thực tiễn trong các hệ thống trí tuệ nhân tạo

Nhúng từ là cấu phần cốt lõi đặt nền móng cho hầu hết các tác vụ xử lý ngôn ngữ tự nhiên và hệ thống trí tuệ nhân tạo hiện đại:

Phân loại văn bản và phân tích cảm xúc: Vector nhúng từ chuyển đổi văn bản đầu vào thành các ma trận số học làm đầu vào cho các mạng nơ-ron tích chập hoặc Transformer, phục vụ các bài toán lọc thư rác, phân loại tin tức và phân tích sắc thái ý kiến người dùng.
Truy xuất thông tin ngữ nghĩa (Semantic Search): Thay vì so khớp chuỗi ký tự cứng nhắc theo từ khóa, hệ thống tìm kiếm hiện đại so khớp vector truy vấn với vector tài liệu trong không gian nhúng, cho phép tìm thấy kết quả liên quan ngay cả khi không trùng lặp từ khóa chính xác.
Dịch máy nơ-ron: Không gian nhúng từ hỗ trợ ánh xạ giữa các ngôn ngữ khác nhau thông qua việc học ma trận biến đổi không gian vector, làm tiền đề cho các hệ thống dịch thuật tự động chính xác.
Kiến trúc RAG cho mô hình ngôn ngữ lớn: Tính đến năm 2026, kỹ thuật nhúng từ và nhúng văn bản là nền tảng của các hệ thống truy xuất tăng cường cho mô hình ngôn ngữ lớn (Retrieval-Augmented Generation), đóng vai trò tìm kiếm các đoạn tri thức chuẩn xác từ kho dữ liệu ngoài để cung cấp ngữ cảnh cho mô hình sinh văn bản.

Hạn chế kỹ thuật và thách thức nghiên cứu

Bên cạnh những ưu điểm vượt trội, kỹ thuật nhúng từ vẫn tồn tại những ranh giới và thách thức học thuật quan trọng:

Thách thức đầu tiên là hiện tượng khuếch đại định kiến xã hội (bias amplification). Không gian vector được học từ các kho ngữ liệu văn bản khổng lồ không qua chọn lọc có xu hướng hấp thu và tái hiện các định kiến về giới tính, chủng tộc hoặc tôn giáo vốn tồn tại trong dữ liệu huấn luyện. Việc loại bỏ các thành phần định kiến này trong không gian hình học mà không làm tổn hại đến thông tin ngữ nghĩa hữu ích vẫn là một bài toán mở.

Thách thức thứ hai liên quan đến chi phí tài nguyên tính toán và lưu trữ. Sự chuyển dịch từ các mô hình nhúng tĩnh gọn nhẹ sang các mô hình ngôn ngữ ngữ cảnh sâu đòi hỏi tài nguyên phần cứng lớn để suy luận trong thời gian thực, đặt ra yêu cầu cấp thiết về các kỹ thuật nén mô hình, lượng tử hóa và chưng cất tri thức khi triển khai trên các thiết bị biên.

Thách thức thứ ba là khả năng biểu diễn các cấu trúc logic phức tạp và phủ định. Mặc dù xuất sắc trong việc định lượng sự gần gũi ngữ nghĩa, các không gian vector hình học thường gặp khó khăn trong việc phân biệt rạch ròi giữa từ đồng nghĩa và từ trái nghĩa, cũng như xử lý các suy luận nhân quả và mệnh đề điều kiện trong ngôn ngữ tự nhiên.