Nhúng văn bản khác gì so với nhúng từ (word embedding)?

Nhúng từ chỉ biểu diễn từng từ riêng lẻ dưới dạng vector độc lập. Ngược lại, nhúng văn bản tổng hợp toàn bộ ngữ cảnh, cú pháp và nội hàm chủ đề của cả một đoạn văn hay toàn bộ tài liệu thành một vector duy nhất.

Độ tương đồng ngữ nghĩa giữa hai vector nhúng văn bản được tính thế nào?

Phương pháp phổ biến nhất là tính độ tương đồng cosine giữa hai vector trong không gian số thực. Giá trị tiệm cận một cho thấy hai văn bản có nội dung ngữ nghĩa rất gần gũi, trong khi giá trị bằng không biểu thị hai văn bản hoàn toàn không liên quan.

Nhúng văn bản đóng vai trò gì trong hệ thống sinh tăng cường truy xuất (RAG)?

Trong hệ thống RAG, nhúng văn bản được dùng để lập chỉ mục kho dữ liệu tri thức vào cơ sở dữ liệu vector, cho phép tìm kiếm các đoạn văn liên quan nhất với câu hỏi người dùng theo ngữ nghĩa thay vì chỉ so khớp từ khóa cơ học.

Nhúng văn bản (document embedding) là gì?

Nhúng văn bản là kỹ thuật biểu diễn học máy ánh xạ toàn bộ một đoạn văn, bài báo hoặc tài liệu văn bản thành một vector số thực dày đặc có số chiều cố định trong không gian vector liên tục, phản ánh ngữ nghĩa và bối cảnh tổng thể của tài liệu đó.

Bản chất toán học và không gian biểu diễn ngữ nghĩa

Trong các hệ thống tính toán và xử lý ngôn ngữ tự nhiên, máy tính không thể trực tiếp tiếp nhận và hiểu các ký tự văn bản phi cấu trúc dưới dạng chuỗi ký tự tự nhiên. Nhúng văn bản giải quyết rào cản này bằng cách biến đổi một chuỗi các từ có độ dài tùy biến thành một điểm duy nhất trong không gian vector nhiều chiều. Không gian toán học này được cấu trúc sao cho khoảng cách hình học giữa hai vector biểu diễn mức độ tương đồng ngữ nghĩa giữa hai văn bản tương ứng.

Để định lượng mức độ tương đồng giữa hai tài liệu văn bản sau khi đã được chuyển đổi thành các vector đặc trưng, phương pháp phổ biến nhất là tính toán độ tương đồng cosine giữa hai vector trong không gian số thực:

\text{cosine}(u, v) = \frac{u \cdot v}{\|u\| \|v\|}

Trong công thức trên, đại lượng $u$ và $v$ đại diện cho hai vector nhúng của hai văn bản tương ứng, dấu chấm biểu thị tích vô hướng của hai vector, và các đại lượng $\|u\|$ cùng $\|v\|$ lần lượt là chuẩn Euclid của từng vector. Giá trị cosine nhận giá trị từ âm một đến dương một, trong đó giá trị càng tiệm cận một cho thấy hai văn bản có nội dung ngữ nghĩa càng tương đồng.

Tiến trình phát triển từ mô hình không gian vector cổ điển

Trước khi các kỹ thuật học sâu ra đời, việc biểu diễn văn bản dựa chủ yếu trên mô hình không gian vector truyền thống thông qua phương pháp túi từ hoặc gán trọng số tần suất từ kết hợp nghịch đảo tần suất văn bản. Nghiên cứu kinh điển của Salton và Buckley năm 1988 về các phương pháp gán trọng số từ trong truy xuất văn bản tự động đã chứng minh hệ thống chỉ mục gán trọng số từ đơn mang lại kết quả truy xuất vượt trội so với các biểu diễn phức tạp khác.

Mô hình trọng số của Salton và Buckley xác định giá trị của mỗi từ khóa trong tài liệu dựa trên công thức:

\text{TF-IDF}(t, d, D) = \text{TF}(t, d) \times \text{IDF}(t, D)

Trong đó, đại lượng $t$ là một từ đơn cụ thể, $d$ là tài liệu văn bản đang được xem xét, và $D$ là toàn bộ tập hợp kho ngữ liệu văn bản. Thành phần $\text{TF}(t, d)$ đo lường tần suất xuất hiện của từ trong tài liệu, trong khi thành phần $\text{IDF}(t, D)$ đánh giá mức độ hiếm của từ đó trên toàn bộ kho văn bản nhằm giảm thiểu ảnh hưởng của các hư từ xuất hiện phổ biến.

Mặc dù mô hình không gian vector của Salton và Buckley đạt hiệu quả cao trong các hệ thống truy xuất thông tin cổ điển, phương pháp này tồn tại hai hạn chế cấu trúc cốt lõi:

Vấn đề vector thưa và bùng nổ số chiều: Số chiều của vector bằng đúng kích thước của toàn bộ từ điển ngữ liệu, khiến vector chủ yếu chứa các giá trị không và đòi hỏi bộ nhớ lưu trữ rất lớn.
Thiếu khả năng nắm bắt ngữ nghĩa: Hai tài liệu sử dụng các từ đồng nghĩa khác nhau hoàn toàn nhưng diễn đạt cùng một ý niệm sẽ có hai vector trực giao với nhau, dẫn đến độ tương đồng cosine bằng không.

Biểu diễn phân bố và mô hình học đoạn văn bản

Để khắc phục nhược điểm của các vector thưa truyền thống, khái niệm biểu diễn phân bố dày đặc được phát triển nhằm ánh xạ các từ và câu vào không gian vector liên tục có kích thước cố định vừa phải. Mở rộng từ nguyên lý học ngữ cảnh của từ, các nhà nghiên cứu đã phát triển mô hình vector đoạn văn nhằm học trực tiếp biểu diễn cho các đơn vị văn bản có độ dài bất kỳ.

Mô hình vector đoạn văn hoạt động dựa trên hai kiến trúc học máy chính:

Bộ nhớ phân bố của vector đoạn văn: Mô hình duy trì một vector đặc trưng duy nhất cho mỗi đoạn văn bản và liên kết vector này với các vector từ trong một cửa sổ trượt ngữ cảnh nhằm dự đoán từ tiếp theo trong chuỗi. Vector đoạn văn đóng vai trò như một bộ nhớ ngữ cảnh lưu giữ thông tin về chủ đề xuyên suốt của toàn bộ tài liệu.
Túi từ phân bố của đoạn văn: Mô hình bỏ qua thứ tự các từ trong văn bản và sử dụng trực tiếp vector đoạn văn làm đầu vào duy nhất để dự đoán ngẫu nhiên các từ thuộc về đoạn văn đó.

Các vector được sinh ra từ các mô hình này là các vector số thực dày đặc có khả năng nắm bắt cả ngữ nghĩa tổng quát và phong cách diễn đạt của văn bản, mở ra kỷ nguyên mới cho các bài toán phân loại và phân cụm tài liệu.

Cách tiếp cận dựa trên mô hình biến đổi Transformer

Sự xuất hiện của kiến trúc Transformer đã tạo ra bước nhảy vọt toàn diện trong việc tạo vector nhúng văn bản. Mô hình biểu diễn ngôn ngữ BERT công bố năm 2019 bởi Devlin và cộng sự đã thiết lập chuẩn mực mới trên mười một tác vụ xử lý ngôn ngữ tự nhiên, nâng điểm đánh giá chuẩn GLUE lên 80.5% nhờ cơ chế tự chú ý hai chiều sâu sắc.

Không giống như các mô hình nhúng từ tĩnh vốn gán một vector cố định duy nhất cho mỗi từ bất kể ngữ cảnh, kiến trúc Transformer tạo ra biểu diễn ngữ cảnh động cho từng từ dựa trên toàn bộ các từ xung quanh trong câu. Để thu được vector nhúng cho cả một đoạn văn bản hoặc tài liệu hoàn chỉnh từ mô hình Transformer, các nhà nghiên cứu thường áp dụng các chiến lược tổng hợp:

Sử dụng token phân loại đặc biệt: Lấy vector trạng thái ẩn ở tầng cuối cùng của ký hiệu phân loại mở đầu văn bản làm biểu diễn đại diện cho toàn bộ tài liệu.
Phương pháp gộp trung bình: Tính toán giá trị trung bình cộng của các vector biểu diễn trạng thái ẩn tại tầng cuối cùng của toàn bộ các từ trong văn bản. Phương pháp gộp trung bình thường mang lại biểu diễn ngữ nghĩa phân bố đều và ổn định hơn so với việc chỉ sử dụng một token duy nhất.

Mô hình mạng Siamese và nhúng câu chuyên biệt

Mặc dù các mô hình như BERT đạt độ chính xác rất cao trên các tác vụ phân loại cặp câu, việc sử dụng trực tiếp BERT để so sánh độ tương đồng giữa hàng loạt tài liệu đòi hỏi chi phí tính toán cực kỳ lớn. Do cấu trúc của BERT yêu cầu ghép hai câu lại với nhau rồi đưa qua toàn bộ các tầng mạng thần kinh, việc so sánh chéo một tập hợp văn bản lớn trở nên bất khả thi trong thực tế triển khai.

Để giải quyết nút thắt cổ chai về mặt hiệu năng này, Reimers và Gurevych đã giới thiệu kiến trúc Sentence-BERT vào năm 2019. Thử nghiệm của Reimers và Gurevych công bố năm 2019 cho thấy việc tìm cặp tương đồng nhất trong tập hợp 10000 câu bằng mô hình SBERT chỉ mất khoảng 5 giây, giảm mạnh so với 65 giờ khi dùng BERT nguyên bản.

Mô hình Sentence-BERT sử dụng kiến trúc mạng Siamese với các nhánh mạng chia sẻ chung trọng số để tinh chỉnh mô hình ngôn ngữ bằng các hàm mất mát khoảng cách. Kết quả đầu ra là mỗi văn bản được ánh xạ độc lập thành một vector đặc trưng cố định. Sau khi các vector nhúng đã được tính toán và lưu trữ sẵn, việc tìm kiếm văn bản tương đồng quy về phép tính tích vô hướng hoặc cosine trên không gian vector, cho phép xử lý thời gian thực trên hàng triệu tài liệu.

Ứng dụng cho ngôn ngữ tiếng Việt và mô hình PhoBERT

Việc xây dựng mô hình nhúng văn bản cho tiếng Việt đòi hỏi các giải pháp xử lý chuyên biệt do đặc thù ngữ pháp và cấu trúc từ của tiếng Việt. Tiếng Việt là ngôn ngữ đơn lập, không biến hình, với ranh giới từ không trùng khớp hoàn toàn với khoảng trắng, trong đó nhiều từ ghép được cấu tạo từ nhiều âm tiết độc lập.

Mô hình PhoBERT công bố năm 2020 của tác giả Nguyễn Quốc Đạt và Nguyễn Anh Tuấn là mô hình ngôn ngữ đơn ngữ tiền huấn luyện quy mô lớn đầu tiên cho tiếng Việt, cung cấp nền tảng mã hóa biểu diễn văn bản cho nhiều tác vụ xử lý ngôn ngữ tự nhiên trong nước. Được huấn luyện trên kho ngữ liệu tiếng Việt đồ sộ có kích thước hàng chục gigabyte văn bản đã qua bước phân đoạn từ, PhoBERT cung cấp khả năng trích xuất vector nhúng ngữ cảnh chính xác cao cho các tài liệu tiếng Việt, phục vụ đắc lực cho các hệ thống phân loại tin tức, phân tích quan điểm dư luận và truy vấn cơ sở dữ liệu học thuật.

Hệ thống chuẩn đối sánh và đánh giá chất lượng nhúng

Sự xuất hiện của hàng loạt mô hình nhúng văn bản với các phương pháp tiền huấn luyện và tinh chỉnh khác nhau đặt ra nhu cầu cấp thiết về một khung đánh giá chuẩn mực, công bằng và đa chiều. Bộ tiêu chuẩn đánh giá MTEB công bố năm 2023 bởi Muennighoff và cộng sự bao quát 8 tác vụ nhúng trên 58 tập dữ liệu và 112 ngôn ngữ, thiết lập hệ thống chuẩn đối sánh toàn diện cho các mô hình nhúng văn bản.

Hệ thống đánh giá MTEB kiểm tra năng lực của các mô hình nhúng văn bản trên tám nhóm bài toán thực tiễn:

Truy xuất thông tin: Đo lường khả năng tìm kiếm các đoạn văn bản liên quan nhất từ kho dữ liệu lớn dựa trên câu truy vấn của người dùng.
Độ tương đồng ngữ nghĩa văn bản: Đánh giá mức độ tương quan giữa khoảng cách vector của hai câu với điểm số do con người chấm.
Phân cụm văn bản: Đánh giá khả năng gom nhóm các tài liệu có cùng chủ đề mà không cần nhãn giám sát.
Phân loại cặp câu: Đánh giá năng lực xác định hai câu có nội dung trùng lặp hay có mối quan hệ ngữ nghĩa tương đồng.
Phân loại văn bản: Sử dụng vector nhúng làm đầu vào cho một mô hình phân loại tuyến tính đơn giản để kiểm tra chất lượng biểu diễn đặc trưng.
Xếp hạng lại: Đo lường khả năng tinh chỉnh thứ tự các tài liệu được đề xuất theo mức độ liên quan ngữ nghĩa.
Khai phá văn bản song ngữ: Đánh giá khả năng tìm kiếm và đối sánh các cặp câu tương đồng giữa các ngôn ngữ khác nhau trong không gian đa ngôn ngữ.
Tóm tắt văn bản: Đánh giá độ chính xác của không gian vector nhúng khi đo lường mức độ phù hợp của bản tóm tắt đối với văn bản gốc.

Ứng dụng thực tiễn trong kỷ nguyên trí tuệ nhân tạo

Nhúng văn bản là thành phần không thể thiếu trong kiến trúc của các ứng dụng trí tuệ nhân tạo hiện đại, đặc biệt là trong các hệ thống khai phá tri thức doanh nghiệp:

Hệ thống sinh tăng cường truy xuất: Trong các mô hình ngôn ngữ lớn, nhúng văn bản được sử dụng để lập chỉ mục toàn bộ tài liệu tri thức vào các cơ sở dữ liệu vector. Khi người dùng đặt câu hỏi, hệ thống chuyển câu hỏi thành vector nhúng, tìm kiếm các đoạn văn bản có độ tương đồng cosine cao nhất, và đưa các đoạn văn bản này vào ngữ cảnh đầu vào của mô hình ngôn ngữ để tạo câu trả lời chính xác, hạn chế hiện tượng ảo giác thông tin.
Tìm kiếm ngữ nghĩa: Thay thế cho phương pháp tìm kiếm từ khóa truyền thống, tìm kiếm dựa trên vector nhúng cho phép tìm ra tài liệu phù hợp về mặt ý nghĩa ngay cả khi người dùng sử dụng các từ ngữ khác biệt với nội dung tài liệu gốc.
Phát hiện trùng lặp và phân loại hồ sơ: Trong các thư viện điện tử và cổng thông tin học thuật, vector nhúng hỗ trợ tự động phát hiện các bài viết đạo văn, nhóm các công trình nghiên cứu cùng chủ đề và tự động phân loại hồ sơ tài liệu vào các chuyên ngành phù hợp.

Thách thức kỹ thuật và triển vọng nghiên cứu

Mặc dù đạt được những bước tiến vượt bậc, kỹ thuật nhúng văn bản vẫn đối mặt với nhiều ranh giới nghiên cứu mở cần được tiếp tục giải quyết:

Độ dài cửa sổ ngữ cảnh: Hầu hết các mô hình Transformer tiêu chuẩn đều bị giới hạn ở độ dài văn bản đầu vào nhất định. Việc nén một tài liệu dài hàng chục trang hoặc cả một cuốn sách vào một vector duy nhất thường dẫn đến hiện tượng mất mát thông tin cục bộ hoặc làm loãng các chi tiết quan trọng.
Sự đánh đổi giữa biểu diễn dày đặc và biểu diễn thưa: Các vector dày đặc rất mạnh về nắm bắt ngữ nghĩa tổng thể nhưng đôi khi kém nhạy bén trong việc bắt chính xác các từ khóa hiếm, mã định danh hoặc tên riêng kỹ thuật. Xu hướng phát triển kỹ thuật tập trung vào các hệ thống truy xuất lai kết hợp giữa vector nhúng dày đặc và chỉ mục thưa để tối ưu hóa hiệu quả.
Tính diễn giải của không gian vector: Các giá trị số thực trong vector nhúng là các biểu diễn tiềm ẩn trừu tượng, khiến người dùng khó có thể hiểu chính xác từng chiều trong vector đại diện cho khái niệm ngôn ngữ cụ thể nào.