Thanh điệu tiếng Việt gây ra những khó khăn gì cho mô hình nhận dạng tiếng nói?

Tiếng Việt có sáu thanh điệu có tính phân biệt nghĩa từ vựng sâu sắc. Nếu chỉ trích xuất các đặc trưng phổ âm học thông thường (như MFCC) mà không mô hình hóa đường nét cao độ f0, mô hình sẽ rất dễ nhầm lẫn giữa các âm tiết đồng âm khác dấu thanh (ví dụ: ba, bà, bá, bả, bã, bạ).

Kiến trúc học sâu đầu cuối (End-to-End) có ưu thế gì so với mô hình HMM-GMM truyền thống?

Mô hình học sâu đầu cuối (như CTC, Conformer, RNN-Transducer) ánh xạ trực tiếp từ tín hiệu sóng âm sang văn bản mà không cần xây dựng từ điển phát âm âm vị thủ công, giảm thiểu sai số tích lũy giữa các thành phần riêng lẻ và có khả năng học được các biểu diễn ngữ cảnh phức tạp.

Độ đo SyER (Syllable Error Rate) khác gì so với WER (Word Error Rate) trong đánh giá tiếng Việt?

Tiếng Việt là ngôn ngữ đơn lập, từ ghép có thể gồm nhiều âm tiết viết cách nhau bằng khoảng trắng. SyER đo lường tỷ lệ lỗi ở cấp độ từng âm tiết đơn lập, trong khi WER tính trên cấp độ từ ghép (sau khi tách từ). Do đó, SyER phản ánh độ chính xác âm học và thanh điệu trực quan và độc lập với thuật toán phân tách từ vựng.

Nhận dạng giọng nói tiếng Việt: Âm học và mô hình hóa

Nhận dạng giọng nói tiếng Việt (Vietnamese automatic speech recognition) là lĩnh vực chuyên sâu thuộc ngành khoa học máy tính và trí tuệ nhân tạo, tập trung vào việc nghiên cứu và phát triển các mô hình thuật toán nhằm tự động chuyển đổi chuỗi tín hiệu âm thanh tiếng nói tiếng Việt thành chuỗi ký tự hoặc văn bản tương ứng. Trong xử lý ngôn ngữ tự nhiên và âm học tính toán, nhận dạng tiếng nói đóng vai trò là giao diện giao tiếp tự nhiên cốt lõi giữa con người và hệ thống máy tính, ứng dụng rộng rãi trong các hệ thống điều khiển bằng giọng nói, trợ lý ảo, phụ đề tự động và phân tích dữ liệu đa phương tiện.

Đặc thù âm học và ngôn ngữ học của tiếng Việt

Khác với các ngôn ngữ phi thanh điệu ngữ hệ Ấn - Âu như tiếng Anh hay tiếng Pháp, tiếng Việt thuộc ngữ hệ Nam Á với cấu trúc âm thanh mang những đặc thù riêng biệt, tạo nên những thách thức kỹ thuật lớn cho các mô hình âm học máy tính:

1. Cấu trúc âm tiết đơn lập và ranh giới từ

Tiếng Việt là một ngôn ngữ đơn lập triệt để, trong đó đơn vị phát âm cơ sở là âm tiết (syllable). Mỗi âm tiết tiếng Việt khi phát âm đều tương ứng với một hình tiết độc lập và được viết cách rời nhau bằng dấu khoảng trắng trong văn bản chữ Quốc ngữ. Một âm tiết tiếng Việt tiêu chuẩn có cấu trúc tối đa gồm năm thành phần: âm đầu, âm đệm, âm chính, âm cuối và thanh điệu. Do đặc tính đơn lập này, ranh giới giữa các từ ghép trong tiếng Việt không được phân tách tường minh bằng khoảng trắng như trong tiếng Anh, đòi hỏi các hệ thống nhận dạng phải xử lý bài toán tách từ hoặc trực tiếp mô hình hóa ở cấp độ âm tiết hoặc ký tự.

2. Hệ thống thanh điệu và mô hình hóa đường nét cao độ

Hệ thống thanh điệu là đặc trưng quan trọng nhất chi phối tính chính xác của bài toán nhận dạng tiếng nói tiếng Việt. Tiếng Việt tiêu chuẩn có sáu thanh điệu phân biệt bao gồm thanh ngang (không dấu), thanh huyền, thanh sắc, thanh hỏi, thanh ngã và thanh nặng. Trong ngôn ngữ học âm vị, thanh điệu là âm vị siêu đoạn tính (suprasegmental phoneme), có khả năng làm biến đổi hoàn toàn ý nghĩa từ vựng của cùng một tổ hợp âm đoạn.

Theo công trình nghiên cứu của Lê Việt Bắc và Besacier (2009) về xử lý tiếng nói cho các ngôn ngữ nghèo tài nguyên, sự thay đổi tần số cơ bản (tần số dao động của dây thanh âm, ký hiệu là $f_0$ ) dọc theo trục thời gian chính là dấu hiệu vật lý chủ đạo thể hiện thanh điệu. Do đó, việc trích xuất các đặc trưng âm học truyền thống như các hệ số phổ Mel (MFCC) hay phổ năng lượng Mel (Mel filterbank) nếu không đi kèm việc mô hình hóa cao độ $f_0$ sẽ làm mất đi thông tin thanh điệu sống còn, dẫn đến tỷ lệ nhầm lẫn cực kỳ cao giữa các từ đồng âm dị thanh.

Kiến trúc hệ thống nhận dạng tiếng nói truyền thống

Trong giai đoạn phát triển ban đầu, các hệ thống nhận dạng tiếng nói tiếng Việt tuân thủ chặt chẽ kiến trúc thống kê cổ điển dựa trên định lý Bayes:

\hat{W} = \arg\max_W P(W \mid X) = \arg\max_W P(X \mid W) P(W)

Trong công thức xác suất trên:

$X$ là chuỗi các vector đặc trưng âm học được trích xuất từ tín hiệu tiếng nói đầu vào theo từng khung thời gian.
$W$ là chuỗi các từ hoặc âm tiết trong văn bản đích.
$P(X \mid W)$ là mô hình âm học (Acoustic Model - AM), ước lượng xác suất quan sát thấy chuỗi đặc trưng âm học $X$ khi biết chuỗi từ $W$ .
$P(W)$ là mô hình ngôn ngữ (Language Model - LM), phản ánh xác suất xuất hiện tiên nghiệm của chuỗi từ $W$ trong ngữ cảnh tự nhiên.

Để liên kết giữa mô hình âm học và mô hình ngôn ngữ, hệ thống truyền thống bắt buộc phải sử dụng một từ điển phát âm (Pronunciation Lexicon), ánh xạ từng từ vựng sang chuỗi các âm vị cấu thành. Nghiên cứu tiên phong của Vũ Tất Thắng và cộng sự (2005) đã áp dụng mô hình Markov ẩn kết hợp phân bố hỗn hợp Gauss (HMM-GMM) để mô hình hóa các đơn vị âm vị có thanh điệu cho tiếng nói tiếng Việt liên tục vốn từ lớn. Tiếp nối hướng tiếp cận này, Vũ Ngọc Thăng và Schultz (2009) đã chứng minh thực nghiệm rằng việc tích hợp tường minh các đặc trưng cao độ thanh điệu vào mô hình âm học HMM giúp giảm rõ rệt tỷ lệ lỗi âm tiết so với các hệ thống chỉ dựa vào phổ âm học đơn thuần.

Kiến trúc học sâu đầu cuối (End-to-End Deep Learning)

Sự trỗi dậy của học sâu đã thay đổi hoàn toàn cục diện nghiên cứu nhận dạng tiếng nói. Các kiến trúc học sâu đầu cuối loại bỏ sự cần thiết của từ điển phát âm thủ công và quy trình căn chỉnh thời gian phức tạp giữa âm học và văn bản, trực tiếp tối ưu hóa hàm ánh xạ từ tín hiệu âm thanh sang văn bản.

1. Phân loại thời gian kết nối (Connectionist Temporal Classification - CTC)

Thuật toán CTC cho phép huấn luyện các mạng nơ-ron hồi quy (RNN), mạng tích chập (CNN) hoặc mạng Transformer trên các chuỗi âm thanh và văn bản chưa được căn chỉnh thời gian bằng cách đưa vào một ký hiệu nhãn rỗng (blank label). Hàm mất mát CTC tính tổng xác suất của tất cả các đường căn chỉnh hợp lệ dẫn đến chuỗi văn bản mục tiêu, loại bỏ hoàn toàn sự phụ thuộc vào bước căn chỉnh âm vị cưỡng bức của các hệ thống HMM trước đây. Nghiên cứu của Nguyễn Văn Huy (2019) tại hội nghị IEEE RIVF đã chứng minh tính khả thi và hiệu năng của mô hình học sâu đầu cuối dựa trên CTC áp dụng cho tiếng nói tiếng Việt so với các hệ thống ghép kênh truyền thống.

2. Mô hình chuyển đổi nơ-ron (RNN-Transducer) và Conformer

Mô hình RNN-Transducer (RNN-T) khắc phục điểm yếu giả định độc lập có điều kiện của CTC bằng cách tích hợp mạng dự đoán (Prediction Network) đóng vai trò tương tự một mô hình ngôn ngữ nội tại, kết hợp với mạng phiên âm qua mạng liên kết (Joint Network) để hỗ trợ nhận dạng trực tuyến với độ trễ thấp. Song song đó, kiến trúc Conformer kết hợp cơ chế chú ý tự thân (Self-Attention) nắm bắt ngữ cảnh toàn cục với các lớp tích chập cục bộ nắm bắt biến thiên âm học tức thời.

Tuy nhiên, trong điều kiện tiếng nói tự nhiên có nhiễu nền hoặc tiếng vang, mô hình Transducer thường có xu hướng dự đoán thừa nhãn rỗng, dẫn đến lỗi xóa từ (deletion error) gia tăng. Trong thử thách VLSP 2021, nhóm tác giả Tạ Bảo Thắng và cộng sự (2022) tại Viettel Cyberspace Center đã đề xuất kỹ thuật tái gán trọng số nhãn rỗng (blank label re-weighting) trên mô hình Conformer-Transducer. Bằng cách điều chỉnh giảm xác suất nhãn rỗng trong quá trình huấn luyện mạng liên kết, mô hình giảm thiểu đáng kể các lỗi xóa nhãn và cải thiện rõ rệt độ chính xác nhận dạng tiếng nói tự nhiên tiếng Việt.

Độ đo đánh giá chất lượng nhận dạng

Hiệu năng của các hệ thống nhận dạng tiếng nói được đo lường thông qua khoảng cách chỉnh sửa giữa chuỗi văn bản do máy nhận dạng và chuỗi văn bản chuẩn (Ground Truth):

\mathrm{WER} = \frac{S + D + I}{N}

Trong công thức đánh giá độ chính xác trên:

$\mathrm{WER}$ là tỷ lệ lỗi từ (Word Error Rate), biểu diễn tỷ lệ sai khác giữa văn bản dự đoán và văn bản chuẩn.
$S$ là số lượng từ bị nhận dạng thay thế sai (Substitutions).
$D$ là số lượng từ bị bỏ sót (Deletions).
$I$ là số lượng từ bị chèn nhầm (Insertions).
$N$ là tổng số từ có trong câu văn bản chuẩn gốc.

Đối với tiếng Việt, do đặc tính âm tiết độc lập, cộng đồng nghiên cứu thường sử dụng thêm hai chỉ số bổ trợ là tỷ lệ lỗi âm tiết (Syllable Error Rate - SyER) và tỷ lệ lỗi ký tự (Character Error Rate - CER). Chỉ số SyER phản ánh trực tiếp mức độ nhận dạng đúng các âm tiết có dấu thanh, giúp đánh giá chi tiết độ nhạy của mô hình trước các hiện tượng biến dạng thanh điệu do phương ngữ.

Bộ dữ liệu chuẩn hóa và thử thách đánh giá VLSP

Dữ liệu huấn luyện quy mô lớn và đa dạng là điều kiện tiên quyết quyết định độ bền vững của mô hình nhận dạng tiếng nói. Trong nhiều năm, cộng đồng nghiên cứu xử lý tiếng nói tiếng Việt phải đối mặt với tình trạng khan hiếm dữ liệu gắn nhãn chất lượng cao.

Bước ngoặt quan trọng được tạo nên bởi chiến dịch đánh giá xử lý ngôn ngữ và tiếng nói tiếng Việt (VLSP). Báo cáo tổng kết của Đỗ Văn Hải (2022) về thử thách VLSP 2021 đã công bố bộ dữ liệu đánh giá chuẩn hóa phản ánh đầy đủ các điều kiện âm học thực tế phức tạp: từ tiếng nói bản tin truyền hình rõ ràng, tiếng nói tự nhiên trong các buổi tọa đàm (talkshow) có tạp âm nền, đến tiếng nói đa dạng của người dân thuộc ba miền phương ngữ Bắc, Trung, Nam. Thử thách này đã trở thành thước đo quy chuẩn cho các nhóm nghiên cứu học thuật và doanh nghiệp công nghệ trong nước so sánh và hoàn thiện các thuật toán giải mã tiếng nói.

Thách thức nghiên cứu đặc thù

Mặc dù công nghệ học sâu đã đạt được những bước tiến vượt bậc, bài toán nhận dạng tiếng nói tiếng Việt vẫn đối mặt với ba rào cản kỹ thuật lớn:

Sự phân hóa phương ngữ sâu sắc: Ba miền Bắc, Trung, Nam có sự khác biệt rất lớn về cách phát âm nguyên âm, phụ âm cuối và đặc biệt là hệ thống thanh điệu. Người nói giọng miền Trung và miền Nam thường có xu hướng phát âm hòa lẫn giữa thanh hỏi và thanh ngã, hoặc giữa các phụ âm cuối như âm tắc đầu lưỡi và âm tắc chân răng, đòi hỏi các mô hình âm học phải có năng lực thích nghi phương ngữ chuyên biệt.
Hiện tượng pha trộn ngôn ngữ (Code-Switching): Trong giao tiếp hiện đại, việc người nói tiếng Việt xen kẽ các từ ngữ hoặc thuật ngữ tiếng Anh trong cùng một câu diễn ra phổ biến, gây hiện tượng phá vỡ cấu trúc không gian âm vị và khiến bộ phân loại văn bản bị quá tải.
Nhiễu môi trường và tiếng nói tự phát: Tiếng nói hội thoại đời thường chứa nhiều yếu tố ngập ngừng, từ đệm, nói ngắt quãng và âm thanh phản xạ từ môi trường xung quanh, làm suy giảm đáng kể tỷ số tín hiệu trên nhiễu (SNR).

Tổng kết và ranh giới nghiên cứu tương lai

Nhận dạng giọng nói tiếng Việt đã phát triển mạnh mẽ từ các hệ thống HMM-GMM truyền thống đến các kiến trúc học sâu đầu cuối hiện đại. Việc kết hợp giữa các mô hình tự giám sát quy mô lớn được huấn luyện trước trên hàng nghìn giờ dữ liệu âm thanh chưa gắn nhãn với các kỹ thuật tinh chỉnh đa nhiệm hứa hẹn sẽ giải quyết triệt để rào cản phương ngữ và biến dạng thanh điệu, đưa công nghệ giao tiếp giọng nói tiếng Việt đạt mức độ tự nhiên và chính xác phục vụ hiệu quả đời sống xã hội.