Entropy là gì? Từ nhiệt động lực học đến học máy

Entropy là đại lượng vật lý và toán học trung tâm biểu thị mức độ hỗn loạn, độ bất định hoặc lượng thông tin cần thiết để mô tả trạng thái của một hệ thống. Xuất phát từ nhiệt động lực học cổ điển thế kỷ mười chín nhằm giải thích giới hạn hiệu suất của động cơ nhiệt, entropy đã phát triển vượt bậc qua cơ học thống kê, lý thuyết thông tin, lý thuyết hệ phức hợp và học máy hiện đại. Mục từ này phân tích bản chất nhiệt động lực học, cơ sở vi mô thống kê, mô hình entropy thông tin, nguyên lý entropy cực đại, cấu trúc tiêu tán phi cân bằng, các ranh giới lý thuyết và các ứng dụng thuật toán trong trí tuệ nhân tạo.

Nhiệt động lực học cổ điển và phát biểu của Clausius

Khái niệm entropy lần đầu tiên được nhà vật lý học Rudolf Clausius (1865) đặt nền móng nhằm định lượng sự thoái hóa của năng lượng hữu ích trong các chu trình nhiệt động. Clausius nhận thấy rằng trong khi năng lượng của toàn vũ trụ được bảo toàn theo nguyên lý thứ nhất, thì chất lượng của năng lượng lại suy giảm liên tục do sự phát tán nhiệt không thể đảo ngược.

Đối với một quá trình biến đổi nhiệt động thuận nghịch vi phân tại nhiệt độ tuyệt đối T, độ biến thiên entropy được định nghĩa bằng lượng nhiệt trao đổi thuận nghịch chia cho nhiệt độ:

$dS = \frac{dQ_{rev} }{T}$

Đối với các quá trình không thuận nghịch diễn ra trong tự nhiên, bất đẳng thức Clausius khẳng định rằng biến thiên entropy tổng cộng luôn lớn hơn tỷ số nhiệt trao đổi trên nhiệt độ. Từ đó, Nguyên lý thứ hai của nhiệt động lực học được phát biểu: trong một hệ cô lập, entropy không bao giờ giảm theo thời gian, nghĩa là biến thiên entropy luôn lớn hơn hoặc bằng không. Hệ chỉ đạt trạng thái cân bằng bền vững khi entropy đạt giá trị cực đại, dẫn đến khái niệm "mũi tên thời gian" giải thích tính bất khả nghịch của các hiện tượng vật lý trong vũ trụ.

Cơ học thống kê Boltzmann: Cầu nối giữa vi mô và vĩ mô

Mặc dù Clausius mô tả entropy thành công ở cấp độ vĩ mô, bản chất vật lý thực sự của đại lượng này chỉ được làm sáng tỏ khi Ludwig Boltzmann phát triển lý thuyết động học chất khí và cơ học thống kê. Boltzmann đã thiết lập cầu nối toán học trực tiếp giữa trạng thái nhiệt động vĩ mô và số lượng cấu hình vi mô khả dĩ.

Công thức entropy thống kê kinh điển của Boltzmann được biểu diễn dưới dạng:

$S = k_B \ln \Omega$

trong đó $S$ là entropy nhiệt động của hệ thống, $k_B$ là hằng số Boltzmann và ký hiệu $\Omega$ đại diện cho tổng số trạng thái vi mô (microstates) tương thích với cùng một trạng thái vĩ mô (macrostate) quan sát được.

Theo quan điểm thống kê, một hệ tự do luôn có xu hướng chuyển động tự nhiên từ các trạng thái vĩ mô có ít cấu hình vi mô (xác suất xuất hiện cực thấp, trật tự cao) sang các trạng thái vĩ mô có số lượng cấu hình vi mô áp đảo (xác suất xuất hiện cực lớn, hỗn loạn cao). Quá trình khuếch tán chất tan trong dung môi hay sự giãn nở tự do của chất khí vào chân không là những minh chứng điển hình cho xu thế gia tăng số vi trạng thái theo thời gian.

Lý thuyết thông tin Shannon và sự lượng hóa độ bất định

Bước ngoặt khái niệm quan trọng thứ hai diễn ra khi Claude Shannon (1948) công bố công trình khai sinh lý thuyết thông tin toán học. Shannon tìm kiếm một thước đo toán học nghiêm ngặt để lượng hóa mức độ bất định của một nguồn tin hoặc lượng thông tin trung bình chứa trong một thông điệp nhận được.

Đối với một biến ngẫu nhiên rời rạc $X$ nhận các giá trị khả dĩ $x_i$ với phân phối xác suất tương ứng $P(x_i)$, Shannon đã chứng minh rằng hàm số duy nhất thỏa mãn các tiên đề về tính cộng và tính liên tục chính là entropy thông tin:

$H(X) = -\sum_{i=1}^{n} P(x_i) \log_2 P(x_i)$

trong đó $H(X)$ là entropy thông tin tính bằng đơn vị bit (hoặc shannon), và $P(x_i)$ là xác suất xuất hiện của kết quả thứ $x_i$.

Entropy Shannon đạt giá trị cực tiểu bằng không khi hệ thống hoàn toàn chắc chắn (một kết quả có xác suất bằng một và tất cả các kết quả khác bằng không), và đạt giá trị cực đại khi tất cả các kết quả khả dĩ có xác suất xuất hiện đồng đều như nhau (phân phối đều). Trong kỹ thuật truyền thông, entropy Shannon đặt ra giới hạn lý thuyết tuyệt đối cho khả năng nén dữ liệu không mất mát (Định lý mã hóa nguồn Shannon) và dung lượng truyền dẫn tối đa của kênh truyền có nhiễu.

Nguyên lý Entropy Cực đại của Jaynes

Sự tương đồng toán học nổi bật giữa công thức Boltzmann và công thức Shannon đã đặt ra câu hỏi liệu entropy vật lý và entropy thông tin có cùng bản chất hay không. Edwin T. Jaynes (1957) đã giải quyết trọn vẹn vấn đề này bằng cách đề xuất Nguyên lý Entropy Cực đại (Principle of Maximum Entropy - MaxEnt).

Jaynes chứng minh rằng cơ học thống kê có thể được hiểu như một dạng suy luận thống kê tối ưu dựa trên thông tin không đầy đủ. Khi ta chỉ biết một số thông tin kỳ vọng vĩ mô về hệ thống (như năng lượng trung bình hoặc thể tích), phân phối xác suất trung thực nhất, ít thiên lệch chủ quan nhất chính là phân phối tối đa hóa entropy thông tin dưới các ràng buộc đã biết. Cách tiếp cận này thống nhất nhiệt động lực học và lý thuyết thông tin thành một khung lý thuyết suy luận xác suất nhất quán.

Nhiệt động lực học phi cân bằng và Cấu trúc tiêu tán

Trong các hệ mở có trao đổi vật chất và năng lượng liên tục với môi trường bên ngoài, quy luật entropy biểu hiện những hiện tượng phức tạp và kỳ diệu. Nhà vật lý hóa học Ilya Prigogine (1978) đã nhận giải Nobel Hóa học nhờ việc khám phá và phát triển lý thuyết về nhiệt động lực học phi cân bằng và các "cấu trúc tiêu tán" (dissipative structures).

Prigogine chỉ ra rằng tổng biến thiên entropy của một hệ mở bao gồm hai thành phần: lượng entropy trao đổi với môi trường bên ngoài và lượng entropy nội tại tự sản sinh do các quá trình không thuận nghịch trong lòng hệ. Mặc dù lượng entropy tự sản sinh luôn không âm, hệ mở vẫn có thể duy trì hoặc gia tăng mức độ trật tự nội tại bằng cách liên tục tiêu tán (thải) entropy dư thừa ra môi trường xung quanh. Cơ chế tiêu tán năng lượng này giải thích nguồn gốc vật lý cho sự hình thành các cấu trúc không gian - thời gian có tổ chức cao, từ các xoáy lốc khí quyển, phản ứng hóa học tự dao động Belousov-Zhabotinsky cho đến các cơ thể sống và hệ sinh thái phức tạp.

Ranh giới, điều kiện áp dụng và các dạng mở rộng của entropy

Mặc dù là một nguyên lý phổ quát, việc áp dụng entropy đòi hỏi nhận thức rõ ràng về các ranh giới phương pháp luận và giả định nền tảng trong từng phân ngành cụ thể:

1. Điều kiện áp dụng trong Cơ học thống kê

Công thức Boltzmann - Gibbs đòi hỏi hệ thống phải thỏa mãn giả thiết ergodic (thời gian trung bình trên một quỹ đạo pha bằng trung bình trên toàn bộ không gian pha), tương tác giữa các hạt là tầm ngắn và hệ đạt tới giới hạn nhiệt động khi số hạt tiến tới vô cùng. Đối với các hệ thống có tương tác tầm xa mạnh (như hệ thiên văn chịu lực hấp dẫn tự thân) hoặc các hệ cấu trúc fractal tự tương đồng, tính chất cộng được của entropy Boltzmann không còn bảo toàn, đòi hỏi các dạng mở rộng phi cộng tính như entropy Tsallis.

2. Entropy vi phân trong Lý thuyết thông tin liên tục

Khi chuyển từ biến ngẫu nhiên rời rạc sang biến ngẫu nhiên liên tục, entropy Shannon được tổng quát hóa thành entropy vi phân (differential entropy):

$h(X) = -\int f(x) \log_2 f(x) \, dx$

trong đó $f(x)$ là hàm mật độ xác suất. Khác với entropy rời rạc vốn luôn không âm, entropy vi phân có thể nhận giá trị âm và không bất biến dưới các phép đổi biến tọa độ phi tuyến. Để khắc phục ranh giới này, khoảng cách tương đối như phân kỳ Kullback - Leibler được sử dụng làm thước đo độ bất định chuẩn xác và độc lập với hệ tọa độ.

3. Entropy lượng tử von Neumann

Trong cơ học lượng tử, đối với một hệ thống được mô tả bởi toán tử ma trận mật độ trạng thái rho, entropy von Neumann được định nghĩa nhằm lượng hóa mức độ vướng víu lượng tử (quantum entanglement) và tính bất định của trạng thái hỗn hợp:

$S(\rho) = -\mathrm{Tr}(\rho \ln \rho)$

Entropy von Neumann bằng không đối với một trạng thái lượng tử thuần khiết và đạt giá trị dương cực đại đối với trạng thái hỗn hợp hoàn toàn.

4. Ranh giới của hàm mất mát Cross-Entropy trong Học máy

Mặc dù hàm mất mát cross-entropy là chuẩn mực trong phân loại dữ liệu, nó tiềm ẩn nguy cơ thúc đẩy mạng nơ-ron sinh ra các dự đoán quá tự tin (overconfident predictions), ngay cả đối với các mẫu nằm ngoài phân phối huấn luyện (out-of-distribution) hoặc dữ liệu có nhiễu nhãn. Để nâng cao độ chuẩn hóa hiệu chỉnh (calibration) và tính vững chắc của mô hình, các kỹ thuật hiện đại như làm mượt nhãn (label smoothing) và hàm mất mát tiêu điểm (focal loss) thường được tích hợp nhằm điều chỉnh trọng số entropy trong quá trình huấn luyện.

Ứng dụng trong Khoa học máy tính và Học máy

Trong thời đại trí tuệ nhân tạo, entropy trở thành công cụ toán học nền tảng trong thiết kế thuật toán học máy, xử lý ngôn ngữ tự nhiên và thị giác máy tính.

1. Độ lợi thông tin trong Cây quyết định (Decision Trees)

J. Ross Quinlan (1986) đã ứng dụng trực tiếp entropy Shannon để phát triển thuật toán phân loại ID3. Để phân chia một tập dữ liệu huấn luyện thành các nhóm con đồng nhất nhất về nhãn phân loại, thuật toán tính toán Độ lợi thông tin (Information Gain):

$IG(S, A) = H(S) - \sum_{v \in \text{Values}(A)} \frac{|S_v|}{|S|} H(S_v)$

trong đó $S$ là tập mẫu huấn luyện ban đầu, $A$ là thuộc tính đặc trưng được chọn để phân tách, $S_v$ là tập con của $S$ với giá trị $A = v$, và $H(S)$ là entropy của tập dữ liệu $S$.

2. Hàm mất mát Cross-Entropy trong Mạng nơ-ron

Trong quá trình huấn luyện các mô hình phân loại đa lớp hoặc phân loại nhị phân bằng mạng nơ-ron sâu, hàm mất mát Cross-Entropy (độ mất mát chéo) được sử dụng rộng rãi để đo lường mức độ sai lệch giữa phân phối xác suất nhãn thực tế và phân phối xác suất dự đoán do mô hình sinh ra:

$H(p, q) = -\sum_{x} p(x) \log q(x)$

trong đó $p(x)$ biểu thị phân phối xác suất thực tế (thường là vector one-hot) và $q(x)$ là xác suất dự đoán sau hàm kích hoạt softmax. Nếu phân phối $q(x)$ càng tiệm cận với $p(x)$, giá trị hàm mất mát càng nhỏ. Việc tối thiểu hóa hàm mất mát cross-entropy thông qua thuật toán lan truyền ngược tương đương với việc tối đa hóa hàm hợp lý cực đại (Maximum Likelihood Estimation).

Lĩnh vực khoa học	Dạng thức Entropy	Ý nghĩa vật lý / toán học	Công thức tiêu biểu
Nhiệt động lực học cổ điển	Entropy nhiệt động	Đo lường sự thoái hóa năng lượng và tính bất khả nghịch	Biến thiên nhiệt thuận nghịch chia nhiệt độ tuyệt đối
Cơ học thống kê	Entropy Boltzmann - Gibbs	Logarit của số trạng thái vi mô khả dĩ	Tích hằng số Boltzmann với logarit tự nhiên của vi trạng thái
Lý thuyết thông tin	Entropy Shannon & Vi phân	Lượng thông tin trung bình và độ bất định của nguồn tin	Tổng kỳ vọng âm của logarit xác suất cơ số hai
Cơ học lượng tử	Entropy von Neumann	Đo lường độ vướng víu lượng tử và trạng thái hỗn hợp	Vết của tích ma trận mật độ với logarit ma trận mật độ
Học máy & Thống kê	Cross-Entropy & Kullback-Leibler	Độ bất đồng giữa phân phối thực và phân phối dự đoán	Tổng tích xác suất thực với logarit xác suất mô hình