[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"_public_topic_byId_entropy":3},{"code":4,"data":5,"meta":23},"SUCCESS",{"id":6,"title":7,"description":8,"content":9,"term":6,"englishTitle":6,"synonyms":10,"definition":13,"discipline":14,"references":15,"faqs":52,"createUser":62,"publishUser":23,"keywords":66,"keywordCount":77,"enrichTopicLink":78,"status":79,"createTime":80,"updateTime":81,"publishTime":23,"linkEnrichedTime":82,"contentErrorMessage":23,"viewCount":83,"relateTopics":84},"entropy","Entropy là gì? Từ nhiệt động lực học đến học máy","Entropy là thước đo mức độ hỗn loạn, độ bất định và lượng thông tin của hệ thống. Khám phá nhiệt động lực học Clausius, Shannon và ứng dụng học máy.","\u003Cp>Entropy là đại lượng vật lý và toán học trung tâm biểu thị mức độ hỗn loạn, độ bất định hoặc lượng thông tin cần thiết để mô tả trạng thái của một hệ thống. Xuất phát từ nhiệt động lực học cổ điển thế kỷ mười chín nhằm giải thích giới hạn hiệu suất của động cơ nhiệt, entropy đã phát triển vượt bậc qua cơ học thống kê, lý thuyết thông tin, lý thuyết hệ phức hợp và học máy hiện đại. Mục từ này phân tích bản chất nhiệt động lực học, cơ sở vi mô thống kê, mô hình entropy thông tin, nguyên lý entropy cực đại, cấu trúc tiêu tán phi cân bằng, các ranh giới lý thuyết và các ứng dụng thuật toán trong trí tuệ nhân tạo.\u003C\u002Fp>\n\n\u003Ch2>Nhiệt động lực học cổ điển và phát biểu của Clausius\u003C\u002Fh2>\n\n\u003Cp>Khái niệm entropy lần đầu tiên được nhà vật lý học Rudolf Clausius (1865) đặt nền móng nhằm định lượng sự thoái hóa của năng lượng hữu ích trong các chu trình nhiệt động. Clausius nhận thấy rằng trong khi năng lượng của toàn vũ trụ được bảo toàn theo nguyên lý thứ nhất, thì chất lượng của năng lượng lại suy giảm liên tục do sự phát tán nhiệt không thể đảo ngược.\u003C\u002Fp>\n\n\u003Cp>Đối với một quá trình biến đổi nhiệt động thuận nghịch vi phân tại nhiệt độ tuyệt đối T, độ biến thiên entropy được định nghĩa bằng lượng nhiệt trao đổi thuận nghịch chia cho nhiệt độ:\u003C\u002Fp>\n\n\u003Cp>\u003Cscript type=\"math\u002Ftex\">dS = \\frac{dQ_{rev} }{T}\u003C\u002Fscript>\u003C\u002Fp>\n\n\u003Cp>Đối với các quá trình không thuận nghịch diễn ra trong tự nhiên, bất đẳng thức Clausius khẳng định rằng biến thiên entropy tổng cộng luôn lớn hơn tỷ số nhiệt trao đổi trên nhiệt độ. Từ đó, Nguyên lý thứ hai của {{topic|%7B%22topic%22%3A%22nhi%E1%BB%87t%20%C4%91%E1%BB%99ng%20l%E1%BB%B1c%20h%E1%BB%8Dc%22%7D}} được phát biểu: trong một hệ cô lập, entropy không bao giờ giảm theo thời gian, nghĩa là biến thiên entropy luôn lớn hơn hoặc bằng không. Hệ chỉ đạt trạng thái cân bằng bền vững khi entropy đạt giá trị cực đại, dẫn đến khái niệm \"mũi tên thời gian\" giải thích tính bất khả nghịch của các hiện tượng vật lý trong vũ trụ.\u003C\u002Fp>\n\n\u003Ch2>Cơ học thống kê Boltzmann: Cầu nối giữa vi mô và vĩ mô\u003C\u002Fh2>\n\n\u003Cp>Mặc dù Clausius mô tả entropy thành công ở cấp độ vĩ mô, bản chất vật lý thực sự của đại lượng này chỉ được làm sáng tỏ khi Ludwig Boltzmann phát triển lý thuyết động học chất khí và {{topic|%7B%22topic%22%3A%22c%C6%A1%20h%E1%BB%8Dc%20th%E1%BB%91ng%20k%C3%AA%22%7D}}. Boltzmann đã thiết lập cầu nối toán học trực tiếp giữa trạng thái nhiệt động vĩ mô và số lượng cấu hình vi mô khả dĩ.\u003C\u002Fp>\n\n\u003Cp>Công thức entropy thống kê kinh điển của Boltzmann được biểu diễn dưới dạng:\u003C\u002Fp>\n\n\u003Cp>\u003Cscript type=\"math\u002Ftex\">S = k_B \\ln \\Omega\u003C\u002Fscript>\u003C\u002Fp>\n\n\u003Cp>trong đó \u003Cscript type=\"math\u002Ftex\">S\u003C\u002Fscript> là entropy nhiệt động của hệ thống, \u003Cscript type=\"math\u002Ftex\">k_B\u003C\u002Fscript> là hằng số Boltzmann và ký hiệu \u003Cscript type=\"math\u002Ftex\">\\Omega\u003C\u002Fscript> đại diện cho tổng số trạng thái vi mô (microstates) tương thích với cùng một trạng thái vĩ mô (macrostate) quan sát được.\u003C\u002Fp>\n\n\u003Cp>Theo quan điểm thống kê, một hệ tự do luôn có xu hướng chuyển động tự nhiên từ các trạng thái vĩ mô có ít cấu hình vi mô (xác suất xuất hiện cực thấp, trật tự cao) sang các trạng thái vĩ mô có số lượng cấu hình vi mô áp đảo (xác suất xuất hiện cực lớn, hỗn loạn cao). Quá trình khuếch tán chất tan trong dung môi hay sự giãn nở tự do của chất khí vào chân không là những minh chứng điển hình cho xu thế gia tăng số vi trạng thái theo thời gian.\u003C\u002Fp>\n\n\u003Ch2>Lý thuyết thông tin Shannon và sự lượng hóa độ bất định\u003C\u002Fh2>\n\n\u003Cp>Bước ngoặt khái niệm quan trọng thứ hai diễn ra khi Claude Shannon (1948) công bố công trình khai sinh {{topic|%7B%22topic%22%3A%22l%C3%BD%20thuy%E1%BA%BFt%20th%C3%B4ng%20tin%22%7D}} toán học. Shannon tìm kiếm một thước đo toán học nghiêm ngặt để lượng hóa mức độ bất định của một nguồn tin hoặc lượng thông tin trung bình chứa trong một thông điệp nhận được.\u003C\u002Fp>\n\n\u003Cp>Đối với một biến ngẫu nhiên rời rạc \u003Cscript type=\"math\u002Ftex\">X\u003C\u002Fscript> nhận các giá trị khả dĩ \u003Cscript type=\"math\u002Ftex\">x_i\u003C\u002Fscript> với {{topic|%7B%22topic%22%3A%22ph%C3%A2n%20ph%E1%BB%91i%20x%C3%A1c%20su%E1%BA%A5t%22%7D}} tương ứng \u003Cscript type=\"math\u002Ftex\">P(x_i)\u003C\u002Fscript>, Shannon đã chứng minh rằng hàm số duy nhất thỏa mãn các tiên đề về tính cộng và tính liên tục chính là entropy thông tin:\u003C\u002Fp>\n\n\u003Cp>\u003Cscript type=\"math\u002Ftex\">H(X) = -\\sum_{i=1}^{n} P(x_i) \\log_2 P(x_i)\u003C\u002Fscript>\u003C\u002Fp>\n\n\u003Cp>trong đó \u003Cscript type=\"math\u002Ftex\">H(X)\u003C\u002Fscript> là entropy thông tin tính bằng đơn vị bit (hoặc shannon), và \u003Cscript type=\"math\u002Ftex\">P(x_i)\u003C\u002Fscript> là xác suất xuất hiện của kết quả thứ \u003Cscript type=\"math\u002Ftex\">x_i\u003C\u002Fscript>.\u003C\u002Fp>\n\n\u003Cp>Entropy Shannon đạt giá trị cực tiểu bằng không khi hệ thống hoàn toàn chắc chắn (một kết quả có xác suất bằng một và tất cả các kết quả khác bằng không), và đạt giá trị cực đại khi tất cả các kết quả khả dĩ có xác suất xuất hiện đồng đều như nhau (phân phối đều). Trong kỹ thuật truyền thông, entropy Shannon đặt ra giới hạn lý thuyết tuyệt đối cho khả năng nén dữ liệu không mất mát (Định lý mã hóa nguồn Shannon) và dung lượng truyền dẫn tối đa của kênh truyền có nhiễu.\u003C\u002Fp>\n\n\u003Ch2>Nguyên lý Entropy Cực đại của Jaynes\u003C\u002Fh2>\n\n\u003Cp>Sự tương đồng toán học nổi bật giữa công thức Boltzmann và công thức Shannon đã đặt ra câu hỏi liệu entropy vật lý và entropy thông tin có cùng bản chất hay không. Edwin T. Jaynes (1957) đã giải quyết trọn vẹn vấn đề này bằng cách đề xuất Nguyên lý Entropy Cực đại (Principle of Maximum Entropy - MaxEnt).\u003C\u002Fp>\n\n\u003Cp>Jaynes chứng minh rằng cơ học thống kê có thể được hiểu như một dạng suy luận thống kê tối ưu dựa trên thông tin không đầy đủ. Khi ta chỉ biết một số thông tin kỳ vọng vĩ mô về hệ thống (như năng lượng trung bình hoặc thể tích), phân phối xác suất trung thực nhất, ít thiên lệch chủ quan nhất chính là phân phối tối đa hóa entropy thông tin dưới các ràng buộc đã biết. Cách tiếp cận này thống nhất nhiệt động lực học và lý thuyết thông tin thành một khung lý thuyết suy luận xác suất nhất quán.\u003C\u002Fp>\n\n\u003Ch2>Nhiệt động lực học phi cân bằng và Cấu trúc tiêu tán\u003C\u002Fh2>\n\n\u003Cp>Trong các hệ mở có trao đổi vật chất và năng lượng liên tục với môi trường bên ngoài, quy luật entropy biểu hiện những hiện tượng phức tạp và kỳ diệu. Nhà vật lý hóa học Ilya Prigogine (1978) đã nhận giải Nobel Hóa học nhờ việc khám phá và phát triển lý thuyết về nhiệt động lực học phi cân bằng và các \"cấu trúc tiêu tán\" (dissipative structures).\u003C\u002Fp>\n\n\u003Cp>Prigogine chỉ ra rằng tổng biến thiên entropy của một hệ mở bao gồm hai thành phần: lượng entropy trao đổi với môi trường bên ngoài và lượng entropy nội tại tự sản sinh do các quá trình không thuận nghịch trong lòng hệ. Mặc dù lượng entropy tự sản sinh luôn không âm, hệ mở vẫn có thể duy trì hoặc gia tăng mức độ trật tự nội tại bằng cách liên tục tiêu tán (thải) entropy dư thừa ra môi trường xung quanh. Cơ chế tiêu tán năng lượng này giải thích nguồn gốc vật lý cho sự hình thành các cấu trúc không gian - thời gian có tổ chức cao, từ các xoáy lốc khí quyển, phản ứng hóa học tự dao động Belousov-Zhabotinsky cho đến các cơ thể sống và hệ sinh thái phức tạp.\u003C\u002Fp>\n\n\u003Ch2>Ranh giới, điều kiện áp dụng và các dạng mở rộng của entropy\u003C\u002Fh2>\n\n\u003Cp>Mặc dù là một nguyên lý phổ quát, việc áp dụng entropy đòi hỏi nhận thức rõ ràng về các ranh giới phương pháp luận và giả định nền tảng trong từng phân ngành cụ thể:\u003C\u002Fp>\n\n\u003Ch3>1. Điều kiện áp dụng trong Cơ học thống kê\u003C\u002Fh3>\n\u003Cp>Công thức Boltzmann - Gibbs đòi hỏi hệ thống phải thỏa mãn giả thiết ergodic (thời gian trung bình trên một quỹ đạo pha bằng trung bình trên toàn bộ không gian pha), tương tác giữa các hạt là tầm ngắn và hệ đạt tới giới hạn nhiệt động khi số hạt tiến tới vô cùng. Đối với các hệ thống có tương tác tầm xa mạnh (như hệ thiên văn chịu lực hấp dẫn tự thân) hoặc các hệ cấu trúc fractal tự tương đồng, tính chất cộng được của entropy Boltzmann không còn bảo toàn, đòi hỏi các dạng mở rộng phi cộng tính như entropy Tsallis.\u003C\u002Fp>\n\n\u003Ch3>2. Entropy vi phân trong Lý thuyết thông tin liên tục\u003C\u002Fh3>\n\u003Cp>Khi chuyển từ biến ngẫu nhiên rời rạc sang biến ngẫu nhiên liên tục, entropy Shannon được tổng quát hóa thành entropy vi phân (differential entropy):\u003C\u002Fp>\n\n\u003Cp>\u003Cscript type=\"math\u002Ftex\">h(X) = -\\int f(x) \\log_2 f(x) \\, dx\u003C\u002Fscript>\u003C\u002Fp>\n\n\u003Cp>trong đó \u003Cscript type=\"math\u002Ftex\">f(x)\u003C\u002Fscript> là hàm mật độ xác suất. Khác với entropy rời rạc vốn luôn không âm, entropy vi phân có thể nhận giá trị âm và không bất biến dưới các phép đổi biến tọa độ phi tuyến. Để khắc phục ranh giới này, khoảng cách tương đối như phân kỳ Kullback - Leibler được sử dụng làm thước đo độ bất định chuẩn xác và độc lập với hệ tọa độ.\u003C\u002Fp>\n\n\u003Ch3>3. Entropy lượng tử von Neumann\u003C\u002Fh3>\n\u003Cp>Trong {{topic|%7B%22topic%22%3A%22c%C6%A1%20h%E1%BB%8Dc%20l%C6%B0%E1%BB%A3ng%20t%E1%BB%AD%22%7D}}, đối với một hệ thống được mô tả bởi toán tử ma trận mật độ trạng thái rho, entropy von Neumann được định nghĩa nhằm lượng hóa mức độ vướng víu lượng tử (quantum entanglement) và tính bất định của trạng thái hỗn hợp:\u003C\u002Fp>\n\n\u003Cp>\u003Cscript type=\"math\u002Ftex\">S(\\rho) = -\\mathrm{Tr}(\\rho \\ln \\rho)\u003C\u002Fscript>\u003C\u002Fp>\n\n\u003Cp>Entropy von Neumann bằng không đối với một trạng thái lượng tử thuần khiết và đạt giá trị dương cực đại đối với trạng thái hỗn hợp hoàn toàn.\u003C\u002Fp>\n\n\u003Ch3>4. Ranh giới của hàm mất mát Cross-Entropy trong Học máy\u003C\u002Fh3>\n\u003Cp>Mặc dù hàm mất mát cross-entropy là chuẩn mực trong phân loại dữ liệu, nó tiềm ẩn nguy cơ thúc đẩy mạng nơ-ron sinh ra các dự đoán quá tự tin (overconfident predictions), ngay cả đối với các mẫu nằm ngoài phân phối huấn luyện (out-of-distribution) hoặc dữ liệu có nhiễu nhãn. Để nâng cao độ chuẩn hóa hiệu chỉnh (calibration) và tính vững chắc của mô hình, các kỹ thuật hiện đại như làm mượt nhãn (label smoothing) và hàm mất mát tiêu điểm (focal loss) thường được tích hợp nhằm điều chỉnh trọng số entropy trong quá trình huấn luyện.\u003C\u002Fp>\n\n\u003Ch2>Ứng dụng trong Khoa học máy tính và Học máy\u003C\u002Fh2>\n\n\u003Cp>Trong thời đại trí tuệ nhân tạo, entropy trở thành công cụ toán học nền tảng trong thiết kế thuật toán {{topic|%7B%22topic%22%3A%22h%E1%BB%8Dc%20m%C3%A1y%22%7D}}, {{topic|%7B%22topic%22%3A%22x%E1%BB%AD%20l%C3%BD%20ng%C3%B4n%20ng%E1%BB%AF%20t%E1%BB%B1%20nhi%C3%AAn%22%7D}} và {{topic|%7B%22topic%22%3A%22th%E1%BB%8B%20gi%C3%A1c%20m%C3%A1y%20t%C3%ADnh%22%7D}}.\u003C\u002Fp>\n\n\u003Ch3>1. Độ lợi thông tin trong Cây quyết định (Decision Trees)\u003C\u002Fh3>\n\u003Cp>J. Ross Quinlan (1986) đã ứng dụng trực tiếp entropy Shannon để phát triển thuật toán phân loại ID3. Để phân chia một tập dữ liệu huấn luyện thành các nhóm con đồng nhất nhất về nhãn phân loại, thuật toán tính toán Độ lợi thông tin (Information Gain):\u003C\u002Fp>\n\n\u003Cp>\u003Cscript type=\"math\u002Ftex\">IG(S, A) = H(S) - \\sum_{v \\in \\text{Values}(A)} \\frac{|S_v|}{|S|} H(S_v)\u003C\u002Fscript>\u003C\u002Fp>\n\n\u003Cp>trong đó \u003Cscript type=\"math\u002Ftex\">S\u003C\u002Fscript> là tập mẫu huấn luyện ban đầu, \u003Cscript type=\"math\u002Ftex\">A\u003C\u002Fscript> là thuộc tính đặc trưng được chọn để phân tách, \u003Cscript type=\"math\u002Ftex\">S_v\u003C\u002Fscript> là tập con của \u003Cscript type=\"math\u002Ftex\">S\u003C\u002Fscript> với giá trị \u003Cscript type=\"math\u002Ftex\">A = v\u003C\u002Fscript>, và \u003Cscript type=\"math\u002Ftex\">H(S)\u003C\u002Fscript> là entropy của tập dữ liệu \u003Cscript type=\"math\u002Ftex\">S\u003C\u002Fscript>.\u003C\u002Fp>\n\n\u003Ch3>2. Hàm mất mát Cross-Entropy trong Mạng nơ-ron\u003C\u002Fh3>\n\u003Cp>Trong quá trình huấn luyện các mô hình phân loại đa lớp hoặc phân loại nhị phân bằng mạng nơ-ron sâu, hàm mất mát Cross-Entropy (độ mất mát chéo) được sử dụng rộng rãi để đo lường mức độ sai lệch giữa phân phối xác suất nhãn thực tế và phân phối xác suất dự đoán do mô hình sinh ra:\u003C\u002Fp>\n\n\u003Cp>\u003Cscript type=\"math\u002Ftex\">H(p, q) = -\\sum_{x} p(x) \\log q(x)\u003C\u002Fscript>\u003C\u002Fp>\n\n\u003Cp>trong đó \u003Cscript type=\"math\u002Ftex\">p(x)\u003C\u002Fscript> biểu thị phân phối xác suất thực tế (thường là vector one-hot) và \u003Cscript type=\"math\u002Ftex\">q(x)\u003C\u002Fscript> là xác suất dự đoán sau hàm kích hoạt softmax. Nếu phân phối \u003Cscript type=\"math\u002Ftex\">q(x)\u003C\u002Fscript> càng tiệm cận với \u003Cscript type=\"math\u002Ftex\">p(x)\u003C\u002Fscript>, giá trị hàm mất mát càng nhỏ. Việc tối thiểu hóa hàm mất mát cross-entropy thông qua {{topic|%7B%22topic%22%3A%22thu%E1%BA%ADt%20to%C3%A1n%20lan%20truy%E1%BB%81n%20ng%C6%B0%E1%BB%A3c%22%7D}} tương đương với việc tối đa hóa hàm hợp lý cực đại (Maximum Likelihood Estimation).\u003C\u002Fp>\n\n\u003Ctable>\n  \u003Cthead>\n    \u003Ctr>\n      \u003Cth>Lĩnh vực khoa học\u003C\u002Fth>\n      \u003Cth>Dạng thức Entropy\u003C\u002Fth>\n      \u003Cth>Ý nghĩa vật lý \u002F toán học\u003C\u002Fth>\n      \u003Cth>Công thức tiêu biểu\u003C\u002Fth>\n    \u003C\u002Ftr>\n  \u003C\u002Fthead>\n  \u003Ctbody>\n    \u003Ctr>\n      \u003Ctd>Nhiệt động lực học cổ điển\u003C\u002Ftd>\n      \u003Ctd>Entropy nhiệt động\u003C\u002Ftd>\n      \u003Ctd>Đo lường sự thoái hóa năng lượng và tính bất khả nghịch\u003C\u002Ftd>\n      \u003Ctd>Biến thiên nhiệt thuận nghịch chia nhiệt độ tuyệt đối\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>Cơ học thống kê\u003C\u002Ftd>\n      \u003Ctd>Entropy Boltzmann - Gibbs\u003C\u002Ftd>\n      \u003Ctd>Logarit của số trạng thái vi mô khả dĩ\u003C\u002Ftd>\n      \u003Ctd>Tích hằng số Boltzmann với logarit tự nhiên của vi trạng thái\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>Lý thuyết thông tin\u003C\u002Ftd>\n      \u003Ctd>Entropy Shannon & Vi phân\u003C\u002Ftd>\n      \u003Ctd>Lượng thông tin trung bình và độ bất định của nguồn tin\u003C\u002Ftd>\n      \u003Ctd>Tổng kỳ vọng âm của logarit xác suất cơ số hai\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>Cơ học lượng tử\u003C\u002Ftd>\n      \u003Ctd>Entropy von Neumann\u003C\u002Ftd>\n      \u003Ctd>Đo lường độ vướng víu lượng tử và trạng thái hỗn hợp\u003C\u002Ftd>\n      \u003Ctd>Vết của tích {{topic|%7B%22topic%22%3A%22ma%20tr%E1%BA%ADn%20m%E1%BA%ADt%20%C4%91%E1%BB%99%22%7D}} với logarit ma trận mật độ\u003C\u002Ftd>\n    \u003C\u002Ftr>\n    \u003Ctr>\n      \u003Ctd>Học máy & Thống kê\u003C\u002Ftd>\n      \u003Ctd>Cross-Entropy & Kullback-Leibler\u003C\u002Ftd>\n      \u003Ctd>Độ bất đồng giữa phân phối thực và phân phối dự đoán\u003C\u002Ftd>\n      \u003Ctd>Tổng tích xác suất thực với logarit xác suất mô hình\u003C\u002Ftd>\n    \u003C\u002Ftr>\n  \u003C\u002Ftbody>\n\u003C\u002Ftable>\n",[11,12],"độ hỗn loạn","entropy thông tin","Entropy là đại lượng vật lý và toán học trung tâm biểu thị mức độ hỗn loạn, độ bất định hoặc lượng thông tin cần thiết để mô tả trạng thái của một hệ thống vật lý, thống kê hoặc mô hình tính toán.","NATURAL_SCIENCES",[16,24,31,38,45],{"citationText":17,"title":18,"authors":19,"source":20,"year":21,"doi":22,"url":23},"Shannon, C. E. (1948). A mathematical theory of communication. Bell System Technical Journal, 27(3), 379–423.","A Mathematical Theory of Communication","Claude E. Shannon","Bell System Technical Journal",1948,"10.1002\u002Fj.1538-7305.1948.tb01338.x",null,{"citationText":25,"title":26,"authors":27,"source":28,"year":29,"doi":30,"url":23},"Clausius, R. (1865). Ueber verschiedene für die Anwendung bequeme Formen der Hauptgleichungen der mechanischen Wärmetheorie. Annalen der Physik, 201(7), 353–400.","Ueber verschiedene für die Anwendung bequeme Formen der Hauptgleichungen der mechanischen Wärmetheorie","Rudolf Clausius","Annalen der Physik",1865,"10.1002\u002Fandp.18652010702",{"citationText":32,"title":33,"authors":34,"source":35,"year":36,"doi":37,"url":23},"Jaynes, E. T. (1957). Information theory and statistical mechanics. Physical Review, 106(4), 620–630.","Information Theory and Statistical Mechanics","Edwin T. Jaynes","Physical Review",1957,"10.1103\u002FPhysRev.106.620",{"citationText":39,"title":40,"authors":41,"source":42,"year":43,"doi":44,"url":23},"Prigogine, I. (1978). Time, structure, and fluctuations. Science, 201(4358), 777–785.","Time, Structure, and Fluctuations","Ilya Prigogine","Science",1978,"10.1126\u002Fscience.201.4358.777",{"citationText":46,"title":47,"authors":48,"source":49,"year":50,"doi":51,"url":23},"Quinlan, J. R. (1986). Induction of decision trees. Machine Learning, 1(1), 81–106.","Induction of decision trees","J. Ross Quinlan","Machine Learning",1986,"10.1007\u002FBF00116251",[53,56,59],{"question":54,"answer":55},"Sự khác biệt căn bản giữa entropy nhiệt động lực học và entropy thông tin là gì?","Entropy nhiệt động lực học đo lường sự thoái hóa năng lượng và số trạng thái vi mô vật lý, trong khi entropy thông tin đo lường lượng thông tin trung bình và độ bất định của một nguồn dữ liệu.",{"question":57,"answer":58},"Nguyên lý thứ hai của nhiệt động lực học phát biểu gì về entropy của hệ cô lập?","Trong một hệ cô lập, tổng entropy không bao giờ giảm theo thời gian; nó chỉ giữ nguyên trong các quá trình thuận nghịch lý tưởng và luôn tăng trong mọi quá trình tự nhiên không thuận nghịch.",{"question":60,"answer":61},"Hàm mất mát Cross-Entropy trong học máy có vai trò gì?","Hàm mất mát Cross-Entropy đo lường mức độ sai lệch giữa phân phối xác suất dự đoán của mô hình và phân phối xác suất nhãn thực tế, giúp tối ưu hóa trọng số mạng nơ-ron qua thuật toán lan truyền ngược.",{"id":63,"researcherId":23,"name":64,"imageUrl":65},1,"Nguyễn Ngọc Sơn","https:\u002F\u002Flh3.googleusercontent.com\u002Fa\u002FACg8ocLGfGsF1nYQqYK5BasTLhNu1dBrBXg2fcEgBNPXJ0p2gqLQnO7i=s96-c",[67,68,69,70,71,72,73,74,75,76],"nhiệt động lực học","cơ học thống kê","lý thuyết thông tin","phân phối xác suất","cơ học lượng tử","học máy","xử lý ngôn ngữ tự nhiên","thị giác máy tính","thuật toán lan truyền ngược","ma trận mật độ",10,true,"PUBLISHED","2025-04-17T14:21:50.375+00:00","2026-08-25T06:02:49.336+00:00","2026-08-25T06:02:48.831+00:00",758,[85,88,91,94,97,100,103,111,114,117],{"id":86,"title":87,"term":86,"englishTitle":23,"definition":23,"discipline":23,"disciplineCode":23,"disciplineLabel":23,"disciplineColor":23,"disciplineIcon":23},"ngữ nghĩa","Ngữ nghĩa là gì? Các nghiên cứu khoa học về Ngữ nghĩa",{"id":89,"title":90,"term":89,"englishTitle":23,"definition":23,"discipline":23,"disciplineCode":23,"disciplineLabel":23,"disciplineColor":23,"disciplineIcon":23},"nhiệt dung","Nhiệt dung là gì? Các nghiên cứu khoa học về Nhiệt dung",{"id":92,"title":93,"term":92,"englishTitle":23,"definition":23,"discipline":23,"disciplineCode":23,"disciplineLabel":23,"disciplineColor":23,"disciplineIcon":23},"tán xạ","Tán xạ là gì? Các nghiên cứu khoa học về Tán xạ",{"id":95,"title":96,"term":95,"englishTitle":23,"definition":23,"discipline":23,"disciplineCode":23,"disciplineLabel":23,"disciplineColor":23,"disciplineIcon":23},"nguyên tử hydro","Nguyên tử hydro là gì? Các công bố khoa học về Nguyên tử hydro",{"id":98,"title":99,"term":98,"englishTitle":23,"definition":23,"discipline":23,"disciplineCode":23,"disciplineLabel":23,"disciplineColor":23,"disciplineIcon":23},"artificial intelligence","Artificial Intelligence là gì? Các nghiên cứu khoa học về AI",{"id":101,"title":102,"term":101,"englishTitle":23,"definition":23,"discipline":23,"disciplineCode":23,"disciplineLabel":23,"disciplineColor":23,"disciplineIcon":23},"vị từ","Vị từ là gì? Các nghiên cứu khoa học về Vị từ",{"id":104,"title":105,"term":104,"englishTitle":104,"definition":106,"discipline":14,"disciplineCode":107,"disciplineLabel":108,"disciplineColor":109,"disciplineIcon":110},"proton","Proton là gì? Cấu trúc và ứng dụng của Proton","Proton là một hạt hạ nguyên tử bền vững thuộc nhóm baryon cấu tạo từ hai quark lên và một quark xuống, mang điện tích nguyên tố dương và có khối lượng nghỉ xấp xỉ 1.6726 x 10^-27 kg nằm trong hạt nhân nguyên tử.","natural-sciences","Khoa học tự nhiên","#0E9F9C","atom",{"id":112,"title":113,"term":112,"englishTitle":23,"definition":23,"discipline":23,"disciplineCode":23,"disciplineLabel":23,"disciplineColor":23,"disciplineIcon":23},"phương trình schrödinger","Phương trình schrödinger là gì? Các công bố khoa học về schrödinger",{"id":115,"title":116,"term":115,"englishTitle":23,"definition":23,"discipline":23,"disciplineCode":23,"disciplineLabel":23,"disciplineColor":23,"disciplineIcon":23},"lý thuyết lượng tử","Lý thuyết lượng tử là gì? Các nghiên cứu khoa học ",{"id":118,"title":119,"term":118,"englishTitle":23,"definition":23,"discipline":23,"disciplineCode":23,"disciplineLabel":23,"disciplineColor":23,"disciplineIcon":23},"phương trình chuyển động","Phương trình chuyển động là gì? Các bài nghiên cứu khoa học"]