【熵】

豐碩

【熵】

 

Entropy

 

【辭書名稱】圖書館學與資訊科學大辭典

 

熵的概念是德國物理學家克勞修斯(RodolphClausius)於1854年提出的，是一種對物理系統之無秩序或亂度的量度；

 

即熱力學(Thermodynamics)中用於量度熱能(ThermalEnergy)無法提供轉換成有用的功(Work)的一種物理量，是表示物理系統有序狀態的一個函數。

 

古典熱力學第一定律認為，一定量的熱所具有的能量等於一定量的功。

 

然而在系統中，熱能能夠成功地轉換為功，只有在能量能從溫度較高的熱源流向溫度較低的地方時，方可產生。

 

因此，溫度差是將熱能轉換成機械能(MechanicalEnergy)的過程中不可缺少的先決條件。

 

而熵即用以表示整個系統內的溫度情況，且以其作為一個量度，可描述系統內的溫度變化和分布情況。

 

熱能的轉換除須具備上述的條件外，亦具有熱量不會產生由溫度較低的源流向溫度較高者的特性，所以在封閉系統中實際發生的過程總是使系統的熵值增大。

 

此過程在熱力學第二定律中稱為熵增加原理。

 

因而，也可將熵看作是熱能在熱運動過程中不可逆的一個物理量，其反映自然界出現的熱的變化過程是有方向的，不可逆的。

 

古典熱力學提供熵的概念，然而繼之的統計力學(statisticalMechanics)卻以組織體的觀點再次解析熵。

 

即以系統內的分子(Molecules)物質排列和運動概率，認為熵亦可表示粒子無規則排列的程度；

 

或者說它表示系統的紊亂程度。

 

系統越亂，熵就越大；

 

系統越有序，熵就越小。

 

所以維納(NorbertWiener)認為「一個系統的熵就是它的無組織程度的量度。」

 

在資訊理論(InformationTheory)中著重人是從通訊角度和需要來研究資訊的，其觀點為資訊的作用在於消除接收者的不確定性(Uncertainty)，而其量值的大小就等於接收者不確定性減少的量。

 

1948年香農(ClaudeE.Shannon)在其論文[AMathematicalTheoryofCommunication]裡，利用數學推論證明了從概率角度來論述熵，與從概率狀態來論述訊息資訊量，其兩者數學表達式具一致性。

 

然而表示資訊量的公式與熱力學公式卻是有區別的：前者有一負號，後者卻沒有。

 

這表明資訊量公式與熱力學公式所表示的方向相反，並非描述系統的無序狀態，而是描述系統的有序狀態，表示系統獲得資訊後無序狀態的減少或消除，即是不確定性減少的量。

 

綜論之，資訊理論通過概率等概念將物理熵、資訊量和有序化聯繫在一起，而「資訊與熵是互補的，資訊就是負熵」的觀念亦因此建立。

 

 

轉自:http://edic.nict.gov.tw/cgi-bin/tudic/gsweb.cgi?o=ddictionary