1.1　熵概念的来龙去脉

熵概念最初作为热力学状态函数出现。对应于系统的任一热力学平衡状态，总存在有相应的熵值。熵的重要意义在于，它给出热力学第二定律的定量判据：孤立系统的任何变化不可能导致熵的总值减小（孤立系统的总熵不减）。用最初引入熵概念的德国物理学家克劳修斯的话说，“熵一直在努力走向最大值”。当热在周围分散，达到尽可能均匀和稳定时，熵便达到了它的极大值。

统计物理学发展了熵的概念，用统计的方法探讨了过程的不可逆性，以及熵函数的微观意义。熵的大小取决于系统的特定状态所对应的微观状态数目。系统从包含微观状态数目少的宏观态，向包含微观状态数目多的宏观状态过渡，反映了系统从概率小的状态向概率大的状态演变的规律。

数学中对熵的研究，源于对信息的不确定性给出的数学度量。在1948年，香农（Claude Elwood Shannon）发表了A Mathematical Theory of Communication一文，提出信源的消息所携带的信息量可以用信息的不确定性来量度，在若干公理的前提假定下，论证了它必须满足的定量表达式。香农以通信系统为背景建立数学模型，系统地开创了信息熵概念与信息论基础。在一批数学家的共同推动下，信息熵从一个独立的概念发展成为数学中一个专门的分支——信息论，开启了一个新的信息时代。

从有关的文献可以发现，熵这个概念原本来源于数学和物理学两个不同的学科。数学家和物理学家分别在各自的领域从不同的视角和需求，对熵的概念和性质展开了深入的研究，均取得了重大的成果并产生了深远的影响。

关于“熵”这个词的来历有如下说法。

德国物理学家克劳修斯（Rudolf Julius Emanuel Clausius）在1865年首先提出熵的概念，表达一个重要的物理量。他参照“能量”（die Energie，德语）和“转变”（trope，源自希腊语），首创了一个英文新词Entropy，它在字面上结合了能量和转换两个词的词首，意指这是一个描述能量转换的新概念。

熵在汉语词汇中是新设的科技词，没有其他可供借鉴的近义词。据说1923年一位德国热力学教授普朗克来中国讲学，担任翻译的胡复刚博士遇到Entropy这个英文词，根据它在热力学中的表达式为热温比（热量与温度之商），灵机一动，想出了“商”字加上“火”偏旁的新汉字。

香农系统地研究信息量的定义、性质及应用后，为什么把这个量也命名为熵呢？这里流传着下面一个故事。香农一时想不出用哪个英文单词来表达，刚好遇见知识丰富的大数学家冯·诺伊曼教授，后者建议他用Entropy这个词，理由有二：一是它来自热力学与统计物理，已有不确定性的含义；二是没人真正懂Entropy为何物，容易避免争论。这个说法表明香农提出信息量的定义并没有依托物理学的背景。我们也不会忽略一个明显的事实：玻尔兹曼给出的热力学熵公式就是等概率分布的信息熵，因而把一般概率分布包含的信息量命名为熵可谓“天作之合”。

以上说法说明信息熵与热力学熵的相遇表面上带有一定的偶然性，反映了物理学中熵的发现和研究与数学中信息熵的提出和研究，尽管在时间上有前后之分，但并非前后继承的关系。

多年来，熵作为物质的一种状态量，在微观、宏观乃至宇观的各种层次上都有其独特的表现形式，进入了自然科学的许多分支。熵的概念也作为分析的工具渗透到人文社科领域。这些因素大大增加了理解和应用熵的困难。诚如有的学者指出：“熵是一个非常独特的概念，就不易理解和容易误解这两点来说，在整个物理学领域，熵都是鲜有其匹的一个词。”（引自曹其贤著作《物理学咬文嚼字》）

接下来将从物理学的视角（作为物理状态量的热力学熵，第1章）与数学的视角（作为纯粹数学度量的信息熵，第2章）分别考察熵的来龙去脉。