第2章
热力学熵与信息熵殊途同归Ⅱ：信息熵概念初探

我们将通过简单的天平称球问题模型，给出衡量信息不确定性程度的度量公式，以便对信息熵的概念获得初步的感性认识。这实际上给出了一种特殊概率分布——均匀分布的信息熵，它与热力学熵的玻尔兹曼公式完全一致，体现了热力学熵与信息熵（香农熵）的同一性。而且，这个实例使我们对一般以公理化方式引进信息熵更容易理解。