3.1　信息及其度量

信息的可度量性是信息论建立的基础；香农的信息论用事件发生概率的对数来描述事件的不确定性，得到消息的信息量。

按照某时刻信源发出消息的取值集合的离散性和连续性可把信源分为离散信源和连续信源。离散信源是指信源发出消息的时间与消息的表示形式都是离散的。例如：计算机输出的代码、文稿、人写的书信等。连续信源是指信源发出消息的时间与消息的表示形式都是连续的。例如：语音和模拟图像等。

1.离散无记忆信源的数学模型

离散信源定义为可能输出的消息数是有限的或可数的，每次只输出一个消息，即两两不兼容。离散无记忆信源的数学模型可以用离散型概率空间[X，P（X）]表示为

并且满足完备性：

式中，X={x1，x2，…，xq}表示信源可能输出消息符号的集合；xi表示信源发出的第i个消息；p（xi）表示消息xi出现的概率；n是信源发出的消息符号的个数。若该信源不同时刻发出的消息符号之间无依赖关系，彼此统计独立，则称为离散无记忆信源，否则称为有记忆信源。

2.连续信源的数学模型

连续信源定义为可能输出的消息数是无限的或不可数的，每次只输出一个消息，如电压、温度等。如果信源输出为连续的，称为连续信源，其数学模型是连续型的概率空间，一般用概率密度函数来描述其统计特征

式中，（a，b）为X的取值范围；p（x）为x的概率密度函数。