3.4 查普曼-柯尔莫哥洛夫等式
还是先从一个例子来谈起。图3-15中左侧是状态转移矩阵，其中每个位置都表示从一个状态转移到另外一个状态的概率。例如，从状态1转移到状态2的概率是0.28，所以在第一行第二列的位置，给出的数值是0.28。
在马尔科夫链中，随机变量在一个按时间排序的数组T1，T2，…，Tn中，根据状态转移矩阵让我们可以非常直观地得知当前时刻某一状态在下一时刻变到任意状态的概率，如图3-17所示。
现在的问题是能不能做更进一步的预测。例如，当前时刻T1时的状态为a，能否知道在下下时刻T3时状态为b的概率是多少呢？这其实也相当容易做到，如图3-18所示。
图3-17 按时间排序的状态转移情况
图3-18 计算下下时刻某状态的概率
这个过程用转移矩阵的自乘来表示是非常直观且方便的。矩阵P中第1行就表示，当前时刻状态a在下一时刻变到状态a、b、c的概率，矩阵P中第2列就表示，由状态a、b、c，在下一时刻转移到状态b的概率。那么根据矩阵的乘法公式，P2中第1行第2列的位置就表示“当前时刻T1时的状态为a，在下下时刻T3时状态为b的概率”。也就是说，如果想得到跨越2个时刻的转移矩阵，就把跨越1个时刻的转移矩阵乘以跨越1个时刻的转移矩阵即可。同理，如果想跨越3个时刻的转移矩阵，就把跨越2个时刻的转移矩阵乘以跨越1个时刻的转移矩阵即可。更普遍地有Pm+n=PmPn，而这个关系就被称为查普曼-柯尔莫哥洛夫等式（Chapman-Kolmogorov Equation）。
下面是查普曼-柯尔莫哥洛夫等式的一个表述：令T是一个离散状态空间中的n步马尔科夫链，其状态转移矩阵为
Pn=［pn（j，k）］j，k∈S
其中，
是n步状态转移概率。那么，Pm+n=PmPn，或等价地有
最后给出查普曼-柯尔莫哥洛夫等式的证明。
首先考虑在n时刻，系统正处在什么状态。给定T0=i，
就表示（在时刻n）系统处于k状态的概率。但是，此后再给定Tn=k，在第n时刻之后的情况就与过去的历史彼此独立了。于是，再过m个时间单位后，处在状态j的概率是
将满足乘积
将所有k的情况进行加总就会得到要证明之结论。一个更加严格的证明如下
上述证明中运用了马尔科夫链的性质来得到
最终，结论得证。