何谓“在统计学上具有显著性”？

“干预组和对照组的差异在统计学上不具有显著性”，是指该差异可视为巧合所导致的误差。换句话说，“观测到的差异为偶然产物的概率”低于5%，则该差异可被视为“在统计学上具有显著性”，表示两组的差异属于无法用误差或巧合解释的“具有显著性的差异”；而该概率高于5%时，则该差异“在统计学上不具有显著性”，两组的差异可用误差或巧合来解释。（见图表2-3）5%这个数值本身并没有特殊含义，只不过长久以来经济学和统计学领域普遍采用这一水平。

图表2-3 “具有统计学意义”的小结

我们可以再举一个更直观的例子。扔一枚硬币，正面朝上的概率是50%，反面朝上的概率也是50%；扔两次硬币，两次均为正面朝上的概率是0.5×0.5=0.25（25%）。现实中，即使两次都是正面朝上，很多人仍会认为这纯属巧合。

那么，如果扔四次硬币，还都是正面朝上，人们会怎么想？或许会开始怀疑“扔硬币的人在作弊”。那么，当第五次仍然是正面朝上时，所有人应该都会确信“这不是巧合”。

四次均正面朝上的概率是0.5×0.5×0.5×0.5=0.0625（约6%），五次均正面朝上的概率是0.5×0.5×0.5×0.5×0.5=0.03125（约3%）。判断是否在统计学上具有显著性的基准数值5%恰好处在这两个概率之间。看到投五次硬币均正面朝上，很多人会怀疑这不是单纯的巧合，而是作了弊。把这种感觉落实为实际的数值，便是5%。

换句话说，“在统计学上具有显著性”表示，两组之间的差异纯属巧合的概率就像连投五次硬币均正面朝上一样，概率非常小。