第6章　AB实验的SRM问题

很多人认为实验一定是按照设计进行的，实际上这一假设失败的概率远高于人们的预期。失败的实验分析结论通常是有严重偏颇的，甚至一些结论是完全错误的。样本比例不匹配问题（Sample Ratio Mismatch，SRM）是常见的一种导致实验失败的原因。多家公司都在实验中发现了SRM问题，并认为在AB实验中测试SRM是非常有价值的。推荐的做法是每一次实验都包括SRM测试，以保证实验结果的内部有效性和可信性。本章会重点讨论SRM问题发生的原因以及应对方法。

保护指标是一类关键指标，旨在提醒实验者注意可能违反实验假设的情况。保护指标有两类：组织性保护指标和实验可信度保护指标。组织性保护指标用于保护业务不受伤害，实验可信度保护指标针对的是实验本身的可信度，SRM指标就是一种实验可信度保护指标。