上QQ阅读APP看书,第一时间看更新
2.1 实验参与对象的3个问题
关于实验参与对象主要有3个问题。
●实验参与对象是否被合理随机化。在实际工程中涉及随机函数选择、正交分层框架设计等问题,其本质是考虑随机过程是否真的随机进行了,是否能够消除不同实验组之间用户选择的偏差。即使用性能最好的哈希函数进行分组,也存在出现碰撞等问题的可能。另外,在随机化的过程中,有少量的极值、异常对象会对随机后数据指标产生很大的影响。对于这些问题的检测和解决都是需要考虑的。
●实验参与对象是否相互独立。AB实验结果有效需要满足一个基本假设——个体处理稳定性假设(Stable Unit Treatment Value Assumption,SUTVA)。这个假设是指任何实验单元的潜在结果不会随分配给其他单元的处理而变化,每个组中参与对象的行为不受分配给其他组的参与对象的影响。在大多数实际应用中,这是一个合理的假设。然而,在一些情况下,这个假设是不成立的。一旦这个假设不成立,得出的AB实验结果就是无效的。对于为什么需要这个假设;什么情况下这个假设不成立;如果假设不成立,该如何处理等SUTVA相关的问题,我们会在第4章详细讨论。
●实验参与对象的数量是否足够进行实验评估也是需要考虑的问题。如果实验参与对象的样本量不足,即使得到实验结果,也无法进行有效的实验评估。实验参与对象所需要的样本量与实验需要检测的最小业务变化幅度、显著性水平、业务指标的选择等有着紧密的关系,这些问题我们将在第3、4、8章详细进行讲解。