上QQ阅读APP看书,第一时间看更新
1.4 AB实验的2个关键特性
AB实验得以在工程中广泛应用和推广,与AB实验的2个关键特性密不可分:一个特性是先验性,通过小流量预先获得效果评估;另一个特性是并行性,多个实验可并行开展。这两个特性也使得AB实验具有更高的应用价值和更广泛的应用场景。
1.先验性:小流量预先获得效果评估
对于产品,特别是互联网产品迭代需要敏捷开发,快速试错。如果采用全员试错的方式,新版本、新功能全量发布后,发现重大漏洞或者用户体验不好,然后回滚,不仅对于用户体验的伤害比较大,而且很多时候甚至无法收集到有效的用户反馈信息。产品在开发者不知情的情况下就被用户放弃了,从而导致产品失败。这些传统的做法不仅不能满足敏捷迭代的需求,而且需要投入很高的试错成本。
AB实验能很好地解决上述问题,采用统计学中抽样统计的思路,通过观测抽样的小样本行为来推断总体样本行为。AB实验的先验性主要是指通过小流量的实验方式预先获得实验结果,而不需要等到全量发布。同样是用数据统计与分析新功能、新版本的效果,以往的方式是先将版本发布,再通过数据验证效果。AB实验则是通过科学的实验设计、流量分割与小流量采用的方式来预先获得实验结论。由此可见,AB实验是一种“先验”的实验体系,属于预测型结论,与“后验”的验证性结论相比有很大的优势。
2.并行性:同一个实验对象可以有多个实验并行开展
AB实验对实验用户进行随机正交分层,一个用户可以同时进行多个不同的实验。对于不同类型的实验,可以分别在不同的实验层中进行。这样做可以节省实验流量和时间,特别是在用户量比较小的情况下,能够极大提升实验数量,从而提升产品迭代效率。并行性涉及的核心原理是正交分层机制,会在第5章详细讨论。