转载

未拟定假设的A/B测试注定是失败的

如果要进行一次旅行，那么首先应该知道目的地。A/B测试也是如此。来自 CROmetrics 的网页转化率优化顾问 Brian Schmitt 曾经说过这样一句话：

如果你不能说明执行测试的原因，那么你很可能需要检查下，为什么测试及测试什么。

Shana Rusonis 是A/B测试服务公司 Optimizely 的一名内容营销人员。她持同样的观点，认为拟定假设是执行测试的一个必备步骤。近日，她发表了一篇博文，探讨了假设定义、假设在测试流程中的位置以及充分假设的意义等几个方面的问题。

按照她的说法，假设是测试执行前的预测，它清楚地描述了下列问题：

什么发生了改变？
预期会产生什么结果？
为什么会有这种预期？

而执行测试就是对假设的证明或反驳。

对应上述问题，假设由三部分组成，遵循“如果____，那么____，因为____。”这样一种模式。下面是假设的三个要素，测试人员应该在构建并开始测试之前研究拟定并形成文档记录：

变量——网站或移动应用上的一个元素，修改、添加或移除会产生预期的结果。网站或应用分析可以帮助测试人员确定网站中性能低下的页面，告诉他们应该从哪里寻找需要改变的元素。
结果——就是预期结果，可能更多的体现在网页转化率、按钮点击次数或者测试人员试图影响的其它KPI或指标上。在测试之前，应该根据基准指标确定理想的结果。
理由——证明假设是经过研究拟定的，说明为什么要进行这项测试以及通过测试可以了解什么。测试人员可以通过调查问卷、热图、用户测试等定性工具确定用户与网站或应用的交互行为。

然而，Shana指出，经过充分研究后拟定的假设并不能保证测试的成功。它只能保证一次学习机会。但即使测试结果证明前期的假设不正确，测试人员仍然可以从中知道这种改变并不适合他们的网站或应用。这样，他们就可以继续拟定新的假设，并找到适合自己的最佳方案。这里有一个小技巧，就是：

用文档记录研究过程和假设。在团队内发布测试结果时，记得连同关键测试指标一起分享假设。测试假设库在未来的测试中将成为非常有价值的参考。

此外，Shana还结合Optimizely优化负责人 Kyle Rush 的测试流程介绍了假设在其中的位置。该流程包括如下八个步骤：

识别目标和关键指标；
拟定假设；
根据样本数量评估测试持续时间；
根据预计ROI排定测试优先级；
测试质量保证；
启动测试；
记录和分享结果；
考虑重新测试。

对于以上步骤，Shana认为，步骤1和4同假设一样重要。同时，她还特别指出，不是所有的假设都是同等重要的。团队可能会有一个有趣的想法，或者可能会有不同意见，但那不一定就是最需要测试的事情。优先级排序和测试应该针对网站或应用中对业务的潜在影响比较大的部分进行。测试人员可以通过分析确定这些部分，然后重点拟定假设，为改进它们提供支持。

感谢郭蕾对本文的审校。

给InfoQ中文站投稿或者参与内容翻译工作，请邮件至editors@cn.infoq.com。也欢迎大家通过新浪微博（@InfoQ）或者腾讯微博（@InfoQ）关注我们，并与我们的编辑和其他读者朋友交流。

正文到此结束