A/B测试

Posted 2020-11-28 jason-zhou

先验和后验

A/B测试其实是一种“先验”的实验体系，属于预测型结论，与“后验”的归纳性结论差别巨大。

注：从原因到结果的论证称为“先验”，而从结果到原因的论证称为“后验”。

例如：

1. 我们试验的两个网页之间仅存在一处不同，我们可以确认结果的不同由该变量直接引起，这叫做“先验”；
2. 我们从数据中观测到了二个网页之间的不同表现，反向分析导致二者不同的可能原因，这叫做“后验”。

目的

A/B测试的目的在于通过科学的实验设计、采样样本代表性、流量分割与小流量测试等方式来获得具有代表性的实验结论，并确信该结论在推广到全部流量可信。

原理

A/B 测试是假设检验的一个具体应用场景。当我们提出 A 和 B 两种方案，从业务的角度上来看，我们是期望 B （实验组）的性能和结果是优于 A （对照组）的，否则我们也不会进行新产品/功能的开发。这里的假设应该是：

H0: A、B版本没有差异 H1: A、B版本有差异（B 优于 A）

因此，在设计试验和计算、分析试验结果的时候，我们也需要遵守推论统计学中假设检验中的一些基本原理。

A/B 测试也有很多不能够胜任的事情，比如：

• 需要长期时间验证的变化；（A/B 测试的运行时间有限，无法对需要长期验证的变化进行验证）
• 检查某些关键部件是否遗漏；（A/B 测试仅能在已有的两个产品中进行对比，但无法帮助你发现彻底遗漏的部分）
• 增加一种新的产品或服务（我们更希望用户能够在新旧产品中做出主动选择，但我们可以通过 A/B 测试获取更多的信息）
• 改变公司的 logo，虽然技术上可以实现，但是可能会受到 “新奇效应” 的影响。（新奇效应使试验结果受用户主观情绪影响，不能得到客观公正的结论）

设计试验的思考框架

在进行 A/B 测试的时候，我们需要明确您所需的试验方案，然后再进行改动。一般思考框架分为下面五个步骤：

• 提出问题
• 建立假设
• 准备方案
• 验证这个假设
• 分析数据得出初步结果

以 Audacity 为例，我们会这样来使用这个思考框架：

• 提出问题：为什么 Audacity 的从主页 -> 探索课程页面的转化率不够高
• 建立假设：一个更吸引人的新设计能增加探索课程的用户
• 准备方案：不同设计的主页，探索课程按钮的点击次数和页面流量统计，需要多少流量来进行这个试验
• 验证这个假设：更吸引人的新设计版本作为版本 B，与原始版本 A 同时上线，展示给具有相同属性的两部分用户，并获得统计数据
• 分析数据得出初步结果：如果 B 版本成功提高了转化率，那么这个假设得到了验证。否则，需要返回第二步来做出其他假设