如何计算ab测试样本量

Posted

技术标签:

【中文标题】如何计算ab测试样本量【英文标题】:How to calculate ab testing sample size 【发布时间】:2015-03-18 17:55:18 【问题描述】:

您知道计算每个变体的 ab 测试样本量的公式吗:

    基线转化率 最小可检测效果 统计意义 统计功效

这是一些计算样本量的在线工具:

https://www.optimizely.com/resources/sample-size-calculator

http://www.evanmiller.org/ab-testing/sample-size.html

【问题讨论】:

【参考方案1】:

对于给定的功效、假阳性率、最小可检测效应 (MDE) 和基线转换率,可以通过比较零假设和备择假设下的图表来确定公式。

Gerald Van Belle 写了一封 book called "Statistical Rules of Thumb" 评论这种方法。以下是第 2 章的快照,其中涵盖了样本量。

当您将替代假设和零假设的临界值等同起来时,可以得出该公式:

这些都是范贝尔教科书的截图。

【讨论】:

以上是关于如何计算ab测试样本量的主要内容,如果未能解决你的问题,请参考以下文章

AB测试(ABtest)

如何进行AB页面测试

如何使用apache自带的ab做压力测试

如何往linux中安装ab压力测试环境

如何使用Apache提供ab压力测试工具进行压力测试

网站性能压力测试工具:Apache ab使用详解