AB测试是一种统计学方法,用于确定两种不同的策略哪种更有效。 对于许多实际应用来说,AB测试可能是增加销售、订阅等的最好方法之一。 一个关键的问题是,如何确定需要多少样本才能获得可靠的结果。
当AB测试进行时,我们必须首先计算样本量。 样本量越大,我们的结果就越有信心,但是这也意味着测试需要更多的成本和时间。 另一方面,较小的样本量可能会导致结论不可靠。 因此,我们需要通过计算来找到一个平衡点,即样本量既足够,又合理。
样本量计算的数学方法是基于统计学原理。 我们首先假定样本是随机取样的,然后计算所需样本量,以使结果有一定置信度和统计显著度。
下面是一个示例,演示如何使用Python进行AB测试样本量计算。 我们将计算所需的样本量,以捕获在两个版本之间的差异,以达到95%的置信度和统计显着性。
import numpy as np import scipy.stats as scs
def sample_size(alpha, beta, p1, p2, d): """ alpha: 实验的Type I错误率 beta: 实验的Type II错误率 p1: 控制组中的基于常见的转化率 p2: 实验组中期望的转化率 d: 最小期望效应值 """ # 根据初始估计的转化率,计算均值差异和标准误差 # 标准误差是两组的均值之间的差异的度量,它指示均值差异的大小 # d是我们所期望的最小差异 mean_diff = p2 - p1 std_dev = np.sqrt((p1 * (1 - p1) + p2 * (1 - p2))) z_score = scs.norm.ppf(1