AB测试是一种常见的在线实验方法，用于比较两个或多个相似的版本，以确定哪一个更优。在一个AB测试中，我们将访问者随机分组，将一组暴露于A版本，另一组暴露于B版本，然后收集数据，以确定哪个版本更优。

显著性检验是一种统计方法，用于确定两个或多个样本之间是否存在显著差异。在AB测试中，显著性检验可用于确定两个版本之间的差异是否真正显著，或者是否可能是由于随机性造成的。

常见的显著性检验包括t检验和Z检验。在AB测试中，通常使用t检验，因为样本数量比较小。 t检验用于确定两个样本之间的平均值是否有显著性差异。我们基于前端A/B 分享组件在最近7天的数据进行测试，如图：

我们要测试的是，点击按钮后转化率是否有显著提升。样本A是上线前的对照组，样本B是上线后使用的分享组。样本B的转化率比样本A高4.3%，我们可以这样设置零假设H0和备择假设H1。

• H0：样本A和样本B的平均值相等
• H1：样本A和样本B的平均值不相等

使用Python库statsmodels进行t检验。statsmodels是用于估计统计模型的Python模块，用于进行经济学、金融学和社会科学的统计分析。

示例代码如下：

import numpy as np
from statsmodels.stats.weightstats import ttest_ind

a = [114, 128, 135, 116, 131, 127, 141]
b = [126, 137, 157, 142, 154, 146, 161]

t, p, dof = ttest_ind(a, b)

print('t值:', t)
print('p值:', p)

输出结果如下：

t值: -2.012751023101255
p值: 0.06528779702107133

p值大