AB实验经常运用在活动策略是否有效的问题上,它的理论基础是假设检验,也就是选择一种合适的检验方法,去验证在 A/B 测试中我们提出的假设是否正确。
现在,你只要知道“假设检验”中,最重要也最核心的是“检验”就可以了,因为选取哪种检验方法,取决于指标的统计属性。
A/B 测试是促进业务持续增长的最实用、最有效的方式。
1.A方案和B方案,哪个方案的结果更好?
2.首先的话,需要做需要运用假设检验,分为两种不同的检验方式,对于留存率、渗透率等漏斗类,采用卡方检验。对于人均时长类等均值类指标,采用t检验。
1.通过假设检验后,如果结论置信,我们就能够得到A方案和B方案哪个指标更好(有显著性差异), 对于不置信的结论,尽管A方案和B方案 的指标可能略有差异,但可能是数据正常波动产生。哪个 ROI 更高?
2.一般有活动相比无活动,留存、人均时长等各项指标均会显著。
对于 ROI 的计算,成本方面,每个实验组成本可以直接计算,对于收益方面,就要和对照组相比较,假定以总日活跃天(即 DAU 按日累计求和)作为收益指标,需要假设不做运营活动,DAU 会是多少,可以通过对照组计算,即:
● 实验组假设不做活动日活跃天 = 对照组日活跃天 * (实验组流量 / 对照组流量)
● 实验组收益 = 实验组日活跃天 - 实验组假设不做活动日活跃天
这样就可以量化出每个方案的 ROI。
这道题主要是考察ABtest上线后,从哪些维