当前位置: 首页 > 面试经验 >

A/B test面试题与解析2

优质
小牛编辑
163浏览
2023-03-28

A/B test面试题与解析2




面试高频题6:


题目:说说对ABtest/的理解


答案解析:


AB实验经常运用在活动策略是否有效的问题上,它的理论基础是假设检验,也就是选择一种合适的检验方法,去验证在 A/B 测试中我们提出的假设是否正确。



现在,你只要知道“假设检验”中,最重要也最核心的是“检验”就可以了,因为选取哪种检验方法,取决于指标的统计属性。



A/B 测试是促进业务持续增长的最实用、最有效的方式。



面试高频题7:


题目:如何设计ABtest确定此功能上线收益(正负收益平衡点)


答案解析:


1.A方案和B方案,哪个方案的结果更好?



2.首先的话,需要做需要运用假设检验,分为两种不同的检验方式,对于留存率、渗透率等漏斗类,采用卡方检验。对于人均时长类等均值类指标,采用t检验。



1.通过假设检验后,如果结论置信,我们就能够得到A方案和B方案哪个指标更好(有显著性差异), 对于不置信的结论,尽管A方案和B方案 的指标可能略有差异,但可能是数据正常波动产生。哪个 ROI 更高?



2.一般有活动相比无活动,留存、人均时长等各项指标均会显著。



对于 ROI 的计算,成本方面,每个实验组成本可以直接计算,对于收益方面,就要和对照组相比较,假定以总日活跃天(即 DAU 按日累计求和)作为收益指标,需要假设不做运营活动,DAU 会是多少,可以通过对照组计算,即:



● 实验组假设不做活动日活跃天 = 对照组日活跃天 * (实验组流量 / 对照组流量)



● 实验组收益 = 实验组日活跃天 - 实验组假设不做活动日活跃天



这样就可以量化出每个方案的 ROI。




这道题主要是考察ABtest上线后,从哪些维



 类似资料: