10. A/B平台常用名词解释

样本总量

试验周期内，按照ClientID去重规则，统计进入试验的样本之和。特别注意：A/B测试平 台中的样本总量不等同于其他⽤户⾏为分析平台所定义的样本总量。举例说明，⼀个⽤户访问到 了⽬标⻚⾯，在⽤户⾏为分析平台会⽤UV和PV来表示独⽴访客和曝光量，并进⾏计数；⽽A/B 平台需要先判断该⽤户（样本）是否已经参与到了试验（即是否已经分配了版本），如果⽬标⻚ ⾯不含试验⻚⾯，即⽤户未参与任何试验（未进⼊任何版本），则不算做⼀个样本，因为本次⻚ ⾯访问⾏为不影响A/B试验，因此不计数。

指标转化数

按照ClientID排重所统计的触发指标事件的指标总数

指标转化率

即指标转化数/样本总量。

指标总值

相应指标上报的总次数。

指标均值

即指标总值/样本总量。

复合指标

将指定的两个基础指标按照⼀定的运算规则（加、减、乘、除）⽽形成的新指标即复合指标，复 合指标参与离线计算，因此数据⽣成时间为T+1。形如：c=a-b，其中c为复合指标，a与b为基 础指标。

置信度

表示试验结果的可信程度，AB试验中通常采⽤95%的置信度作为试验标准。越⾼的置信度得出 来的结论所耗时间越⻓，流量要求也越⾼。

流量⾛势

所选⽇期内，根据天/时两种不同时间粒度，展示进⼊到各个版本的样本数（时间粒度不同，样 本的去重规则也不同）。

数据留存

数据留存体现的是，试验开始后，每天新增样本数近七天的留存表现。A/B试验的留存算法与 ⽤户⾏为分析平台的算法并不⼀致，是采⽤A/B测试专⽤的计算算法，因为这⾥体现的是参与试 验的样本⽽⾮⼈的概念，因此不要混淆。A/B平台的留存模块适⽤于移动端试验和⼩程序试验， 因此会存在样本上报不及时，超过上报时间期限的样本不再参与留存计算的情况，请留意。