8.1. 购物流程优化试验
购物流程优化试验
试验场景
本例介绍的试验场景是购物流程的优化,即在流程中某一个环节进行AB测试,进而统计流程中关键环节的转化,从而进行优化决策。本例使用方法同样适用于如投资流程、注册流程的优化等等。本例的目的是为了展示当试验涉及多个页面时,如何进行试验操作。
试验方案
对于某电商网站首页,对轮播图进行AB测试: 原始版本
试验版本
试验指标
关注的指标是:
1.首页轮播图转化
2.在产品浏览页,用户“立即购买”转化(通过首页轮播图点击进入);
3.在产品详情页,用户“加入购物车”转化(通过产品浏览页点击产品进入)。
创建试验
创建试验版本
对于首页替换轮播图操作,可以通过AppAdhoc A/B Testing的可视化模式快速实现,一般步骤可以参考:Web/H5可视化试验创建试验版本。
对于其他的试验情形,如页面设计的大范围调整,可使用多链接模式或编程模式;如增加页面功能入口,可使用编程模式;
首页轮播图转化指标,可以通过可视化模式直接创建完成。 “立即购买”指标定义为:instant_buy。加入购物车指标定义为:add_cart,通过在平台添加编程指标完成
创建试验指标
首页轮播图转化指标,可以通过可视化模式直接创建完成。
“立即购买”指标定义为:instant_buy。加入购物车指标定义为:add_cart,通过在平台添加编程指标完成
代码集成
一般的Web SDK代码集成参考:Web SDK集成文档。这里指出本例中需要特殊处理的地方。
初始化SDK
由于本例是在多个页面进行试验,因此,在涉及到试验的页面,均需要添加初始化sdk代码。
而当涉及到多个页面的指标统计,需要在初始化时额外进行如下配置:
需要配置crossDomain域,这里填写二级域名,本例配置为:crossDomain: ‘jd.com’。
这个配置需要出现在所有参与试验的页面,包括试验版本页面,指标上报页面,不参与试验的页面不需要配置。
指标上报
对于产品浏览页和产品详情页的指标上报,按照下面的指标接口,在相应的页面正常上报点击次数即可。(AppAdhoc A/B Testing会对指标自动进行分版本统计):
adhoc('track', ' instant_buy ', 1)
adhoc('track', ' add_cart ', 1)
注意:
如果是跳转链接的指标统计请参考使用文档。
- 对于产品浏览页和产品详情页,当用户进入过试验页面(这里是首页),那么在半个小时内,用户从其他页面进入产品浏览页和产品详情页,并且触发指标,也会被统计。
试验结果分析
基本数据
试验指标会以如下形式呈现
1.这里提供了两类指标
均值表示用户人均点击“点击购买”次数、“加入购物车”次数,即总点击次数/样本总数。
转化率=转化人数/样本总数,转化人数表示有多少独立用户点击了“点击购买”、“加入购物车”,也就是这两个按钮的转化人数。
2.数据科学性
第一个值:+118.13%,表示试验版本人均点击或转化率较原始版本提升了118.13%。
第二个区间:表示置信区间,表示有95%的概率,人均点击或转化率的提升值会在这个范围之内。
3.对于判断试验版本的效果
一方面,我们要从业务上去分析,是更加侧重点击转化还是人数转化;另一方面对于数据科学性,好的试验,置信区间是收敛的,这里收敛是指上下限的值同正或同负,而不是一正一负。当置信区间收敛时,我们就可以初步判断到底试验版本好还是坏。更多的数据解读可参考:如何用数据决策。
多维度数据
进一步,AppAdhoc A/B Testing提供多维度数据查看,也就是说,当对全体用户进行试验时,可以分不同维度来查看用户表现,比如:安卓版本,新用户/老用户,地域,年龄等等。
在数据栏最下方,可以根据“用户自定义”维度和“系统自带”维度来查看用户数据。
对于系统自带维度,可在这里查看包括哪些维度。对于自定义维度,可以通过SDK接口进行上报,具体上报方式可以参考"接入SDK"里各种类型试验的自定义受众。
- 对于产品浏览页和产品详情页,当用户进入过试验页面(这里是首页),那么在半个小时内,用户从其他页面进入产品浏览页和产品详情页,并且触发指标,也会被统计。