8.2. 首页大改版试验

首页大改版试验

试验场景

本为了带来更好的引流效果和浏览体验，对网站首页进行改版是我们定期都要做的一件事情；由于新老版本差异很大，我们在不确定用户是否认可前，将新版网站上线的风险很大；所以，利用A/B测试平台，将新版作为试验版本将其与旧版网站同时上线，通过用户行为数据来确定网站改版方向，这样更加稳妥。本例的目的是为了展示当试验网站改版时，如何进行试验操作。

例介绍的试验场景是购物流程的优化，即在流程中某一个环节进行AB测试，进而统计流程中关键环节的转化，从而进行优化决策。本例使用方法同样适用于如投资流程、注册流程的优化等等。本例的目的是为了展示当试验涉及多个页面时，如何进行试验操作。

试验方案

确定了首页改版方案，将其与旧版同时上线进行对比，找出用户反馈较好的版本作为最终改版方案：

原始版本

试验版本

试验指标

关注的指标是：

主页各个板块总点击

创建试验

创建试验版本

在本例中的场景中，可以通过AppAdhoc A/B Testing Web/H5-编程模式实现，具体可以参考帮助文档：Web编程试验创建试验版本；

代码集成

编程模式时，代码集成需要head和body区域通过代码设置试验逻辑和优化指标的埋点，具体事项可参考WebSDK集成文档。

先进入后台，给试验起一个名字；选择编程模式，之后下一步；

由于是编程模式，所以我门要在后台设置一下区分版本的逻辑；如果只有2个版本，就用布尔值区分，设置好两个版本对应的值；

而当涉及到多个页面的指标统计，需要在初始化时额外进行如下配置：

指标上报： 接下来进行「优化指标」设置，将各个业务板块的总点击设置成对应的优化指标；优化指标在这里只是一个ID，它背后的逻辑可以在代码层面通过我们的API来实现。试验开始运行前， 如果希望这里设置的指标可以被统计到，我们应确保指标名称与代码层面保持一致；

有关编程指标的集成详情参考集成说明。

集成调试

确认试验版本和优化指标内容无误，点击完成创建，将会跳转到集成调试界面。在此界面中，点击预览版本，可以直接在浏览器中预览页面的真实效果，此链接转发有效。操作后，也会获取到对应的指标数据，可以在此界面中预览。调试数据不会影响到真实试验数据。

开始试验

点击完成调试，将会跳转到运行控制界面。在此界面中您可以调整试验流量、运行或结束试验。

请为此次试验分配流量，访问到链接的用户将会按照您设定的百分比看到所展现的页面。未参与到试验中的用户将会看到原始页面，并且不会上报数据。 即使是试验开始运行后，也可以调整流量，所做的调整将会即时生效。 请注意100%的流量不代表所有用户都会参与试验，以及在同一层中，某试验占用的流量不能再被分配到其他试验中。 有关流量的详细说明请参考流量分配。

试验结果分析

基本数据

试验指标会以如下形式呈现

1.这里提供了两类指标

均值和总值，均值表示用户人均点击“点击购买”次数、“加入购物车”次数，总值表示总次数。

转化人数和转化率，转化人数表示有多少独立用户点击了“点击购买”、“加入购物车”，也就是这两个按钮的转化人数。转化率=转化人数/UV

（这里的UV指的是在试验期间内，所有用户去重的人数）

2.这里表示了数据科学性

第一个值：+118.13%，表示人均点击或转化率提升了118.13%。

第二个区间：表示置信区间，表示有95%的概率，人均点击或转化率的提升值会在这个范围之内。

3.对于判断试验版本的效果

一方面，我们要从业务上去分析，是更加侧重点击转化还是人数转化；另一方面对于数据科学性，好的试验，置信区间是收敛的，这里收敛是指上下限的值同正或同负，而不是一正一负。当置信区间收敛时，我们就可以初步判断到底试验版本好还是坏。更多的数据解读可参考：如何用数据决策。

多维度数据

进一步，AppAdhoc A/B Testing提供多维度数据查看，也就是说，当对全体用户进行试验时，可以分不同维度来查看用户表现，比如：安卓版本，新用户/老用户，地域，年龄等等。

在数据栏最下方，可以根据“用户自定义”维度和“系统自带”维度来查看用户数据。

对于系统自带维度，可在这里查看包括哪些维度。对于自定义维度，可以在通过SDK接口进行上报，具体上报方式可以参考“接入SDK”里各种类型试验的自定义受众。