1.4.1.1.4 可视化实验_客户端

优质

小牛编辑

138浏览

2023-12-01

可视化实验支持策划或者运营在线编辑客户端页面生成实验版本，主要特点包括：

产品经理可以独立完成实验版本创建，整个过程不需要开发参与
不需要发布新版本，实现线上版本的动态编辑
全程通过HubbleData的可视化编辑器完成，所见即所得

可视化实验支持场景包括但不限于如下内容：

产品文案修改，例如现在下单，立即购买
可视区颜色修改，例如深蓝改为黑色

本节将会介绍完整的实验创建流程，包括实验创建，实验配置以及数据分析等等。请升级到最新版SDK，并且开启实验

1.1. 实验流程以及产品功能介绍

本节将会以一个实例来对整个实验流程进行描述，请按照以下环节进行实验的创建与配置 AB测试流程图

创建实验版本的可以按照如下流程操作

填写实验基本信息
填写实验版本信息：创建实验版本，选择优化指标
编辑实验版本：实验列表 > 选择对应实验 > 点击配置版本 > 进入可视化编辑器 > 保存
实验调试：预览实验效果并且测试埋点数据
运行控制：分配流量并开启实验

1.1.1. 实验基本信息填写

填入实验名称，为了方便大家理解，推荐实验名称跟实验内容保持一致。
选择可视化实验，HubbleData支持三种实验类型选择，分别是编程实验，可视化实验以及多链接实验。本节将主要介绍可视化实验的使用过程以及注意事项。
选择实验运行的应用平台，应用的创建以及管理请在HubbleData的分析平台上管理。
实验分层可以认为流量的复用：
1. 同一分层的实验流量相加为百分之百，同一时段用户仅会参与指定分层的一个实验。
2. 不同分层之间实验流量互不干扰，同一时段用户可能会参与两个或多个实验。（实验处于不同分层）
```
如果想要尽可能放大实验流量，可以选择在新的分层中进行实验。
请在实验之前确认，不同分层的实验之间不会互相影响。
```
请认真填写实验备注信息，实验备注应包含以下内容：
1. 实验内容，新设计的逻辑以及实验逻辑跟原有方案的区别，新的特点等等；
2. 实验目的以及预期，新的设计方案希望实现的效果以及优化指标。

1.1.2. 实验版本信息填写

实验版本添加：可视化实验仍然需要提前新建实验版本，然后针对每个版本分别配置实验界面。
选择优化指标，请提前沟通好希望优化的数据指标。优化指标仍然使用HubbleData的事件模型，选择对应事件的聚合度量。例如提交订单的用户数，以及转化率。
1. 选择优化指标的事件
  1. 暂时仅支持HubbleData中已经上线或者提前定义好的的埋点事件；
  2. 如果产品还没有上线，但是仍然希望将这个事件作为优化指标。你可以在行为分析的埋点管理功能预先声明事件，我们会在后续的计算中自动做事件的匹配。
  3. 选择事件所在的应用终端，HubbleData效果评估模块支持跨应用进行分析。典型场景如不同版本在后端控制，但是埋点处于客户端。此时你需要在在优化指标应用选择处，选择多个客户端应用。
2. 选择这个事件的聚合度量，HubbleData暂时仅支持以下三种度量：
  1. 事件的触发次数，例如案例中的点击单图的触发次数。选择点击单图的触发次数时，HubbleData将会自动计算点击单图的触发次数，点击单图的人均触发次数，点击单图的人均触发次数变化率；
  2. 事件的触发用户数，例如案例中的点击单图的触发用户数。选择点击单图的触发用户数，HubbleData将会自动计算点击单图的触发用户数，点击单图的转化率，点击单图的转化率的变化率；
  3. 事件的数值型属性的总值，例如支付订单事件有个金额属性是数值型，那么优化指标可以选择支付订单的金额总值。HubbleData将会自动计算总值，人均值以及人均值的变化率。
  4. 优化指标特别说明：
```
 1. 人均触发次数=该事件的触发次数/该事件的触发用户数，分母并非实验参与人数
 2. 转化率=该事件的的触发用户数/参与实验的触发用户数
 2. 人均值=数值型指标的加总/事件的触发用数，分母并非实验参与人数
```

1. 实际操作中建议仅设定一个优化指标作为优化指标，以免指标过多干扰结果的评估。
2. 优化指标支持筛选条件，但是请谨慎使用，筛选条件的不当使用有可能会跟实验流量冲突。例如Web端实验中，如果筛选条件限定为macos，实验流量中必然有一部分windows用户无法触发这个事件，这时候人均优化指标的计算会偏小。

1.1.3. 实验版本编辑（可视化配置）

创建实验完成之后点击保存并配置开始可视化实验配置，或者返回实验列表>实验配置>进入可视化配置

将当前App与HubbleData后台建立链接，目前仅支持通过扫码与后台建立链接部分浏览器存在兼容问题，建议使用搜狗浏览器打开
假设实验测试内容为文案修改以及底部图片修改，在可视化编辑页面允许修改的实验元素，鼠标移上去之后将会显示相应的热区，你可以在右侧编辑框对实验元素进行修改。编辑区内容如下：
1. 处于编辑状态时，手机本地操作将不会影响当前页面
2. 针对当前页面的新实验必须仍然处于当前分层
如果当前实验页面已经编辑，操作界面如下
1. 切换实验版本，其中原版本不支持编辑。
2. 中间部分为本地客户端截图
3. 扫码界面，点击右上角编辑按钮，开始进入编辑
目前可视化实验支持修改以下内容：
1. 页面上不同控件的文案内容
2. 页面上不同控件的文案颜色

1. 你需要回到实验管理页面对其他版本进行配置；
2. 推荐你到调试功能模块对页面效果进行调试，预览实验效果
3. 实验上线以及流量分配请到运行控制模块进行调节

1.2. 备注

目前可视化实验暂不支持客户端上的动态内容，具体来说：
1. 内容依赖于服务端获取：典型如信息流
2. 客户端本身有逻辑控制
安卓使用客户端扫描二维码时，浏览器可能存在兼容问题。表现为打不开App，请选择搜狗浏览器。我们将持续优化兼容性。
首次打开客户端时，遇到权限问题请选择信任
iOS使用浏览器打开客户端时，客户端将会提示是否打开App，如果此时选择取消，后续将无法继续打开（浏览器将会记住取消操作）。此时你可以选择kill掉浏览器与本地App，并且重新连接。