1.4.1 启动实验
优质
小牛编辑
131浏览
2023-12-01
本篇文档将实验的的使用流程进行介绍,包括实验的基本概念,创建流程,运行控制以及调试。
1.1. 基本概念
实验
科学研究中,在设定的条件下,用来检验某种假设,或者验证或质疑某种已经存在的理论而进行的操作。在HubbleData中,实验特指某一次希望改进的功能或者新的设计。
实验版本
一次实验中,针对某一实验目的设计的实验方案,可以是不同的产品内容,产品流程或者产品设计。需要说明的是,某一次实验可以用多个实验版本对应不同的实验方案。 实验版本对应科学实验中的实验组,原始版本对应科学实验中对照组。
实验变量
指实验中由实验者所操纵的因素或条件。在HubbleData中,实验变量特指用来控制不同实验版本的变量。变量可以对应不同颜色,不同内容甚至不同页面。
实验流量
HubbleData中,由实验设计者所选择的进入实验的用户数量,一般是选择流量比例。HubbleData会根据用户的选择动态调整实验流量。
实验分层
实验分层可以认为流量的复用或者用户的复制:处在同一分层时,实验之间不会互相干扰;处在不同分层时,实验流量可以多次使用。
1. 实验处在同一分层时,同一用户只会进入其中一个实验中。
2. 实验处在不同的分层时不受此约束,同一用户可能会进入两个或多个实验中。
1.2. 创建实验的工作流程
确定需要实验内容,并且内部达成一致
在这一步你需要完成三个事情:
- 完成实验的内部需求评审
- 需要明确优化指标与计算逻辑
- 确定技术方案
在HubbleData实验填写实验信息
在这一步你需要完成三个重要事情:
- 选择实验进行应用平台,我们目前支持JS、iOS、Android、JAVA
- 选择实验类型,不同实验类型对应不同的场景与技术实现难度,
- 确定优化指标
实验调试
此处流程建立在内部已经完成实验版本开发的基础之上,实验调试主要提供功能如下:
- 提前观察各个版本的实验内容差异,预览实验效果
- 提前确认埋点数据是否正确,参数是否全面准确
运行控制
调试完成情况,你需要在运行控制模块配置好实验流量,并且开启实验。需要特别说明:已经关闭的实验,不允许重新打开。但你可以创建一个新实验,并且眼沿用原有变量与变量值。此时实验仍然可以正常启用。