5.1. 试验版本
试验版本
试验版本即将要进行A/B测试的新设计方案。
创建试验之后,会包含一个原始对照版本,即您的应用当前状态;以及一个新建试验版本,也就是您要验证的新方案。您可以对此版本修改命名和备注。如果您有更多试验方案,可以添加更多试验版本。
例如,当一个注册页面中的按钮为绿色的小号按钮,考虑更改按钮文案有可能提升点击率,则可以建立一个原始对照版本:文案为“注册”;建立试验版本:文案为“抢先体验”。
根据您的产品形态,可以选择可视化模式、编程模式和多链接模式(仅Web)来创建上述试验版本。
可视化模式:试验版本
对于Web页面或移动APP,可以通过编辑器界面操作直接生成试验版本。在进入编辑器前请确保已经正确集成SDK。参见SDK集成文档。
编辑器支持的操作包括文本、图片的替换和修改,添加页面元素点击统计等。
创建试验后,进入编辑器界面,选择您需要编辑的元素,按照界面提示操作即可。请注意在操作完成后点击保存再退出。
Web可视化编辑器界面
编程模式:试验变量
在编程模式中,试验版本通过试验变量控制。首先明确您将要进行测试的版本方案,例如上述按钮的文案,则需要一个试验变量titleText。
如上图设置,表示您生成了1个试验版本和1个原始的对照版本,在原本的产品方案中变量值为“0”,试验版本的值为“1”。
您需要将变量集成到代码中。参见SDK集成文档。
- 变量的默认值表示在原始的版本中对应的值。
- 变量的名称必须与代码中一致,否则无法生效。请注意以英文开头命名,可以使用数字或下划线。
- 在同一应用下创建的试验变量可以被其他试验调用(分层试验除外),在引用已有的变量时,请确认代码中已经正确集成。在创建试验变量时可以查看该应用下所有曾经创建的试验变量。
- 同层试验下可以重复使用相同变量,分层试验不可重复使用相同的变量,由于分层试验较为特殊,分层试验变量的重复会造成试验之间的混乱,无法科学的进行试验,为保证数据的科学准确,在使用分层功能时,不允许使用相同的变量。有关分层试验的说明请参见分层流量。
请注意在用户访问到试验页面时,需要触发试验变量才算作进入该试验,否则将不会统计进入该试验。
多链接模式:试验版本
在多链接模式下,试验版本对应不同的URL。例如当您有两个不同样式的着陆页 http://example.com/A.html 和 http://example.com/B.html ,想要对比这两个页面的转化效果时,可以选择将 http://example.com/A.html 作为原始版本链接,http://example.com/B.html 作为试验版本链接。
试验开始运行后,将原始版本链接推送给用户。
假设为两个版本各分配50%的流量,则用户访问原始版本链接 http://example.com/A.html 时,有50%的几率进入原始版本,其余50%用户会进入试验版本,跳转到 http://example.com/B.html 。
请注意,如果直接访问 http://example.com/B.html 将不会进入试验。
链接匹配规则
对于多链接试验和可视化试验,用户访问的链接与试验设置的链接是否一致是我们判断用户能否进入试验的标准。针对一些特殊的链接格式,我们提供以下匹配模式:
完全匹配模式
试验平台填写的URL,如果不带锚点(#后面的字符串)和参数(?后面的字符串),则只匹配协议、域名和路径。
试验平台填写的URL,如果带有锚点(#后面的字符串)或者参数(?后面的字符串),则会把锚点或者参数加入一起进行匹配。
如果用户访问链接后会添加标识,像这样:
那在试验平台原始版本URL处填写:
即可。
模糊匹配模式
模糊匹配模式下,可以通过填写URL匹配表达式来匹配一组页面,将链接中不固定的字符串以通配符*代替。例如:
可以匹配下面的URL(客户的用户最终看到的URL):
关于原始版本URL匹配,在调试阶段建议使用 http://www.appadhoc.com/url-match-test.html 来验证匹配成功与否。注意这里面,“投放URL”指的是客户希望用户看到的URL,“试验URL”指的是客户在试验平台填写的URL。
锚点的使用
使用锚点的网页,不可以使用可视化埋点的方式绑定优化指标,建议通过编程模式添加指标。