6.3. 合理优化配置试验资源

优质

小牛编辑

119浏览

2023-12-01

合理优化配置试验资源

AppAdhoc A/B Testing致力于帮助企业低成本的实现产品优化，为企业创造更多的价值。因此，如何协助企业优化试验配置，将平台资源物尽其用，是我们的主要追求。

接下来，我们将从影响试验资源的主要两个因素出发，为您提供优化配置试验资源的实施建议：

在AppAdhoc A/B Testing中，我们将关键业务数据的衡量计数定义为优化指标。通过对关键点产生的用户行为数据进行优化指标设置，跟踪并对比不同版本产生的指标数据，最终衡量出优化效果最佳的版本。

为了实现科学的数据驱动优化，避免因大量创建无意义指标而造成资源浪费，我们建议有针对性的来设置试验中的优化指标。

相比设置数十个涉及整体业务运营的优化指标，针对性的设置几个优先级更高的优化指标更有利于对试验数据进行对比分析。这样不仅能够能更快捷的确认试验结果，更有助于您更加合理、有效地管理您的账户资源。

A/B 测试是帮助您进行产品迭代的有力工具。在循环往复的A/B 测试过程中，可以确保您的关键业务数据整体处于增长状态。

因此，我们建议：每做完一批相关试验后，在下次发布版本前，先删除过期的试验代码（即本次试验中多余的变量以及优化指标等集成代码）。如果在下次试验时，新版本的试验代码中遗留了上次试验的多余代码，将会造成账户资源浪费。

此外，试验分层与否也与账户资源使用息息相关。

1）同层试验

在同一个分层中，多个试验共用100%的流量，试验之间流量互斥。例如在同一分层中，试验A占用了40%流量，则试验B最多只可使用60%流量，以此类推。

当您同时运行多个试验时，如果希望试验结果尽可能精确，在确保试验之间互不干扰的前提下，建议您将这些试验建立在同一层，这样同一个用户只会进入该分层中的一个试验。

客观来说，如果您不完全确认几个试验是否具有关联性，那么将多个试验建立在同一层则可以得到更加精准的试验结果。

2）分层试验

当确保不同试验之间互不干扰时，您可以选择分层试验。如果试验A和试验B使用不同的分层，则试验A和试验B均可分配最多100%的流量，此时同一个用户就有可能会进入不同层的多个试验。

这样，一方面您获得了更多的试验流量，另一方面，也可能因此消耗更多的账户资源。