1.4.2 效果评估

本篇文档对实验评估的使用流程进行介绍，包括实验评估的基本概念，实验评估的使用流程。

1.1. 基本概念与数据指标

优化指标

用来衡量实验效果的数据度量，优化指标跟实验设计初衷相关，是期望通过实验提高的数据度量。优化指标，典型如：提交订单的金额，支付的转化率。

UV

去重用户数，实际计算中会在所选时间段内去重。AB测试中一般跟实验版本对应，用以表示某个实验版本中参与用户数。

事件的触发次数

某一个事件的触发次数，事件发生的次数加总不做去重。

事件的人均触发次数

事件的触发次数/UV，用来衡量实验中平均每个用户触发这个事件的次数。

事件的触发用户数

触发某一事件的去重用户数

事件的转化率

事件触发的用户数/UV,用来衡量试验中有多少用户完成了特定行为的转化。

变化率

优化指标（版本x-原版本）/原版本，用来评估新方案相对原方案的数据提升或者降低。例如：不同实验方案对订单提交的影响差异。

1.2. 实验评估

HubbleData实验评估从两个角度对实验数据进行解读：

• 汇总数据：对所选时间段整体数据进行分析，得出整体结论
• 明细数据：对所选时间段按天展示数据，并对数据结论进行分析