使用Firebase远程配置的互斥A/B测试

Question

我曾考虑过在用户进入实验1时设置Firebase Analytics用户属性，并将该属性值排除在实验2受众之外，但恐怕用户在获取远程配置值时会同时进入两个实验。

有没有更好的解决方案来防止用户在两个实验中都进入？

Answer 1

（出于这个回答的目的，我假设你说的是我们上周刚刚推出的新A/B测试框架）

所以现在，你不能用新的A/B测试框架来保证互斥的实验小组。如果你指定你有10%的用户在实验A中，10%在实验B中，那么你在实验B中的一小部分用户（具体来说，大约10%）也会在实验A中。

好消息是，来自实验A的用户应该在实验B中的变体中平均分配。但是，如果您发现自己处于这样的情况，您觉得这些实验用户会偏爱一个变体而不是另一个变体（从而偏斜您的结果），您有两个选择：

>

以串行方式而不是并行方式运行A/B测试。只需等到你停止了第一个实验，然后再进行第二个实验。

如果有意义，试着把它们组合成一个单一的多变体实验。例如，假设实验A正在添加一个更快的登录流，实验B正在将您的登录流推到过程的后期。您可以尝试创建一个像这样的多变量实验：

+---------------------+---------------+----------------+
|        Group        | Sign-in speed | Sign-in timing |
+---------------------+---------------+----------------+ 
| Control             | (default)     | (default)      |
| Speedy              | Speedy        | (default)      |
| Deferred            | (default)     | Deferred       |
| Speedy and Deferred | Speedy        | Deferred       |
+---------------------+---------------+----------------+

这样做的好处是，您将获得一些额外的洞察力，了解两个实验是否真的会以您所怀疑的方式影响您的用户。