11. 常见问题

常见问题

前期入门

1. 什么样的产品无法使用AppAdhoc A/B Testing？

AppAdhoc A/B Testing支持通过前端（Web/H5、iOS、Android）及后端（Node.js、PHP、Python、Java等）的多环境SDK集成安装来进行在线A/B测试，实现产品优化，对于没有相关产品的企业或者线下的测试暂时无法提供帮助。

此外，使用AppAdhoc A/B Testing需要集成SDK或API代码，因此依附于第三方平台无代码构建的产品，如通过第三方工具创建的H5页面等，也暂时无法使用。

2. 怎样的量级适合A/B 测试？

想要获得一个可信度较高的A/B 测试结果，日活最好能够保证大于1000，否则进行可信A/B 测试是比较困难的。

对于用户量较大的产品（月活上千万），AppAdhoc A/B Testing同样可以提供试验支持。但为保证试验的顺利进行，请在正式上线前与我们的工作人员联系沟通。

此外，在保证一定用户量级的情况下，试验时间也要运行充足，才能获得可信的A/B 测试结果。

3. 如果不会程序编码，是否能使用AppAdhoc A/B Testing？

AppAdhoc A/B Testing支持多种方式进行A/B 测试。其中，可视化编辑器只需将SDK集成到产品上，之后无需代码知识，就可以完成试验创建。所见即所得，轻松完成视觉上的产品变化。

4. 科学流量分割与随机流量分割的区别是什么？

如果试验流量分割是通过单纯的随机算法完成的，A和B两个版本的用户群体很可能就不具有代表性，无法进行对等的比较。如果试验结果显示B优于A有可能应用B版本到全体用户中之后，它的表现反而比A版本差。

AppAdhoc A/B Testing采用的科学试验流量分割，使得每一组试验对象具备一致的用户特征，对比结果是科学可信的。

5. 95%置信区间是什么意思？

置信区间描述了试验版本比对照版本提升的范围，95%指的是实际提升出现在这个范围内的概率。

查看置信区间，如果上下限同为正，说明试验版本比原始版本有了提升；如果同为负，说明试验版本不如原始版本。如果置信区间的上下限位一正一负，则说明试验版本和原始版本没有显著差别，或者试验数据还不足以判断结果，需要运行试验更长时间，收集更多数据。

以优化点击率为例，当试验版本在试验报告的数据中显示为“+55%[+50%,+60%]”。那么在95%置信区间下，版本上线后有95%的机率能够将真实点击率提升50%~60%，点击率提升低于50%的可能性小于5%，提升效果是真实的。

此外，需要注意版本试验时的用户流量大小，小流量的用户行为统计在流量放宽后关键指标数据可能会发生变化。建议用户在试验过程中，由小到大逐步增加流量分配，判断当前流量分配的数据结果是否具有普遍意义，最终选出最优版本。

6. 能否针对指定人群进行试验？

针对指定人群进行试验属于定向试验的功能范畴。AppAdhoc A/B Testing支持对以下用户属性设定标签：OS, OS 版本，浏览器，浏览器版本，设备类型，应用版本，SDK版本，屏幕尺寸等。当试验运行后，只有符合受众群体标签的用户才能进入试验。100%的流量为全部流量中所有符合分组标签的用户。

此外，您也可以通过代码自定义用户标签。请避免完全重复，或者过长的标签名称。标签之间平级不交叉，由用户自行定义。自定义的用户标签需要通过AppAdhoc SDK相关API设置和上传，请参考SDK集成文档。

定向试验属于高级功能，如果您处于试用期，可与AppAdhoc工作人员联系开通权限。

安全性能

1. 如何保证用户隐私的安全性？

AppAdhoc A/B Testing与您共同尊重用户的个人隐私。

首先，我们采用https协议加密数据传输，软件和硬件部分做了群集和负载均衡。我们收集的优化指标，包括命名、定义与数据格式等，都是完全由客户自定义的，并不会获取用户的个人信息。

同时，平台服务器收集的只有数据，没有单位和详细定义。

最后，AppAdhoc A/B Testing可以为客户产品提供私有云解决方案，数据完全不经过我们。

2. AppAdhoc A/B Testing的服务器如果崩溃停止服务，是否会影响到用户产品的正常运行？

AppAdhoc A/B Testing非常重视容灾容错能力，我们有专门的工作人员实时监控服务器的运行状况，以保证服务器的正常稳定运行，因此服务器发生意外的可能性非常小。若因不可抗力导致服务器发生意外停止，也不会对产品的运行和用户的使用体验造成影响。

SDK集成

1. SDK的性能如何，是否会造成页面滞后或者其他影响？

AppAdhoc A/B Testing服务器的反应速度控制在几十毫秒，用户很难通过肉眼感知到页面的延迟加载。

为了减少页面加载时间，提升用户体验，在正式上线之前，我们已经对上百款手机进行了云测试，以保证SDK集成对用户产品的影响尽可能小。此外，我们的SDK已经针对流量进行了进一步优化，尽量减少流量的消耗。

移动端SDK还提供了包括可视化功能的标准包和仅支持编程模式的精简包，适用于不同的使用场景。

2. 有试验正在运行，却收到了AppAdhoc A/B Testing关于SDK更新的通知，是否会影响试验结果？

AppAdhoc A/B Testing会在SDK更新的第一时间内推送更新公告，若您有试验处于运行状态，无需特地停止试验更新SDK。

为保证您现有试验的正常运行，旧版SDK的维护周期约在2-3个月，期间参与试验的用户将不会受到影响，更不会影响到试验结果的正常收集。但在开始下一次试验前，请务必集成最新的SDK，避免因此造成的数据误差，下载链接请参见SDK集成文档。

3.ABTesting测试会不会受苹果热更新的限制？

不会。因为热更新有能力执行第三方恶意代码，而我们只会修改已有控件的标准属性（例如颜色，文字），不能无中生有，相当于热更新是自选动作，我们是规定动作，所以不会被苹果封。

4.试验场景比较特殊用户只会打开一次app完成整个试验操作，如何保障用户能在第一次打开app时就命中试验？

AppAdhoc A/B Testing除了提供常规的getflag方法获取变量以外还提供了asyncGetFlag这个主动发起请求获取变量的方法，确保用户一次打开app就能命中试验。具体使用方法请参见SDK API说明。

5.APP的架构使用混合框架可以正常集成AppAdhoc A/B Testing么？

AppAdhoc A/B Testing提供React-native框架下app的SDK
React-native框架链接地址：https://github.com/AppAdhoc/react-native-adhoc

AppAdhoc A/B Testing提供Weex框架下app的SDK
Weex框架链接地址：https://github.com/AppAdhoc/weex-adhoc

可视化编辑

1.AppAdhoc A/B Testing支持动态框架或动态渲染元素的网站的可视化编辑么？

支持，请联系您的客户经理获取使用帮助。

2.AppAdhoc A/B Testing支持微信小程序的可视化编辑么?

目前不支持

3.Web可视化编辑器弹出“获取数据异常，是否重新加载”提示框,并无法编辑页面？

通常为页面存在重定向，实际打开的页面地址与试验设置中填写的不一致，请使用浏览器地址栏内的链接重新创建试验。

4.Web可视化编辑器是否支持页面跳转后编辑？

不支持。编辑器仅支持页面打开时浏览器地址栏内的链接与试验设置中填写完全一致时才可正常编辑。

试验检查

1.试验开启后为什么没有数据？

请检查代码中的appkey、变量名称、指标名称填写是否与平台一致。H5多链接和可视化试验请检查URL填写是否与实际访问的页面URL一致。如果填写有以上请及时纠正。

集成调试

1.集成调试功能是否会影响用户正确命中线上试验？

AppAdhoc A/B Testing在完成强制扫码进入试验的调试操作后，需要手动点击退出试验的按钮。如果开启试验后该设备还停留在调试模式下，会导致无法命中线上试验。

2.为什么调试数据没有及时刷新？

根据平台接收数据量的波动，偶尔会有若干分钟的延迟，通过界面上的数据刷新按钮可以获得当前最新数据。

3.为什么调试过后发现原始版本和试验版本数据都加上了 ？

如果反复进行多个版本的调试，或者打开多个窗口进行调试，由于缓存不能及时清理，有时会同时处于多个试验版本中，所以触发的数据会同时上报到多个版本。若发生此现象，建议清除浏览器cookie后重新打开浏览器进行调试，或者在隐身模式下调试并及时关闭窗口。

运行试验

1. 怎么判断一个试验是否已经达到成熟的试验结果？

一般来说，为了获得更加可信的数据结果，试验运行周期应至少保证1-2个完整的自然周，如果遇到节假日，运行周期应适当延长。

如果置信区间同为正或同为负，得到的结果是可信的。如果置信区间为一正一负，则可以通过适当延长运行时间，或者调大流量的方式来调整试验。若仍然没有改善，可能是不同版本的效果差异不大，需要重新设计方案，并调整变量。

2. 每个试验都需要开发新的变量么？

不必须。

如果将变量固定于代码模块中进行管理，可以实现多次复用。但是需要注意的是，如果多个试验用到同一个变量，会干扰试验数据。

3. 如果同时进行多个试验，不同试验之间会不会发生冲突？

-未分层试验：试验间的流量互斥，所有试验共用100%的流量，不同试验之间不会发生冲突。这样做一方面可以让用户体验更好，另一方面可以排除参与两个试验的用户带来的数据干扰。举例来说，若同时上线2个试验，设置试验A的流量为40%，试验B的可用流量为100%-40%=60%。也就是说，参与试验A的用户看不到试验B，反之亦然。

-分层试验：用户需注意设定分层条件，否则有可能会发生不同试验之间的冲突。具体分层条件，请参考流量分配文档。

无论分层与否，为了保证试验结果的科学性，建议将所有版本（包括原始版本）的流量分配保持一致。

4. 新建试验之后，我需要在应用市场重新发布App才能进行试验吗？

在正式开始运行之前，需要将集成好SDK、配置好变量和指标的版本上传到应用市场中。之后，您就随时可以开始和停止相关的试验。

如果是对已经在代码中集成好的变量和指标进行修改，则无需重新发布APP。如果需要对试验变量和优化指标进行项目增减，那么应及时将代码同步并重新上传到应用市场。

5. 参与试验的用户是否必须连接到互联网，否则他们的行为数据将无法统计？

用户的离线状态对于试验的影响很小。

第一次进入试验版本，以及返回数据报告时，需要确保用户的网络连接正常。由于系统需要在网络环境下将用户分到不同版本，因此若尚未加载配置参数，用户进入应用程序时会默认进入原始版本，其行为数据也不会被收集到试验数据当中。

如果应用程序处于离线状态，AppAdhoc A/B Testing将使用配置参数的缓存版本。对于已加载的用户而言，在离线状态中的指标数据将储存在设备当中，一旦设备连接互联网，其累积的数据报告就会反馈到AppAdhoc A/B Testing。

6. 是否可以修改正在运行中的试验？如何操作？

为保证试验结果科学性，不允许在试验过程中修改版本。如果您确实需要调整试验方案，请先将当前试验停止，然后克隆试验后进行修改。

7. 停止的试验是否能重新开始？

试验停止后，显示的指标数据是在完整的试验周期内收集的。而在试验停止的时间段内，市场环境、用户群体等都可能会发生变化，不能保证试验数据的无缝衔接。

因此，为了保证试验数据参考价值，AppAdhoc A/B Testing不支持将已停止的试验重新开启。若重新开启试验，将会造成试验数据的混杂污染，数据结果不准确。如果需要重新开始一个试验，建议通过克隆该试验来完成。

8. 为什么试验后台的UV数据和我自己统计的UV数据不一样？

在AppAdhoc的试验概况页面中，您会看到UV统计项。这是我们对有效进入试验的访客进行统计的一项优化指标，这个UV的定义的和传统意义上的UV还是有一些区别的：

传统UV: 使用该产品的独立访客

样本数: 当用户进入网页/开启APP后，系统判定其属于某个试验的样本，并且确实触发试验变量后，才会判定其为1个有效的试验UV

因此，您在试验中看到的UV和您自己统计的UV一般来说都是不一样的。

举一个极端的例子，如果参与试验的用户开启了APP，但是没有到达设置变量的页面就退出了，那么我们的后台不会判定其为有效的试验UV，直到其再次开启并触发所有变量之后，才会被统计进去。

9.试验开始后复合指标和APP留存数据为什么没有数据？

复合指标和APP留存使用离线计算计算结果会延迟一天(24小时)上报，请耐心等待第二天再查看。

10.实验过程中调整流量的话，会不会导致用户命中的实验组跳变？

如果参与实验的用户流量是从少变多的话（例如调整前分别各有5%的用户参与原始版本和版本1的实验，调整后分别各有10%的用户参与原始版本和版本1的实验），不会导致已参与实验用户的实验组跳变，即已参与原始版本和版本1的用户会继续参与之前的版本，而调整前未参与实验的90%用户中，有5%用户会参与原始版本的实验，另外5%参与版本1。

但是，如果参与实验的用户流量是从多变少的话，会有一部分用户在调整前参与了实验，但是调整后变成未参与实验的状态（即跳变成原始版本，且不被统计实验数据）。所以，我们建议对一个实验的流量调整要遵守“从小流量调节至大流量”的原则，以保证用户前后体验一致，以防干扰实验结果准确性。

账户

1. AppAdhoc A/B Testing服务是否免费？

AppAdhoc A/B Testing对新注册的用户提供15天的免费试用期。

在试用期内，所有功能和流量全部免费开放。超过试用期限后，功能自动关闭，只有升级到收费版本后才可以正常使用。点击了解更多付费用户特权。

2. 与工作人员联系后，却一直没有收到邀请码，怎么回事？

不同的邮件运营商对邮件内容的判断标准不一，若未能在收件箱中查看到AppAdhoc A/B Testing激活邮件，请前往垃圾箱中检查。如果依然没有收到激活邮件，请及时与客服人员联系。

3. 同一个账户下，是否支持多个应用程序的A/B 测试？

支持。

如果您拥有多个不同的应用程序，直接在登录页面中手动添加即可。

4. 为何登陆到后台之后无法进行定向试验功能的操作？

AppAdhoc A/B Testing为用户设置了15天的免费试用期。在试用期内，如果需要定向试验等功能，请与我们的工作人员联系。我们会根据您的具体需求，为您开通相应权限。

若您的账户已超过免费试用期限，建议您根据需求升级到收费版本，以获得更全面的AppAdhoc A/B Testing服务。

5.正常运行中的试验突然数据急剧下降了？

首先，账号到期或者api调用超过上限，都会出现这样的提示，请检查账户状态是否正常。其次，请检查近期是否有改动投放计划，或者投放链接是否变动。