1. 概述

该文章是帮助客户自主验证神策 A/B 分流、验证指标数据的环节，会重点梳理分流的逻辑、指标的口径，并提供渠道或方法 让客户能验证试验结果。

2. 验证试验效果

2.1. 通过调试设备 验证效果

在保存试验后，试验进入「调试中」状态。此时添加调试设备。

我现在有两台调试设备，为对比效果，我将两台调试设备，分别放到对照组和试验组里。

对接好 SDK 之后，我开始验证试验效果。其中「调试设备 1」的课程页面为左图，「调试设备 2」的课程为右图。

3. 验证验证分流

3.1. 分流逻辑概述

如果您当前还未了解分流的基础逻辑，可查阅：试验分流模型介绍

4. 2. 流量诊断

4.1.1. 功能概述

以试验角度进行诊断分析，通过输入用户 ID 查询用户在近 1 个月内的分流和请求记录，获取用户在试验中的命中情况。包括命中分组信息以及未命中原因。

通过流量诊断能够我们查询用户在试验周期内的命中版本变化，同时可以也进一步验证分流服务的健康度。但目前此功能仅 SaaS 版本支持，私有部署版本暂不支持。

4.1.2. 分流诊断工具的使用方式

4.1.2.1. 功能入口

操作入口：试验列表-操作功能区

支持范围：针对试验调试阶段、运行阶段和发布阶段支持进行流量诊断

4.1.2.2. 诊断方法

输入目标用户 ID ，即可查询时间窗口内的分流和命中情况。

备注：支持近1个月内的记录查询。

4.1.2.3. 诊断结果

命中试验分为「命中分流」和「首次进组」。

  • 命中分流：指试验上线后，用户请求分流，通过分流服务判断用户命中了有效试验桶。用户请求分流可能发生在 SDK 初始化，因此此时并不能说明用户真正触发试验进组。
  • 首次进组：指用户在命中分流后，真正触发了试验进组，此时与 $ABTestTrigger 上报事件时机一致。

若用户未命中试验，则展示未命中原因，同时支持查询用户的请求 JSON。

未命中情况说明：

诊断结果情况说明
没有匹配上用户筛选条件试验为定向试验（属性筛选或分群）时，用户不符合定向条件
命中了一个空桶用户分桶结果不在试验设定的进组比例内

4.1.3. 分流验证思路

4.1.3.1. 问题：我想知道 用户什么时候命中、进组的？

  1. 查第一次分流命中
    1. 打开分流诊断工具，找用户最近一个月的分流命中，找出最早的一次分流
  2. 查第一次进组

    1. 神策自定义查询 查试验运行期间，该用户第一次发生的 AB 事件
      Hue 自定义查询帮助文档 https://manual.sensorsdata.cn/sa/latest/%E8%87%AA%E5%AE%9A%E4%B9%89%E6%9F%A5%E8%AF%A2-85295491.html **

      select event, user_id, distinct_id, date, time, $abtest_experiment_id, $abtest_experiment_group_id
  from events 
  where distinct_id = 'abtest_experiment_user_e2487_d0_u10' and event = '$ABTestTrigger' and $abtest_experiment_id='2487' and date between '2022-10-25' and '2022-11-09' 
  order by time 
  limit 1;
      SQL

4.1.3.2. 问题：我想知道 分流是否均匀？

  1. 若试验上线后 进组人数很少，建议等试验运行一段时间、有更多用户进组后 再进行查验
  2. 若试验上线后 进组人数足够多
    1. 若试验上线后 修改过流量比例，则会后续进组情况会受到「试验组比例调整前，虽已分流但未触发试验的用户」影响，客户无法直接通过进组用户数 判断分流是否均匀，只能联系神策值班
    2. 若试验上线后 就没有调整过试验组流量比例，且进组人数足够多，则可以直接查看试验报告「试验总览」查看人群分布

4.1.3.3. 问题：我想知道 调整试验组流量比例后，为什么进组比例没有马上变更？

  1. 如果试验的试验层是非粘性层，则试验组流量比例调整会立即生效，后续用户重新请求分流 均会按照最新的试验组流量比例进行划分。在新分流用户较少的情况下，建议持续观察；若分流用户较多且分流不均，请联系神策值班。
  2. 如果试验的试验层是粘性层，则调整试验组流量比例 不会影响到历史已分流用户的分流结果，只会影响到未命中试验的新用户的分流结果。由于试验组比例调整前已分流的历史用户，可能在试验组比例调整后才触发试验场景，真正进组。从报告上看，这批用户是「调整试验组比例」后新进组的用户，所以进组比例不一定能马上体现出「调整试验组比例」的效果。需要静待观察，或者联系神策值班。

4.1.3.4. 问题：我想知道 用户为什么没有命中试验？

  1. 使用分流诊断工具，可以查询最近一个月，已请求分流的用户为什么没有命中试验

4.1.3.5. 问题：我想知道 用户先命中了试验后又不命中试验？

这里需要配合试验配置中的「选取受众」分情况处理。

  1. 如果试验「随属性变更动态分流」
    1. 存在用户先命中、后又不命中的情况，可以使用分流诊断工具查询原因
  2. 如果试验是「分流不随属性变更影响」 
    1. 一般不会出现此情况，请联系神策值班

4.1.3.6. 问题：我想知道 用户为什么命中了多个组？

这里需要配合试验配置中的「选取受众」分情况处理。

  1. 如果试验「随属性变更动态分流」
    1. 存在先后命中多个组的情况，可以使用分流诊断工具查询原因
  2. 如果试验是「分流不随属性变更影响」 
    1.  试验是「按用户 ID 分流」
      1.  用户不会更换命中组，唯一可能是 ID Mapping 加属性订阅延迟导致的 用户登录前后神策 ID 不一致。若不能接受此情况，建议使用设备主体、自定义主体分流。
    2. 试验时 「按设备 ID 分流」「按自定义 ID 分流」
      1. 一般不会出现此情况，请联系神策值班