效果验证

概述

该文章是帮助客户自主验证神策 A/B 分流、验证指标数据的环节，会重点梳理分流的逻辑、指标的口径，并提供渠道或方法让客户能验证试验结果。

验证试验效果

通过调试设备验证效果

在保存试验后，试验进入「调试中」状态。此时添加调试设备。

我现在有两台调试设备，为对比效果，我将两台调试设备，分别放到对照组和试验组里。

对接好 SDK 之后，我开始验证试验效果。其中「调试设备 1」的课程页面为左图，「调试设备 2」的课程为右图。

验证验证分流

分流逻辑概述

如果您当前还未了解分流的基础逻辑，可查阅：试验分流模型介绍

流量诊断

功能概述

以试验角度进行诊断分析，通过输入用户 ID 查询用户在近 1 个月内的分流和请求记录，获取用户在试验中的命中情况。包括命中分组信息以及未命中原因。

通过流量诊断能够我们查询用户在试验周期内的命中版本变化，同时可以也进一步验证分流服务的健康度。但目前此功能仅 SaaS 版本支持，私有部署版本暂不支持。

分流诊断工具的使用方式

功能入口

操作入口：试验列表-操作功能区

支持范围：针对试验调试阶段、运行阶段和发布阶段支持进行流量诊断

诊断方法

输入目标用户 ID ，即可查询时间窗口内的分流和命中情况。

备注：支持近1个月内的记录查询。

诊断结果

命中试验分为「命中分流」和「首次进组」。

命中分流：指试验上线后，用户请求分流，通过分流服务判断用户命中了有效试验桶。用户请求分流可能发生在 SDK 初始化，因此此时并不能说明用户真正触发试验进组。
首次进组：指用户在命中分流后，真正触发了试验进组，此时与 $ABTestTrigger 上报事件时机一致。

若用户未命中试验，则展示未命中原因，同时支持查询用户的请求 JSON。

未命中情况说明：

诊断结果	情况说明
没有匹配上用户筛选条件	试验为定向试验（属性筛选或分群）时，用户不符合定向条件
命中了一个空桶	用户分桶结果不在试验设定的进组比例内

分流验证思路

问题：我想知道用户什么时候命中、进组的？

查第一次分流命中
1. 打开分流诊断工具，找用户最近一个月的分流命中，找出最早的一次分流

查第一次进组

神策自定义查询查试验运行期间，该用户第一次发生的 AB 事件
Hue 自定义查询帮助文档 https://manual.sensorsdata.cn/sa/latest/%E8%87%AA%E5%AE%9A%E4%B9%89%E6%9F%A5%E8%AF%A2-85295491.html **

select event, user_id, distinct_id, date, time, $abtest_experiment_id, $abtest_experiment_group_id
  from events 
  where distinct_id = 'abtest_experiment_user_e2487_d0_u10' and event = '$ABTestTrigger' and $abtest_experiment_id='2487' and date between '2022-10-25' and '2022-11-09' 
  order by time 
  limit 1;

问题：我想知道分流是否均匀？

若试验上线后进组人数很少，建议等试验运行一段时间、有更多用户进组后再进行查验
若试验上线后进组人数足够多
1. 若试验上线后修改过流量比例，则会后续进组情况会受到「试验组比例调整前，虽已分流但未触发试验的用户」影响，客户无法直接通过进组用户数判断分流是否均匀，只能联系神策值班
2. 若试验上线后就没有调整过试验组流量比例，且进组人数足够多，则可以直接查看试验报告「试验总览」查看人群分布

问题：我想知道调整试验组流量比例后，为什么进组比例没有马上变更？

如果试验的试验层是非粘性层，则试验组流量比例调整会立即生效，后续用户重新请求分流均会按照最新的试验组流量比例进行划分。在新分流用户较少的情况下，建议持续观察；若分流用户较多且分流不均，请联系神策值班。
如果试验的试验层是粘性层，则调整试验组流量比例不会影响到历史已分流用户的分流结果，只会影响到未命中试验的新用户的分流结果。由于试验组比例调整前已分流的历史用户，可能在试验组比例调整后才触发试验场景，真正进组。从报告上看，这批用户是「调整试验组比例」后新进组的用户，所以进组比例不一定能马上体现出「调整试验组比例」的效果。需要静待观察，或者联系神策值班。

问题：我想知道用户为什么没有命中试验？

使用分流诊断工具，可以查询最近一个月，已请求分流的用户为什么没有命中试验

问题：我想知道用户先命中了试验后又不命中试验？

这里需要配合试验配置中的「选取受众」分情况处理。

如果试验「随属性变更动态分流」
1. 存在用户先命中、后又不命中的情况，可以使用分流诊断工具查询原因
如果试验是「分流不随属性变更影响」
1. 一般不会出现此情况，请联系神策值班

问题：我想知道用户为什么命中了多个组？