1. 为什么要使用试验标签

神策 A/B 测试系统默认会为每个试验生成一份试验报告,内含统计学检验、指标趋势等信息,通常情况下足以供我们判断当下试验版本是否有显著差异。但试验实施往往是一个长期工作,除了了解当下的试验情况之外,我们也许还需要做进一步的数据分析,以找到下一步试验的决策依据或者方向性线索。因此神策提供了试验数据打通的能力,可通过试验标签将参与过试验的用户提取出来,结合神策其他分析模型进行更深度的试验分析。

2. 试验触发与试验标签

2.1. 试验触发机制

当用户进入某个试验场所时,会运行参数获取代码以请求试验的参数值,神策 A/B 测试分流服务会对该请求进行判断,最终决定该用户是否进入试验。若分流服务判断该用户进入试验,则会为该用户分配一个试验组,此时神策SDK会自动上报$ABTestTrigger事件表明用户命中试验,并在$ABTestTrigger事件中记录该用户命中哪个试验及哪个组。

2.2. 试验标签生成机制

当用户触发试验事件$ABTestTrigger,并由神策后台接收到之后,神策分析系统会为该用户创建一个试验标签,记录该用户进入哪个试验及哪个组。(若试验被删除,试验标签并不会主动删除)

标签名:“试验名”+“_”+“上线时间(24小时制的时分秒)命名。例如:广告位置试验_20210118120530,“试验名”可在「基本信息」步骤中进行命名

标签值:为试验分组名称,可在「设置试验分组」步骤中进行命名

标签修改:在试验中,若试验名和试验分组名被修改,则标签名和标签分组名同步修改

注意事项:

  • 以上的“用户”定义,为神策体系下的神策ID,一般情况下其绑定了设备ID和登录ID的相关信息。如果您想了解神策的用户体系可查阅:用户标识
  • 如果您选择的分流主体为“设备ID”,则不会为该主体生成试验标签(上述分流方式为高级功能,默认不开启)

3. 试验标签使用方法

以下以「事件分析」为例进行讲解,在其他分析模型中的使用方法基本相同。

选择事件:这里以「APP启动」事件为例。

设置筛选条件:选择「用户标签」下「直播入口文案对比试验_20210205105245」,限定「有值」

设置分组条件:选择「用户标签」下「直播入口文案对比试验_20210205105245

选择时间范围:2021.02.05—2021.03.04(欲分析的时间范围)

4. 主要分析模型中的使用方法与典型场景 

分析模型分析场景示例使用方法
事件分析

试验场景:详情页试验

  • 对照组:详情页一
  • 试验组:详情页二

分析目的:对比各个试验组的指标统计情况

  1. 选择对应事件指标及时间范围
  2. 筛选条件:选择「用户标签」下「详情页试验」,限定「有值」
  3. 分组条件:选择按「用户标签」下「详情页试验」查看
事件分析

试验场景:详情页试验

  • 对照组:详情页一
  • 试验组:详情页二

分析目的:查看某个试验组「详情页一」的指标统计情况

  1. 选择对应事件及时间范围
  2. 筛选条件:选择「用户标签」下「详情页试验」,筛选值等于「详情页一」
漏斗分析

试验场景:充值转化流程试验

  • 对照组:限时充值优惠
  • 试验组:额外赠送权益

漏斗流程:进入充值页面 → 点击充值按钮→ 完成充值

分析目的:探究不同漏斗流程的各步骤转化率的差异点

  1. 选择或创建对应漏斗
  2. 分组条件:选择按「用户标签」下「充值转化流程试验」查看
  3. 用户符合筛选条件:选择「用户标签」下「充值转化流程试验」,限定「有值」
  4. 点击「对比」,并在「对比设置」中,选择需要对比的试验组别


留存分析

试验场景:积分激励试验

  • 对照组:签到 + 3 分,连续签到 + 4分
  • 试验组:签到 + 3 分,连续第3天加5分,连续第7天 + 10分

分析目的:查看不同激励策略之下,用户的留存率是否有明显差异

  1. 选择对应初始行为、后续行为及时间范围
  2. 分组条件:选择按「用户标签」下「积分激励试验」查看
  3. 用户符合筛选条件:选择「用户标签」下「积分激励试验」,限定「有值」
分布分析

试验场景:文章推荐算法试验

  • 对照组:推荐算法1
  • 试验组:推荐算法2

分析目的:期望查看不同算法之下,按用户每日浏览篇数的用户分布结构是否有差异,如高浏览篇数的用户占比是否增多


  1. 选择对应事件及时间范围
  2. 用户符合筛选条件:选择「用户标签」下「文章推荐算法试验」,限定「有值」
  3. 分组条件:选择按「用户标签」下「文章推荐算法试验」查看
LTV分析

试验场景:新用户优惠券试验

  • 对照组:发放等额优惠券
  • 试验组:发放使用门槛按梯度递增的优惠券

分析目的:期望查看从注册成功开始,30天内的LTV差异情况。

  1. 选择对应事件及时间范围
  2. 筛选条件:选择「用户标签」下「新用户优惠券试验」,限定「有值」
  3. 分组条件:选择按「用户标签」下「新用户优惠券试验」查看
路径分析

试验场景:首页布局改版试验

  • 对照组:旧布局
  • 试验组:新布局

分析目的:对比新旧布局之下,用户进入首页之后的使用路径差异

此场景不支持直接对比,只能逐个组生成路径图查看。

  1. 选择对应事件、时间范围、session间隔等
  2. 设置全局筛选条件:选择「用户标签」下「首页布局改版试验」等于「旧布局」
  3. 查询「旧布局」路径图,保存图片
  4. 修改全局筛选条件:选择「用户标签」下「首页布局改版试验」等于「新布局」
  5. 查询「新布局」路径图,保存图片
  6. 进行路径图对比

网页热力分析

App点击分析

试验场景:首页布局改版试验

  • 对照组:旧布局
  • 试验组:新布局

分析目的:对比不同布局之下相同模块的点击率的差异情况

此场景不支持直接对比,只能逐个组生成热力图查看。

  1. 选择对应页面(或页面组)
  2. 设置全局筛选条件:选择「用户标签」下「首页布局改版试验」等于「旧布局」
  3. 查看「旧布局」热力图,保存图片
  4. 修改全局筛选条件:选择「用户标签」下「首页布局改版试验」等于「新布局」
  5. 查看「新布局」热力图,保存图片
  6. 进行热力图对比
自定义查询

试验场景:任意试验

分析目的:通过SQL计算不同试验组下的某个复杂指标的差异

找到对应用户标签的方法:

  • 每个试验都会创建一个试验标签,一个试验标签对应一张表,其表名前缀为“user_tag_user_tag_abtest_experiment_“其中,前缀后的第一个数字为试验ID,如: user_tag_user_tag_abtest_experiment_11_37所对应的试验ID为11,根据试验ID即可定位到所需要的标签表
  • 通过 user_id 和 events 表的 user_id 进行关联语句查询操作。 



5. 常见问题列表

5.1. 为什么做试验分析时,用户分类会出现「未知」组?

答:「未知」组的用户代表着该用户并未进入试验,所以我们推荐在筛选条件中先设定某某试验为「有值」后再进行分析

5.2. 为什么大多数试验分析场景都要设置筛选条件为「有值」?

答:因为大多数情况下,发生目标埋点事件的用户数量都会大于进入试验的用户,具体发生用户不进入试验的原因有「因网络延迟未获取到试验参数」「进入试验的比例未设置为100%」「同试验层存在其他试验组」等等,所以通常需要把未进入试验的用户剔除掉再进行分析。

5.3. 通过试验标签进行事件分析和试验报告查看相同指标的数据存在差异,是什么原因?

答:试验报告的统计口径较为严格,统计的是用户自进入试验(触发$ABTestTrigger)之后的所有行为,而每个用户进入试验的时机均不相同。分析模型的统计口径较为宽松,指的是当前分析模型选定的时间范围。因此,试验标签结合其他模型进行的分析通常只作为辅助分析手段,并非绝对精确的指标统计。

统计口径示例:

假设欲统计的试验周期是11~1月7日,试验进入A和B两名用户,统计指标是交易总金额,其中用户A在1月1日进入试验,用户B在1月7日进入试验。则,试验报告中的统计范围为,用户A在1月1日触发试验后到1月7日内的交易金额加上用户B在1月7日触发试验后的交易金额;而事件分析中的行为统计范围为,用户A和用户B在1月1日到1月7日的所有交易金额。