试验指标的口径配置

试验指标管理


试验指标计算逻辑

各版本指标计算逻辑

版本提供的指标类型指标配置计算逻辑筛选逻辑
0.6.2及之前的版本事件分析的自定义指标类型分子α:A事件的度量/分母β:B事件的度量

进组用户中,用户a的A事件的度量除以用户a的B事件度量,多个用户的结果相加后,再除以总的进组用户数。

进组用户剔除逻辑:

  1. 首先,B事件如果没做或者不满足筛选条件(不管A事件),这个用户一定被剔除。
  2. A事件的度量类型:

    • 总次数、用户数、去重数:不满足条件时,都置为0,不会被剔除进组用户数。
    • 人均次数、总和、最大值、最小值、人均值:不满足条件时,都置为null,都会被剔除进组用户数。

如果用户在分母为 0  or null,或分子为 null 时就是非法值,则在总的进组用户中会剔除该用户。

该计算口径剔除了无效的样本值。                                    


事件分析的普通指标类型xxx事件的人均次数

进组用户中,做了xxx事件的总次数,除以进组用户数。

进组用户数没有剔除逻辑。


事件分析的普通指标类型xxx事件的总用户数进组用户中,做了xxx事件的总人数。
事件分析的普通指标类型xxx事件的总次数进组用户中,做了xxx事件的总次数。
留存分析指标初始事件为用户进组事件,可选择后续事件

0.7.0及以上版本

检验类指标
  • 转化率、人均值:分子α:A事件的度量/分母β:进组事件的用户数
  • 人均事件均值、人均事件比值:[(s1/p1+s2/p2+…sn/pn)/β]
β都固定为进组的用户数,不会剔除任何用户。
  • 分子事件筛选:仅针对单一事件,事件属性。
  • 全局筛选:仅针对分子的事件,事件属性。


事件分析指标(标准口径)普通指标、自定义指标

进组用户中,做了xxx事件的总人数、总次数、人均次数、自定义指标。

  • 事件筛选:仅针对单一事件,事件属性&用户属性。(多主体不支持用户属性)
0.8.0及以上版本0.7.0版本基础上,新增留存分析指标

可选初始事件、后续事件

可选留存、流失

选择窗口期

先判断用户是否进组,用户进组后,再计算留存。

初始行为和后续行为没有做限制,可以选到试验进组事件。

可选天、周、月,范围限制

  • 天:1-60
  • 周:1-60
  • 月:1-60

如试验发布、调整流量比例、用户跳组的情况,窗口期将截断到进入下一阶段的时间点。

如试验下线、到期,窗口期将正常延后计算,即试验在线最后一天往后+窗口期。

  • 初始行为+后续行为有事件筛选:仅针对单一事件,事件属性。
  • 全局筛选:用户属性(多主体不支持用户属性)

在0.7.0版本基础上,新增漏斗分析指标

选择漏斗窗口期

选择2-10个步骤的事件+筛选

先判断用户是否进组,用户进组后,再计算指标。

如果漏斗第一步不是进组事件,则只有进组后完成「第一步事件」的用户才会参与漏斗计算。

可选漏斗窗口期,时间单位下拉列表,可选项为:分钟、小时、天

  • 分钟:1-180
  • 小时:1-72
  • 天:1-180

如试验发布、调整流量比例、用户跳组的情况,窗口期将截断到进入下一阶段的时间点。

如试验下线、到期,窗口期将正常延后计算,即试验在线最后一天往后+窗口期。

  • 每一个步骤:仅针对单一事件,事件属性。
  • 全局筛选:用户属性(多主体不支持用户属性)
0.9.0及以上版本在0.8.0版本基础上,新增事件分析指标(精准口径)普通指标、自定义指标

先判断用户是否进组,用户进组后,再计算进组后的所选事件。

  • 事件筛选:仅针对单一事件,事件属性&用户属性。(多主体不支持用户属性)
1.0.2及以上版本

在0.9.0版本基础上,新增留存率

可选初始事件、后续事件

可选窗口期

先判断用户是否进组,用户进组后,再计算指标。

如试验发布、调整流量比例、用户跳组的情况,窗口期将截断到进入下一阶段的时间点。

如试验下线、到期,窗口期将正常延后计算,即试验在线最后一天往后+窗口期。

  • 初始行为+后续行为可进行事件筛选:仅针对单一事件,事件属性。
在0.9.0版本基础上,新增留存分析(标准口径)

可选初始事件、后续事件

可选留存、流失

选择窗口期

初始行为和后续行为没有做限制,可以选到试验进组事件。

可选天、周、月,范围限制

  • 天:0-60
  • 周:0-60
  • 月:0-60

如试验发布、调整流量比例、用户跳组的情况,窗口期将截断到进入下一阶段的时间点。

如试验下线、到期,窗口期将正常延后计算,即试验在线最后一天往后+窗口期。

  • 初始行为+后续行为有事件筛选:仅针对单一事件,事件属性。
  • 全局筛选:用户属性(多主体不支持用户属性)

试验类型与可选指标类型

以A/B testing 1.0.2及以上版本来说明:

试验类型支持的指标类型备注

编程试验

多链接试验

可视化试验

业务指标

  • 事件分析(标准口径)
  • 事件分析(精准口径)
  • 留存分析(标准口径)
  • 留存分析(精准口径)

检验指标

  • 转化率
  • 人均值
  • 人均事件均值
  • 人均事件比值
  • 漏斗分析
  • 留存率
  • 试验配置页里创建指标,不符合的指标类型隐藏
  • 试验配置页里选择指标组件,不符合的指标类型隐藏
时间片轮转试验

业务指标

  • 事件分析(精准口径)
多人群试验

业务指标

  • 事件分析(精准口径)
  • 留存分析(精准口径)

检验指标(不提供置信区间及 p-value)

  • 转化率
  • 人均值
  • 人均事件均值
  • 人均事件比值
  • 漏斗分析
  • 留存率


试验指标类型与筛选类型

以A/B testing 1.0.2及以上版本来说明:

指标类型指标名称

事件筛选

(事件属性)

全局筛选

(事件属性)

全局筛选

(用户属性)

备注
检验指标

转化率

针对多个分子事件

所有筛选不作用于分母事件(ab 进组事件)
人均值
人均事件均值

针对多个分子事件

所有筛选不作用于分母事件(ab 进组事件)
人均事件比值

针对多个分子事件

所有筛选不作用于分母事件(ab 进组事件)
漏斗分析此处的全局筛选是作用到 ab 进组事件(第 0 步)
留存率
业务指标

事件分析(不区分口径)


留存分析(不区分口径)

此处的全局筛选是作用到初始事件上(无论初始事件是不是 ab 进组事件)(与 sa 逻辑一致)


指标口径的讲解视频

https://ow-file.sensorsdata.cn/document-center-admin/43b00d22d161959fd0a699d11b71f19999b7a858ab5b744b4f3df2f5bb2629f8.mov