概述

什么是指标管理？

在企业内部，一般会建立多个指标用来衡量企业的经营状况。对于A/B Testing来说，指标是衡量试验是否有效的依据，也会创建多个指标。但如何管理指标？不再以人工的形式记录，而是通过工具去统一管理记录。

神策A/B Testing试验指标管理提供统一管理指标口径的功能，包括查看指标口径、新建、编辑、复制、删除、查看日志等操作。

应用场景

解决以下痛点：

  • 有些指标名称虽然相同，但口径不统一、配置逻辑不一致，导致对指标的理解产生歧义，使用困难增加。
  • 在业务相关性较强的几个试验中，使用了大批雷同的指标，却需要在每个试验中重复配置指标，费时费力 。

使用试验指标管理功能，可统一试验相关的指标计算口径，达到指标口径统一管理的目的，提升指标复用的能力，也明确了指标的口径，减少歧义和沟通成本。

指标分类

从A/B Testing结果是否可以做统计学检验区分，将指标分为两类：

  • 检验类指标：通过严格的、可经由统计学进行置信度检验的指标，衡量参与试验样本的服从统计分布，从微观角度，按试验样本/试验单元维度去观察试验对单个样本的影响，用以判断试验结果的成败。比如，人均点击次数、人均交易金额、点击按钮转化率等。
  • 业务类指标：通过稳定的、易理解的、公司内通用的业务指标，从中观角度，去观测试验阶段的整体数据表现，平衡地观测试验过程中的业务数据变化，洞察试验的影响。比如，DAU、GMV、「APP启动」总次数等。


检验类指标，按生成方式分为以下六类：

检验指标类

指标定义

统计分布

举例

转化率

试验用户中有多少比例的用户发生了指定转化事件。

二项分布

注册转化率、留资转化率

人均值

平均到每个试验用户，关于某指定事件次数或该事件属性的度量值。

正态分布

人均交易金额、人均下单商品数

人均事件均值

平均到每个试验用户，关于某个事件的次均度量值。

正态分布

人均单次播放时长均值、人均单次浏览下单金额

人均事件比值

平均到每个试验用户，关于某两事件度量值的比值。

正态分布

推荐内容点击率、搜索结果点击率
漏斗分析试验用户中有多少比例的用户完成了一个多步骤过程的转化，包括每一步的转化与流失情况。二项分布商品浏览加购下单转化率
留存率

试验用户中有多少比例的用户在后续指定时间窗口期内进行了后续留存行为。

二项分布次日活跃留存率

指标管理功能

进入指标管理模块后，展示所有指标列表，右侧可对指标进行操作，也可以搜索指标名称。

指标列表

在指标列表中，可查看以下内容：

  • 指标名称：展示当前指标的最新名称（指标名称可修改）。点击名称可排序。
  • 指标属性：展示指标的类型，分为业务类、检验类。点击名称可筛选类型。
  • 生成方式：展示创建指标的方式，点击名称可筛选。
  • 试验引用数：展示该指标累计参与过的试验数，鼠标移动到数字上，展示具体参与过的试验名称。点击名称可排序。
  • 创建人：展示该指标的创建人名称。
  • 操作：分为查看、编辑、更多（复制、日志、删除）。

创建指标

在指标管理可以创建指标，需要填写指标名称、指标描述、生成方式。

共有六种生成方式：转化率、人均值、人均事件均值、人均事件比值、留存率、事件分析、留存分析、漏斗分析

转化率

数据口径选择：

  • 分子每个事件可单独配置筛选条件。
  • 可选择最多三个分子事件，即试验用户需同时满足三个条件（三个事件为且的关系）。
  • 所有事件的度量值都为用户数。
  • 可添加针对整体指标的全局筛选。


计算公式

指标=(α1+α2+…+αn)/β  

α：所选事件的度量值，比如第一个事件选择app浏览页面的用户数，第二个事件选择app元素点击的用户数。

β：试验进组的总用户数。

n：用户个数


人均值

数据口径选择：

  • 分子的事件可配置筛选条件。


计算公式

指标=(α1+α2+…+αn)/β  

α：所选事件的度量值，比如订单交易的交易金额的总和（订单总金额）。

β：试验进组的总用户数。

n：用户个数


人均事件均值

数据口径选择：

  • S、P的事件可配置筛选条件。
  • P的度量值为总次数。
  • 可添加针对整体指标的全局筛选。


计算公式

指标=(S1/P1 + S2/P2 + ... Sn/Pn) / β 

S：所选事件的度量值，比如充值结果事件的总金额。

P：所选事件的度量值，比如进入直播间的事件次数。

β：试验进组的总用户数。

n：用户个数


人均事件比值

数据口径选择：

  • S、P的事件可配置筛选条件。
  • 可添加针对整体指标的全局筛选。


计算公式

指标=(S1/P1 + S2/P2 + ... Sn/Pn) / β 

S：所选事件的度量值，比如搜索结果点击次数。

P：所选事件的度量值，比如发送搜索请求的次数。

β：试验进组的总用户数。

n：用户个数


漏斗分析

数据口径选择：

  • 每个漏斗都支持计算漏斗转化和漏斗流失。
  • 漏斗窗口期指从第一步到最后一步之间的时间范围，用户进入试验后，发生所选第一个事件到最后一个事件都在所选窗口期内，才能被视为一次成功的转化。试验结束或发布后，窗口期不会被截断。可选分钟、小时、天，最长可选 180 天，需要注意，漏斗窗口期中的1天指的是 24 小时，所以 7 天，则是 7 * 24 小时。
  • 漏斗第一步默认为试验进组事件，可选择其他事件，如选择其他事件，也将从试验进组事件之后开始找指定的其他事件。
  • 最多支持10步漏斗，每步漏斗都支持单独配置内筛选。
  • 可添加针对整体指标的全局筛选。
  • 支持步骤的拖拽排序
  • 支持添加步骤事件的关联属性（至少选择2个步骤添加，属性包含事件属性及虚拟属性，关联的属性须是同一个数据类型）

留存率

数据口径选择：

  • 初始行为默认试验进组事件，可选择其他事件。如选择其他事件，也将从试验进组事件之后开始找指定的其他事件。
  • 窗口期可选天、周、月，窗口期可选0-60。如试验发布、调整流量比例、用户跳组的情况，窗口期将截断到进入下一阶段的时间点。如试验结束或发布后，窗口期不会被截断。
  • 初始行为、后续行为都可单独加筛选条件。

事件分析

数据口径选择：

  • 标准口径或精准口径，标准口径：观测进组用户在整个试验阶段的指标表现；精准口径：观测进组用户在准确进组后的试验期间的指标表现。
  • 普通指标与自定义指标之间可以切换。
  • 可添加针对整体指标的全局筛选。

留存分析

数据口径选择：

  • 标准口径或精准口径，标准口径：观测进组用户在整个试验阶段的指标表现；精准口径：观测进组用户在准确进组后的试验期间的指标表现。
  • 精准口径：初始行为默认试验进组事件，可选择其他事件。如选择其他事件，也将从试验进组事件之后开始找指定的其他事件。
  • 标准口径：初始行为事件与进组事件之间在同一个窗口期内没有先后顺序。
  • 可选择留存或流失两种类型。
  • 可选选择用户数或率。
  • 窗口期可选天、周、月，窗口期可选0-60。如试验发布、调整流量比例、用户跳组的情况，窗口期将截断到进入下一阶段的时间点。如试验结束或发布后，窗口期不会被截断。
  • 初始行为、后续行为都可单独加筛选条件。
  • 可添加针对整体指标的全局筛选。


指标操作

查看

在试验指标管理的列表页，点击指标名称或点击查看按钮进入查看页面。

编辑

  1. 可编辑的指标内容：指标名称、描述、数据口径；不可更改指标的生成方式。
  2. 当有运行中的试验正在使用该指标时，点击“编辑”出现提示信息展示现在有几个运行中的试验在使用，仍需编辑，点击“确认”后进入编辑页。
  3. 使用编辑操作时，建议不要频繁改变指标口径，因口径的修改会影响使用该指标的试验报告数据。

复制

如需要参考其他已有类似指标的口径，复制后简单修改成新的指标。

  1. 复制后相同的内容：描述、生成方式、数据口径。
  2. 复制后不相同的内容：指标名称，复制的指标名称为原指标名称+副本字样。
  3. 复制完成后，列表页将新增一个指标。 

删除

当需要删除已长久无人使用的指标，可点击删除。

  1. 确认框“确定删除该指标？”点击“删除”后该指标从指标列表中消失。点击“放弃”后确认框消失。
  2. 确认框中会展示是否有运行中的试验在使用该指标，如有试验在使用，删除指标后，试验报告（非实时数据报告）在次日，不展示被删除的指标。试验报告中的实时数据报告在当天，不展示被删除指标。 

日志

场景

当用户发现试验报告中的指标数值发生变化，可以先自查指标日志，判断是否指标口径有变化从而导致指标值发生变化。


主要功能

  1. 在试验指标管理列表，点击“日志”后侧滑出日志页面。
  2. 展示的内容：指标名称、描述、数据口径的变化。
  3. 如有数据口径的变化，点击“新口径”或“原口径”查看具体口径。