试验指标管理

概述

什么是指标管理？

在企业内部，一般会建立多个指标用来衡量企业的经营状况。对于A/B Testing来说，指标是衡量试验是否有效的依据，也会创建多个指标。但如何管理指标？不再以人工的形式记录，而是通过工具去统一管理记录。

神策A/B Testing试验指标管理提供统一管理指标口径的功能，包括查看指标口径、新建、编辑、复制、删除、查看日志等操作。

应用场景

解决以下痛点：

• 有些指标名称虽然相同，但口径不统一、配置逻辑不一致，导致对指标的理解产生歧义，使用困难增加。
• 在业务相关性较强的几个试验中，使用了大批雷同的指标，却需要在每个试验中重复配置指标，费时费力 。

使用试验指标管理功能，可统一试验相关的指标计算口径，达到指标口径统一管理的目的，提升指标复用的能力，也明确了指标的口径，减少歧义和沟通成本。

指标分类

从A/B Testing结果是否可以做统计学检验区分，将指标分为两类：

• 检验类指标：通过严格的、可经由统计学进行置信度检验的指标，衡量参与试验样本的服从统计分布，从微观角度，按试验样本/试验单元维度去观察试验对单个样本的影响，用以判断试验结果的成败。比如，人均点击次数、人均交易金额、点击按钮转化率等。
• 业务类指标：通过稳定的、易理解的、公司内通用的业务指标，从中观角度，去观测试验阶段的整体数据表现，平衡地观测试验过程中的业务数据变化，洞察试验的影响。比如，DAU、GMV、「APP启动」总次数等。

检验类指标，按生成方式分为以下六类：

指标管理功能

进入指标管理模块后，展示所有指标列表，右侧可对指标进行操作，也可以搜索指标名称。

指标列表

在指标列表中，可查看以下内容：

• 指标名称：展示当前指标的最新名称（指标名称可修改）。点击名称可排序。
• 指标属性：展示指标的类型，分为业务类、检验类。点击名称可筛选类型。
• 指标指向：展示指标的指向，表示指标值是越高越好，还是越低越好。分为正向、负向、中性。
• 生成方式：展示创建指标的方式，点击名称可筛选。
• 所属分组：展示指标所在的分组。
• 试验引用数：展示该指标累计参与过的试验数，鼠标移动到数字上，展示具体参与过的试验名称。点击名称可排序。
• 创建人：展示该指标的创建人名称。
• 操作：分为查看、编辑、更多（复制、日志、删除）。

创建指标

在指标管理可以创建指标，需要填写指标名称、指标描述、指标分组、指标指向、生成方式。

共有六种生成方式：转化率、人均值、人均事件均值、人均事件比值、留存率、事件分析、留存分析、漏斗分析

转化率

数据口径选择：

• 分子每个事件可单独配置筛选条件。
• 可选择最多三个分子事件，即试验用户需同时满足三个条件（三个事件为且的关系）。
• 所有事件的度量值都为用户数。
• 可添加针对整体指标的全局筛选。

计算公式

指标=(α₁+α₂+…+α_n⁾/β  

α：所选事件的度量值，比如第一个事件选择app浏览页面的用户数，第二个事件选择app元素点击的用户数。

β：试验进组的总用户数。

n：用户个数

人均值

数据口径选择：

• 分子的事件可配置筛选条件。

计算公式

指标=(α₁+α₂+…+α_n⁾/β  

α：所选事件的度量值，比如订单交易的交易金额的总和（订单总金额）。

β：试验进组的总用户数。

n：用户个数

人均事件均值

数据口径选择：

• S、P的事件可配置筛选条件。
• P的度量值为总次数。
• 可添加针对整体指标的全局筛选。

计算公式

指标=(S₁/P₁ + S₂/P₂ + ... S_n/P_n) / β 

S：所选事件的度量值，比如充值结果事件的总金额。

P：所选事件的度量值，比如进入直播间的事件次数。

β：试验进组的总用户数。

n：用户个数

人均事件比值

数据口径选择：

• S、P的事件可配置筛选条件。
• 可添加针对整体指标的全局筛选。

计算公式

指标=(S₁/P₁ + S₂/P₂ + ... S_n/P_n) / β 

S：所选事件的度量值，比如搜索结果点击次数。

P：所选事件的度量值，比如发送搜索请求的次数。

β：试验进组的总用户数。

n：用户个数

漏斗分析

数据口径选择：

• 每个漏斗都支持计算漏斗转化和漏斗流失。
• 漏斗窗口期指从第一步到最后一步之间的时间范围，用户进入试验后，发生所选第一个事件到最后一个事件都在所选窗口期内，才能被视为一次成功的转化。试验结束或发布后，窗口期不会被截断。可选分钟、小时、天，最长可选 180 天，需要注意，漏斗窗口期中的1天指的是 24 小时，所以 7 天，则是 7 * 24 小时。
• 漏斗第一步默认为试验进组事件，可选择其他事件，如选择其他事件，也将从试验进组事件之后开始找指定的其他事件。
• 最多支持10步漏斗，每步漏斗都支持单独配置内筛选。
• 可添加针对整体指标的全局筛选。
• 支持步骤的拖拽排序
• 支持添加步骤事件的关联属性（至少选择2个步骤添加，属性包含事件属性及虚拟属性，关联的属性须是同一个数据类型）

留存率

数据口径选择：

• 初始行为默认试验进组事件，可选择其他事件。如选择其他事件，也将从试验进组事件之后开始找指定的其他事件。
• 窗口期可选天、周、月，窗口期可选0-60。如试验发布、调整流量比例、用户跳组的情况，窗口期将截断到进入下一阶段的时间点。如试验结束或发布后，窗口期不会被截断。
• 初始行为、后续行为都可单独加筛选条件。

事件分析

数据口径选择：

• 标准口径或精准口径，标准口径：观测进组用户在整个试验阶段的指标表现；精准口径：观测进组用户在准确进组后的试验期间的指标表现。
• 普通指标与自定义指标之间可以切换。
• 可添加针对整体指标的全局筛选。

留存分析

数据口径选择：

• 标准口径或精准口径，标准口径：观测进组用户在整个试验阶段的指标表现；精准口径：观测进组用户在准确进组后的试验期间的指标表现。
• 精准口径：初始行为默认试验进组事件，可选择其他事件。如选择其他事件，也将从试验进组事件之后开始找指定的其他事件。
• 标准口径：初始行为事件与进组事件之间在同一个窗口期内没有先后顺序。
• 可选择留存或流失两种类型。
• 可选选择用户数或率。
• 窗口期可选天、周、月，窗口期可选0-60。如试验发布、调整流量比例、用户跳组的情况，窗口期将截断到进入下一阶段的时间点。如试验结束或发布后，窗口期不会被截断。
• 初始行为、后续行为都可单独加筛选条件。
• 可添加针对整体指标的全局筛选。

指标操作

查看

在试验指标管理的列表页，点击指标名称或点击查看按钮进入查看页面。

编辑

1. 可编辑的指标内容：指标名称、描述、数据口径；不可更改指标的生成方式。
2. 当有运行中的试验正在使用该指标时，点击“编辑”出现提示信息展示现在有几个运行中的试验在使用，仍需编辑，点击“确认”后进入编辑页。
3. 使用编辑操作时，建议不要频繁改变指标口径，因口径的修改会影响使用该指标的试验报告数据。

复制

如需要参考其他已有类似指标的口径，复制后简单修改成新的指标。

1. 复制后相同的内容：描述、生成方式、数据口径。
2. 复制后不相同的内容：指标名称，复制的指标名称为原指标名称+副本字样。
3. 复制完成后，列表页将新增一个指标。 

删除

当需要删除已长久无人使用的指标，可点击删除。

1. 确认框“确定删除该指标？”点击“删除”后该指标从指标列表中消失。点击“放弃”后确认框消失。
2. 确认框中会展示是否有运行中的试验在使用该指标，如有试验在使用，删除指标后，试验报告（非实时数据报告）在次日，不展示被删除的指标。试验报告中的实时数据报告在当天，不展示被删除指标。 

日志

当用户发现试验报告中的指标数值发生变化，可以先自查指标日志，判断是否指标口径有变化从而导致指标值发生变化。

主要功能

1. 在试验指标管理列表，点击“日志”后侧滑出日志页面。
2. 展示的内容：指标名称、描述、数据口径的变化。
3. 如有数据口径的变化，点击“新口径”或“原口径”查看具体口径。

批量删除

如需要删除多个指标，在勾选指标名称前的复选框后，出现删除按钮，可一次性删除所选指标。

批量移动

如需要将分组内的多个指标移入其他分组，在勾选指标名称前的复选框后，出现移动按钮，可一次性移动所选指标到目标分组内。

指标分组管理

在试验指标管理页面，点击页面左侧”分组管理”，进入设备分组管理页面：

创建分组：点击“+创建分组”，长度不超过 100 字，支持输入中文、英文、数字、下划线、中划线、引号、双引号，不支持特殊字符。最多可支持30个自建分组。

重命名：重命名分组。

删除：如该分组下没有指标，可删除自建分组；如该分组下有指标，删除时需要将指标移动到其他的分组下。