功能说明

该功能是高级功能,默认不开启。如有需要,请联系您的客户成功经理申请开通。


什么是空白域?

在已有试验层之外划分出不进入指定试验层的用户,这批用户不参与指定的试验层里的任何试验,目的是该部分用户与参与了试验用户做对比。属于试验域的一种细分的应用。

空白域的使用场景

适用于文娱、电商等依赖算法驱动增长的客户存在比较高的需求,比如负责内容推荐的算法团队需要在试验层外设置一个完全空白的组,使这部分用户完全不参与任何试验,以在月度或者季度进行效果增量的计算,用于评价该周期内的工作绩效。

空白域的分流逻辑

1.试验层之间为正交的关系,空白域之间也为正交的关系。

2.空白域与其对应关联的试验层之间为互斥的关系。


举例来说,图中的空白域A与试验层1、2,为互斥关系。

一个用户,有以下几种可能性:

  • 只进入空白域A
  • 只进入试验层1
  • 只进入试验层2
  • 进入试验层1,也进入试验层2(试验层之间还是保持正交的关系)

功能介绍

使用规则

1.每个分组下,可以设置一个空白域。

2.空白域需要关联该分组内的1到n个试验层。

3.空白域需要设置1-30%的流量占比,剩余的比例为试验层的流量。

4.空白域在未开启的状态下,空白域的流量占比和分流不生效,不会影响试验层的正常分流和使用(也就是试验层还是100%的流量)。

5.空白域在开启的状态下,按设置的流量占比分流。

6.空白域开启/关闭的条件:关联的试验层内没有运行中的试验。

7.空白域与其关联的试验层必须是同一种分流主体。

创建空白域

操作入口:点击左侧目录里的试验层分组,点击右上角创建空白域。

注意,「未分组」里因为分流主体的不同,不可建立空白域。

1.空白域名称

空白域名称为必填,默认会自动填写为”分组名称+空白域“。长度不超过 100 字,支持输入中文、英文、数字、下划线、中划线、引号、双引号,不支持特殊字符。

2.所属分组

展示所在分组名称,不可修改。

3.分流主体

展示该分组的分流主体,不可修改。

4.比例设置

可输入的范围:1-30%之间的整数,不建议设置太高的比例,会影响关联的试验层里可用的剩余流量。

5.关联试验层

多选,选择需要参与空白域对比的试验层。

6.空白域状态

在创建时,默认为”未生效“状态。可多次开启或关闭空白域。当空白域首次开启后,可进入分析空白域页面,也可以查看空白域生效记录。

空白域开启后,可正常使用关联的试验层,试验层的实际可用流量为100%减去空白域占用的比例。

空白域关闭后,可正常使用关联的试验层,试验层的实际可用流量为100%。

手动变更为”生效“的条件为:

  • 关联了至少一个试验层
  • 关联的试验层内没有运行中的试验

手动关闭”生效“的条件为:

  • 关联的试验层内没有运行中的试验


空白域生效记录:

  • 空白域的开启和关闭信息
  • 空白域所关联的试验层内的试验上线信息

空白域流量可视化

画布内:

1.空白域信息

展示内容:空白域名称、类型、生效状态

可操作的按钮(鼠标移动到空白域图内时出现):分析空白域、空白域设置

2.空白域所关联的试验层信息

展示内容:试验层名称、类型、剩余可用流量、运行中的试验数

可操作的按钮(鼠标移动到试验层图内时出现):编辑、删除、分配流量

3.分组内其他试验层信息

展示内容:试验层名称、类型、剩余可用流量、运行中的试验数

可操作的按钮(鼠标移动到试验层图内时出现):编辑、删除、分配流量

4.其他操作

画布左上角:放大、缩小、适应屏幕

画布右上角:版本信息、导出图片

画布右下角:全局视图,可拖动定位

分析空白域

1.操作区域

空白域生效版本切换:每次开启-关闭空白域,将会生成一个版本,数据选择区域的时间范围为每一个版本的开启到关闭的时间范围。

下载数据:点击后下载当前版本下的所有数据。

2.数据选择区

指标选择:可选择最多10个的业务指标。

用户筛选:可选择用户属性、用户标签,两层且或关系。

时间筛选:按天或者合计类型,选择当前版本内的日期范围,默认为该版本的起始日期到结束日期。

设置为默认查询:当前选择的查询条件会保存下来,下次所有账号进入该页面时将展示已保存的查询条件和版本。

3.数据展示区

用户分布:

  • 空白域用户数:按分流主体计算的空白域用户数。
  • 关联试验层用户数:按分流主体计算的进入关联试验层里的试验用户数(上报试验的ABtrigger事件)。

注意,有可能一些用户不在空白域里的,但是也没有进入试验里,可能是试验层的剩余流量,也可能是不符合试验所选受众的用户。

指标统计:分别计算试验用户和空白域用户,在所选时间范围内的业务指标值。


发布试验时选择是否覆盖空白域

如果需要发布的试验所在试验层已经关联了空白域,且空白域在开启状态下,可以选择是否覆盖空白域进行发布。

  • 覆盖空白域:发布阶段也会将空白域里的用户发布,会受到试验发布的影响。如果空白域流量占比较大,希望发布时试验能覆盖更多的用户时,可以考虑选择覆盖空白域。
  • 不覆盖空白域:发布阶段不会涉及空白域里的用户,空白域用户不会受到试验发布的影响。如需要长期分析空白域对比数据,建议选择不覆盖空白域。


权限说明

如需要创建空白域、分析空白域,可在 项目设置-角色管理 中给需要的角色勾选【管理所有试验层】的权限点。