1. 报告解读

1.1. 基础信息

基础信息包含试验总进组用户在每个组的流量分配情况及统计学检验结果。根据试验组的核心指标相对于对照组的核心指标变化率情况及置信区间来评估试验效果。

1.2. 指标数据

指标数据包含核心指标和相关指标的置信区间及指标值,包含相关的图表展示。

2. 置信区间解读

置信区间用于描述试验组指标相比于对照组的提升范围。随着参与试验的样本量逐渐增加,数据指标波动趋于稳定,置信区间会逐渐收窄。

置信区间图示解读:

  1. 如果置信区间上下限均为正值,即图示选段在 0 的右侧,则表明试验结果为正向显著;
  2. 如果置信区间上下限均为负值,即图示选段在 0 的左侧,则表明试验结果为负向显著;
  3. 如果置信区间一正一负,即图示选段包含 0,则表明试验结果差异不显著

3. 调整报告置信度

支持修改试验的置信度。

置信度默认为95%,支持设置为80%、85%、90%、95%和99%。

4. 查看操作记录

支持查看试验操作记录。操作记录包括:操作内容、时间和操作账号。

具体操作内容包括:

  • 试验上线
  • 分组流量比例调整
  • 试验进组比例调整
  • 暂停试验
  • 继续试验
  • 发布
  • 发布比例调整
  • 回滚
  • 重新发布
  • 下线

5. 试验报告下载

支持下载试验PDF报告和Excel数据。

6. 数据更新

6.1. 自动更新

试验报告默认每小时自动更新数据。

6.2. 手动更新

点击「刷新」按钮,主动更新查看当前实时数据。