报告解读

基础信息

基础信息包含试验总进组用户在每个组的流量分配情况及统计学检验结果。根据试验组的核心指标相对于对照组的核心指标变化率情况、置信区间及统计功效来评估试验效果。

报告助手

点击报告助手,选择核心指标的类型后,可生成试验报告结果建议。报告助手通过对样本量、置信区间、统计功效、试验周期等多重指标进行全面性的评估,做出科学性的判断,辅助用户进行决策。

指标类型:

正向指标:若您希望「提升」已选核心指标,则该试验中核心指标为正向指标。

负向指标:若您希望「降低」已选核心指标,则该试验中核心指标为负向指标。

统计学检验解读

置信区间用于描述试验组指标相比于对照组的提升范围。随着参与试验的样本量逐渐增加,数据指标波动趋于稳定,置信区间会逐渐收窄。

置信区间图示解读:

  1. 如果置信区间上下限均为正值,即图示选段在 0 的右侧,则表明试验结果为正向显著;
  2. 如果置信区间上下限均为负值,即图示选段在 0 的左侧,则表明试验结果为负向显著;
  3. 如果置信区间一正一负,即图示选段包含 0,则表明试验结果差异不显著

统计功效用于描述如果试验策略有效,能检测出来的概率。一般来说,统计功效不小于80%。

调整报告置信度

支持修改试验的置信度。

置信度默认为95%,支持设置为80%、85%、90%、95%和99%。

查看操作记录

支持查看试验操作记录。操作记录包括:操作内容、时间和操作账号。

具体操作内容包括:

  • 试验上线
  • 分组流量比例调整
  • 试验进组比例调整
  • 暂停试验
  • 继续试验
  • 发布
  • 发布比例调整
  • 回滚
  • 重新发布
  • 下线

查看配置记录

支持查看试验配置记录,点击配置记录后跳转到配置试验的新标签页。

报告指标趋势图表

支持按照天、小时、分钟级别进行查询,并支持查看核心指标、关注指标的变化值及变化率,可以按照具体需求选择合适的时间维度进行查看;

试验报告下载

支持下载试验PDF报告和Excel数据。

数据更新

自动更新

试验报告默认每小时自动更新数据。

手动更新

点击「刷新」按钮,主动更新查看当前实时数据。