1. 概述

1.1. 什么是灰度发布?

灰度发布(又名金丝雀发布)是指在黑与白之间,能够平滑过渡的一种发布方式。在其上可以进行A/B testing,即让一部分用户继续用产品特性A,一部分用户开始用产品特性B,如果用户对B没有什么反对意见,那么逐步扩大范围,把所有用户都迁移到B上面来。灰度发布可以保证整体系统的稳定,在初始灰度的时候就可以发现、调整问题,以保证其影响度。

1.2. 神策发布计划解决哪些问题?

  1. 在通过一段时间的A/B试验后,试验回收到优胜版本。在产品正式发版前,需要快速将优胜版本发布到全量用户,扩大试验收益。
  2. 可以尽早吸收用户反馈,产品不必100%完美才推出。在保证试验业务指标稳定的同时,逐渐向更多的用户推出试用新版本,吸收用户反馈后,快速进行产品迭代改进。
  3. 试验发布过程支持流量逐级扩量,若产生异常业务数据指标异常或者产品功能bug,可以快速进行回滚切换版本,实现线上问题用户无感知,最大程度降低损失。

2. 创建发布计划

2.1. 创建发布计划入口

仅针正在运行的试验,支持创建发布计划,已下线的试验不支持发布。

1、通过试验列表创建

在试验列表选择一个「运行中」状态要进行发布的试验,点击“发布”操作,即可开始创建发布计划。发布后,试验状态变为「已发布」。

2、通过试验报告快速发布

选择一个「运行中」状态要进行发布的试验,在试验报告中,可以选择要发布的试验分组,进行快速发布。

2.2. 创建发布计划

2.2.1. 发布规则

发布策略:选择一个试验优胜版本作为发布策略,发布后用户将按照发布比例命中策略,策略一经发布,将不支持修改。

默认策略:在发布阶段,按照发布比例未命中发布策略的用户,将执行默认策略,一般建议默认策略为对照组策略。发布策略与默认策略不能相同。

发布周期:发布周期最多支持90天。

  1. 发布到期后,试验将自动终止运行,所有试验用户将执行代码兜底策略。
  2. 发布计划并不能完全替代产品代码发版,建议在试验得出优胜版本后,尽快完成产品正式发版。

2.2.2. 发布比例

发布用户范围:仅支持对当前A/B试验中所选择的受众用户范围进行发布。例如A/B试验中选择了某个分群作为试验目标用户,则发布范围为满足当前分群的用户。

发布比例

选择一定的比例进行发布。在发布后,可以根据线上数据指标情况,逐步扩量。

  1. 试验中已经命中发布策略分组的用户,仍将保持在发布分组,发布比例的计算将不包含这部分用户
  2. 在发布阶段,发布比例一旦设置生效后,将不支持下调。

2.2.3. 发布方式

神策A/B测试平台提供以下两种发布方式:

方式一:试验用户在命中发布策略前,继续执行试验阶段命中的分组策略(推荐)

例如:一个试验有A、B、C 三组,在发布时选择 B 组作为发布策略、A 组作为默认策略。

在发布后:

① 试验中已经命中 B 组的用户,仍将保持在发布策略 B 组中;

② 试验中已经命中 C 组的用户若未命中发布策略,则会继续命中 C 组。直到发布比例逐渐扩大后,C组命中发布策略后,才会进入 B 组。

方式二:未命中发布策略的用户都将执行默认策略

例如:一个试验有A、B、C 三组,在发布时选择 B 组作为发布策略、A 组作为默认策略。

① 试验中已经命中 B 组的用户,仍将保持在发布策略 B 组中;

② 试验中已经命中 C 组的用户若未命中发布策略,则会命中默认策略A组,直到发布比例逐渐扩大后,会再次命中发布策略 B 组。

3. 修改发布计划

在发布过程中,可以修改发布计划。其中:

发布策略:不支持修改。

发布周期:可以在允许范围内进行调整,时间范围需大于当前已发布的天数。

发布比例:修改发布计划时,只能调大发布比例。

  • 修改(调大)发布比例后,针对所有未命中发布策略的用户(包含命中默认策略),将重新计算发布比例。即当调大比例时,之前已经命中默认策略的用户,可能会命中发布策略,已经命中发布策略的用户仍将命中发布策略。
  • 当发布比例调整为100%时,理论上所有目标用户都将执行发布策略。

4. 回滚发布计划

4.1.1. 回滚

如果在发布过程中发现了一些数据异常情况或者产品功能缺陷,可以对发布进行「回滚」操作。回滚后,试验状态变更为「待发布(已回滚到默认策略)

回滚后,所有已经命中发布计划的用户,都将执行发布前的试验策略。

发布前的试验策略指:在发布前的试验阶段中命中试验的用户,仍将继续命中试验策略。发布前未命中试验的用户,在回滚后将执行默认策略。此时试验处于冻结状态,不再有新用户进入试验。

4.1.2. 回滚后重新发布

回滚后的试验,支持重新「发布」操作。回滚后的重新发布,支持再设置发布策略

5. 灰度发布报告

5.1. 基础信息

基础信息统计截止到当前,累计命中发布计划的用户数,其中包括发布策略和默认策略用户数。

5.2. 发布用户量趋势

发布用户量指每天累计命中发布计划的用户量。随着发布时间推移,累计总发布量逐渐上升。

随着发布比例逐渐扩大,原本命中默认策略的用户可能会进入到发布策略中,导致命中默认策略的累计用户量下降。

5.3. 核心指标变化趋势

指命中发布策略的用户,在当日产生的核心指标均值。