1. 概述

本文是从客户真实场景出发，从提出假设到设计试验，从开发集成到运行、发布试验，带您一起快速搭建试验、运行试验、分析报告、做出决策，快速走通整个 A/B 试验流程。通过 QuickLaunch 您可以理解到 A/B 试验的核心能力，抓住各种试验类型的特点，轻松设计、搭建与验证自己的试验。

2. 编程试验

2.1.1. 编程试验概述

编程试验指通过代码编程的 A/B 试验。广泛应用于客户端和服务端试验，覆盖产品功能、UI 样式和后端算法优化等多种试验场景。

2.2. 提出假设

2.2.1. 故事背景

假设您是一家网络课程平台的产品负责人，如何提高精品课程的点击率是最近期望解决的难题。如何让用户为课程买单呢？我们将问题拆大化小，基于优化主转化路径的命题，首先要做到的就是提升课程列表的点击率。道理浅显易懂，用户进入平台第一眼看到的就是首页，而首页为了展示更多种类的课程，相关课程的介绍必须简明扼要，用户往往要点击课程并了解详情，才会为课程买单。

那么我们怎么吸引用户更多地点击课程列表呢？我们决定从首页课程的介绍入手，经过对竞品的调研，发现部分平台会在课程列表标注节数，而标注节数可能会给用户带来课程至少在数量上很有料的感觉

2.2.2. 提出假设

首先我们提出假设：在课程价格旁边增加课程节数，会增加课程列表的点击率。

2.3. 设计试验

2.3.1. 根据假设引出试验需求

作为一个稳妥的网络课程平台，我们不会孤注一掷、直接在课程价格旁增加课程节数，因为我们并不知道这是不是一个好的决策。我们会选择使用 A/B 试验，选择一小部分用户进行测试，统计他们的行为，先验证或推翻假设，再决定是否扩大策略影响范围。

2.3.2. 开始设计试验

现在我们的课程介绍由图片、课程名称、课程价格组成（参考左图），基于假设，UI 设计师给课程介绍加上了课程节数（参考右图）。

左图	右图

现在开始设计试验，主要关注下面几点：

明确这是一个首页试验，需要使用试验层内试验流量正交的概念，隔离首页试验的相互干扰
我们有两个策略，我希望每个策略面向的用户是均分的
我接受进入试验的用户最多是总用户量的 20%，那代表着一个策略最多拥有 10% 的用户量
我期望验证或推翻假设，所以需要设计合理的指标，让我能观察到增加课程节数是否能够增加课程点击率，是否能够增加客户购买次数和金额

2.4. 开发集成

设计完成试验后，我们已经知道这个试验需要对哪些事件进行埋点了。比如针对此次「在课程介绍增加课程节数」的试验，我们需要收集「课程列表浏览」、「课程列表点击」、「课程购买」等事件，且要收集「课程购买的金额」属性。如果我们是第一次做试验，上述事件、属性都未上报过，那接下来我们要开发集成 SDK，为配置试验做准备，主要完成：

检查或集成神策 SDK
上报或检查相关指标所需的埋点

如果您当前还未了解神策基础埋点的概念，可查阅：技术指南-基础知识

2.4.1. 新建试验

在试验列表中，点击「+试验」按钮，弹出试验创建窗口。

选择「编程试验」，进入试验创建页面。

2.4.2. 试验配置

填写试验基本信息，创建具有标识性的名称，并简要介绍这个试验的行为和目的。

选取试验受众，由于此场景对用户无特殊要求，所以我们无需关心用户是否属于定向人群，也不需要担心用户属性变更。所以我们直接采用默认配置：按用户 ID 分流、选取全部受众、随属性变更动态分流。

如果您当前还未了解不同分流主体、不同受众、属性变更的概念，可查阅：试验分流主体、受众用户、用户变更

创建试验的过程中，我们需要选取试验层。试验层内的试验流量是互斥的，我们希望有关首页的试验互不干扰，这样才能控制变量，使得我们试验的效果是切实可靠的，所以我们新建一个关于首页的试验层。首先点击试验层的绿框，然后点击「+」按钮，创建试验层。

填写试验层的基础信息，点击确定后，试验层创建成功。

接下来分配流量。由于我们只是圈选小部分用户进行试验，且此次试验只是首页的某个试验，所以我们只会用到「首页试验层」的部分流量比例。我们平台的日活是 10000 人，此次我们希望圈选 2000 用户进行试验，所以我们计划使用试验层流量的 20%。

设计两个试验组，对照组代表默认策略，保持原有设计不变（即不引入课程节数），试验组代表新型策略，新增课程节数。两个组的流量比例均分，各占 50%，则每组占试验层 10% 的流量。

接下来开始配置试验组数据，给各试验组加上描述信息，方便后续识别。另外，由于此试验是编程试验，需要通过编程接入我们网络课程平台中，而进行编程试验时，会通过试验组参数辨别用户对应策略以提供正确效果，所以我们也要配置好试验组参数以及对应值。

2.4.3. 指标配置

配置试验指标，到时候报告会按照我们指标的规则统计用户行为数据，这对我们的试验至关重要。在前期的试验设计阶段，我们就已经有试验的大概雏形了，我们设计了四个指标：进组用户课程点击率、课程购买率、课程购买人均金额、人均课程点击次数。

在进一步明确指标口径后，我们找到对应的指标类型，进行指标配置。点击「创建指标」，开始创建指标。

首先配置校验类指标：进组用户课程点击率、课程购买率、课程购买人均金额（

如果您当前还未了解指标的概念，可查阅：试验指标管理

然后配置事件分析指标：人均课程点击次数

指标配置完成啦～指标可以编辑、查看、复制、移除，移除指标之后，如果还想将指标添加回试验，可以选择添加已有指标。

然后可以通过勾选、取消勾选的方式，调整试验的指标。

2.5. 调试试验

2.5.1. 查看示例代码

完成试验配置后，点击完成配置，试验会进入「调试中」状态。

「调试中」状态是 A/B 试验的一个重要状态，此时试验已经基本配置好了，但我们不能保证试验的效果能完美呈现，所以还需要内部工作人员切实体验、调试，确认无误后，才会点击上线，让用户进入试验。

之后点击试验名称，我们就可以查看试验配置情况，也可以查看到示例代码，这是我们编程试验的重要内容。

神策 A/B 试验提供多种类型 SDK，我们可以选择合适的 SDK 类型示例代码，并通过示例代码接入 SDK。接入成功后，SDK 将分流结果以试验组参数的形式返回给客户，这个试验我们配置的试验组参数是布尔类型的「exist_courese_num」，如图所示。

2.5.2. 接入埋点

由于我们已经在「开发集成」里通过神策 SDK 对指标事件进行埋点，在实验配置完成后，我们只需要接入 AB SDK。

在主 module 的 build.gradle 文件中添加 A/B Testing SDK 依赖

apply plugin: 'com.android.application'
 
dependencies {
   // 添加 A/B Testing SDK 依赖
    implementation 'com.sensorsdata.analytics.abtesting:SensorsABTesting:版本号'
}

CODE

SDK 初始化和获取试验变量

import com.sensorsdata.abtest.SensorsABTest;
import com.sensorsdata.abtest.SensorsABTestConfigOptions;
import com.sensorsdata.abtest.OnABTestReceivedData;

    // 必须先初始化神策分析 SDK（参考文档 https://manual.sensorsdata.cn/sa/latest/tech_sdk_client_android_basic-17563982.html）
    
    // A/B Testing SDK 初始化（试验上线前，请检查试验的分流服务的 url 是否正确）
    SensorsABTestConfigOptions abTestConfigOptions = new SensorsABTestConfigOptions("http://10.129.19.61:8202/api/v2/abtest/online/results?project-key=A42C405DEEA8B79D2B5219804D68698AE3A4E045");
    SensorsABTest.startWithConfigOptions(this, abTestConfigOptions);
    // 初始化 SDK 之后，可以通过 fastFetchABTest 接口获取具体试验的变量值，然后进行试验。
    // Boolean 类型试验（第二个参数 false，表示未命中试验时，会返回此默认值，请根据业务需要更改此处的值）
    try {
        SensorsABTest.shareInstance().fastFetchABTest("exist_courses_num", false, new OnABTestReceivedData<Boolean>() {
            @Override
            public void onResult(Boolean result) {
                // TODO 请根据 result 进行自己的试验，当前试验对照组返回值为：false，试验组依次返回：true
				switch (result) {
					case false:
						useExitCoursesNumPlan();  // 使用存在课程节数的方案
						break;
					case false:
					case default:
						useNoCoursesNumPlan();   // 使用不存在课程节数的方案 
                        break;
				}
            }
        });
    } catch (Exception e) {
        e.printStackTrace();
    }

CODE