概述

指通过代码编程的 A/B试验。广泛应用于客户端和服务端试验，覆盖产品功能、UI样式和后端算法优化等多种试验场景。

应用接入：需集成 A/B Testing SDK 开启使用，详情参见：SDK 集成指南

新建试验

在试验列表中，点击“+新建”按钮，进入试验创建页面。

基本信息

名称

必填，试验名称不可重复。长度不超过 100 字，支持输入中文、英文、数字、下划线、中划线、引号、双引号，不支持特殊字符。

备注

选填，用于描述相关试验信息，比如试验目标、试验所属部门等信息。长度不超过300字，只能包含中文、英文、数字和下划线，不支持特殊字符。

运行时长

必填，针对试验运行中、运行中（暂停）状态下的有效期。试验到期后，试验自动下线。默认14天，最大可设置365天，可多次修改调整。快到期前，将发送站内消息通知，试验列表也有标识提醒。

如试验运行天数小于等于14天，即将到期为到期前3天，出现到期标识；
如试验运行天数大于14天，即将到期为到期前7天，出现到期标识。

选取受众

选择试验层

为试验选择一个试验层，在同一层的试验流量互斥，同一个用户进入试验层时只能命中该试验层中的一个试验，以保证试验间互不干扰。建议提前根据业务情况规划试验层。详情参考：试验层管理

试验层选择弹窗支持模糊搜索、快速新建试验层以及查看试验层详情操作。

试验层根据分流主体的类型进行选择，默认可选 神策ID、登录ID，如开启更多的分流主体（自定义ID、设备ID），且为该主体建立了试验层，也可以在此选择。

注意，分流主体与受众筛选的关系：

试验层分流主体受众筛选可选类型
神策 id 的试验层用户分群、用户标签、用户属性、预置属性、自定义属性
设备 id 的试验层不支持用户属性、用户分群、用户标签
自定义 id 的试验层不支持用户属性、用户分群、用户标签
登录 id 的试验层用户分群、用户标签、用户属性、预置属性、自定义属性

占用试验层比例

在选取的受众用户范围内，设置总共能参与试验的用户比例。试验上线初期一般选择小部分流量进行试验，后续再根据试验数据反馈酌情调整。

试验可设置的最大进组比例为当前试验层剩余的流量比例

选择受众用户

1. 全部受众

以当日活跃用户作为目标受众，所有进入试验流程的用户，都将参与分流。

2. 分群标签及属性筛选

支持最多五种条件进行混合筛选：用户分群、用户标签、用户属性、预置属性、自定义属性，支持两层且或关系的条件嵌套。

完成筛选条件后，可预估受众用户数，会按当前的筛选条件，现查 user 表里的现在的用户数，并不代表试验上线时，真正进组的用户数，仅做参考。

  1. 试验上线后，受众用户随当前分群/标签的更新而自动更新。
  2. 在分群/标签更新前已经命中试验的用户，即使更新后不在分群/标签内，也仍将保持命中试验；新加入分群/标签的用户，将会参与试验分流。

（1）用户分群：在神策用户分群中创建好的已有分群，可选择属于或者不属于该分群。

（2）用户标签：在神策用户标签中创建好的已有标签，根据标签类型，可以进行筛选。

（3）用户属性：支持订阅神策分析中用户表的全部用户属性作为目标受众筛选条件。

（4）预置属性：在请求分流接口时，SDK默认采集的属性。

  • 注意：预置属性仅在客户端SDK中自动采集，因此仅适用于客户端试验；服务端试验若需使用以上属性进行受众筛选，则在请求分流时需手动上传。

支持的属性列表：

       "$app_version":"v1.2",          // 应用的版本
        "$os":"iOS",                    // 操作系统
        "$os_version":"11",             // 操作系统版本
        "$model": "xxx",               // 设备型号
        "$manufacturer": "xxx",         // 设备制造商
        "$carrier":"xxx",               // 运营商名称
        "$device_id":"xxx",             // 设备 ID
        "$country":"中国",               // 国家
        "$province":"山东",              // 省份
        "$city":"青岛",                  // 城市
       "$ip":"10.10.22.33"             // IP 地址
       "$is_first_day":true / false  // 是否首日(boolean 类型，新老用户功能新增)
CODE

（5）自定义属性：在请求分流接口时，通过接口“properties”字段将自定义属性主动上传，用于作为分流属性筛选。

a.自定义属性支持的数据类型：字符类型（STRING）、集合类型（LIST）、数值类型（NUMBER）、布尔类型（BOOL）和 日期类型（DATATIME）

b.属性名校验规则：支持英文、数字、下划线，且不能以数字和"$"开头。

  1. 该功能为高级功能，请联系客户成功经理申请开通
  2. 当前仅编程试验支持自定义属性
  3. 当前 Android、iOS、Web、微信小程序、Java、Python 和 Golang端 支持自定义属性（其他 SDK 正在陆续支持中）
  4. 支持在 fastFetchABTest  接口和 asyncFetchABTest 接口使用自定义属性
  5. 在使用自定义属性功能时，需确保 SDK 接口中定义的属性名与A/B平台填写的属性名保持一致（包括属性名和数据类型）


用户变更

如受众选择了定向人群，或随机流量加属性筛选，可以配置用户变更。

  • 随属性变更动态分流：指根据用户的实时属性（包括分群和标签）每次请求分流，当用户属性发生变更时，用户可能会命中不同分组。
  • 分流不受属性变更影响：用户在命中试验后，即使属性（包括分群和标签）发生变化，也仍将保持之前的命中结果。

建议场景：试验用户随着地域（比如从北京到上海，不同地域产品策略不同）或会员等级（由VIP降级到普通用户）变化，需要展示不同的内容时，可选择开启随属性变更动态分流。


是否生成标签

可以配置是否生成试验标签及标签保留的天数，生成的标签可以在神策标签页面中查看、管理，主要用于在神策分析模块中使用，去深度分析试验效果。

生成的标签名称为：试验名称_试验创建时间。

标签可以选择永远保留，也可以选择在试验结束后，保存1-90天。

设置分组

分配方式

为试验分组分类参与试验的流量比例。

  • 平均分配：将 100% 的流量均匀自动分配到每个组。
  • 手动分配：手动分配每个分组的流量，流量总和为100%。

分组名称

可以根据业务和试验情况合理规划试验分组数量，对照组+试验组的数量不超过 10 个。长度不超过 100 字，支持输入中文、英文、数字、下划线、中划线、引号、双引号，不支持特殊字符。

描述信息

描述信息支持文字和图片两种形式。

  • 文字备注：支持输入中文、英文和数字，不支持特殊字符，文本长度最多支持300个字符。
  • 图片备注：支持jpg、jpeg、gif、png格式，大小不超过 1 MB。

试验参数

用户在A/B测试平台运行试验时，试验的策略通过参数进行下发到对应的应用端，不同的参数对应不同的功能或者业务策略。一般在应用发版前，需要根据规划的试验策略将参数提前预置到应用代码中，即可在A/B测试平台使用对应的参数来创建并运行试验。

目前支持的参数类型：integer、string、boolean、json，一个试验支持配置多个参数进行试验变量控制。

调试设备

调试设备用于测试试验分组的策略是否正确被下发，一旦设备被加入对应的试验分组，将固定命中当前的分组策略。一个调试设备只能被添加到试验的一个分组中，但不受试验层策略的影响。

添加调试设备：可以选择已添加到设备列表的设备或临时新建设备。详情参见：调试设备管理


配置指标

配置试验指标有两种方式：

  • 添加已有指标
  • 创建新指标

所有试验指标会以列表的形式展示在试验配置页面，可对这些指标做以下操作：

  • 编辑，编辑该指标信息，包括指标名称、备注、数据口径。注意，编辑已存在指标的口径可能会影响其他试验该指标的计算，谨慎操作。
  • 查看，查看该指标信息。
  • 复制，复制所选指标的信息，等于新建新指标。
  • 移除，将所选指标与当前试验解除绑定，不会直接删除指标。

添加已有指标

从已有的指标管理中选择适合的指标，绑定到该试验。可多选指标。

创建指标

如已有的指标不能满足需求，可以点击创建指标按钮，配置新指标，并绑定到该试验。

同时创建的指标也会保存到指标管理中，以供其他试验复用。

创建指标该如何填写，可参考指标管理模块：试验指标管理

标记重要指标

重要指标，可衡量业务情况的指标，稳定的、易理解的、公司内通用的。一个试验至少设置一个重要指标，用于直接评价试验运行效果。也支持设置多个重要指标，综合判断试验效果。

标记重要指标在配置试验指标的列表内，设为重要指标。

重要指标个数限制：5个


样本量计算器


点击「样本量计算器」按钮，弹出样本量计算器页面。

  1. 提供两种方式计算
    1. 选择已有的检验类指标，根据指标类型自动判断：通过「人均值」、「人均事件均值」、「人均事件比值」指标生成方式配置的指标为「人均值类」。
    2. 选择手动计算，「转化率类」或「人均值类」。
  2. 计算模板说明：
    1. 转化率类指标：事件发生的可能性大小的数值度量，例如点击率、转化率、购买率等；
    2. 人均值类指标：反映数据集中趋势的指标，例如用户的平均使用时长、购买金额、购买频率等；
  3. 转化率类需要输入的信息：指标均值、指标目标值。（选择已有的检验类指标，根据指标类型自动判断和计算，无需输入；选择手动计算，则需要输入。）
  4. 人均值类需要输入的信息：指标均值、指标目标值、指标标准差。（选择已有的检验类指标，根据指标类型自动判断和计算，无需输入；选择手动计算，则需要输入。）
  5. 输入信息的说明：
    1. 指标均值：指标近七天的均值；例如，某事件的人均次数=该事件的总次数 / 任意事件的用户数，该口径与报告中的抽样统计原理相一致。
    2. 指标目标值：预期指标达到的目标值；
    3. 指标标准差：指标近七天的标准差；标准差也被称为标准偏差，或者试验标准差，在概率统计中常作为统计分布程度上的测量依据。标准差能反映一个数据集的离散程度。
    4. 置信水平（1-α）：也称“统计显著性、置信度、置信系数”，置信水平在试验中用来描述试验结果的可信度。在样本量计算工具中，置信水平的默认值为95%，支持调整为80%、85%、90%、95%、99%。
    5. 统计功效（1-β）：统计功效在试验中用来描述如果试验策略有效，能检测出来的概率。一般来说，统计功效需不小于80%。在样本量计算工具中，统计功效的默认值为80%，支持调整为50%、80%、90%、95%、99%。

示例代码

在完成创建试验后，试验进入「调试中」状态，此时会根据试验参数生成对应的示例代码，开发人员将代码嵌入到应用中实现对应的试验策略。

点击试验列表-操作中的「示例代码」按钮，根据需要查看不同语言下的示例。

调试试验

在应用完成试验策略的集成和发版后，使用已经录入的调试设备访问试验页面，即可查看试验策略是否被正确下发。当试验状态为「调试中」时，调试设备会被强制分配到已经配置好的试验分组内，可以使用调试设备验证试验分流结果。

上线试验

试验调试完成后，在试验列表点击「上线」操作，即可上线试验，可选择立即上线或指定未来时间点自动上线。当完成上线操作后，试验会进入「准备中」的状态，此时神策会进行数据准备，试验暂时不可编辑。

上线之后，目标试验用户开始进入试验，试验报告会进行实时统计数据。

取消上线

当用户点击「上线」操作后，无论是立即上线，还是选择了指定时间上线，此时神策会进行数据准备，试验状态变为「准备中」，如果在此期间有需要修改的试验配置，或者想撤销试验，可以在试验操作中点击「取消准备」，试验将会恢复到「调试中」状态。