概述

指通过代码编程的 A/B试验。广泛应用于客户端和服务端试验,覆盖产品功能、UI样式和后端算法优化等多种试验场景。

应用接入:需集成 A/B Testing SDK 开启使用,详情参见:SDK 集成指南

新建试验

在试验列表中,点击“+新建”按钮,进入试验创建页面。

基本信息

名称

必填,试验名称不可重复。长度不超过 100 字,支持输入中文、英文、数字、下划线、中划线、引号、双引号,不支持特殊字符。

备注

选填,用于描述相关试验信息,比如试验目标、试验所属部门等信息。长度不超过300字,只能包含中文、英文、数字和下划线,不支持特殊字符。

运行时长

必填,针对试验运行中、运行中(暂停)状态下的有效期。试验到期后,试验自动下线。默认14天,最大可设置365天,可多次修改调整。快到期前,将发送站内消息通知,试验列表也有标识提醒。

如试验运行天数小于等于14天,即将到期为到期前3天,出现到期标识;
如试验运行天数大于14天,即将到期为到期前7天,出现到期标识。

选取受众

选择试验层

为试验选择一个试验层,在同一层的试验流量互斥,同一个用户进入试验层时只能命中该试验层中的一个试验,以保证试验间互不干扰。建议提前根据业务情况规划试验层。详情参考:试验层管理

试验层选择弹窗支持模糊搜索、快速新建试验层以及查看试验层详情操作。

试验层根据分流主体的类型进行选择,默认可选 神策ID、登录ID,如开启更多的分流主体(自定义ID、设备ID),且为该主体建立了试验层,也可以在此选择。

注意,分流主体与受众筛选的关系:

试验层分流主体受众筛选可选类型
神策 id 的试验层用户分群、用户标签、用户属性、预置属性、自定义属性
设备 id 的试验层不支持用户属性、用户分群、用户标签
自定义 id 的试验层不支持用户属性、用户分群、用户标签
登录 id 的试验层用户分群、用户标签、用户属性、预置属性、自定义属性

占用试验层比例

在选取的受众用户范围内,设置总共能参与试验的用户比例。试验上线初期一般选择小部分流量进行试验,后续再根据试验数据反馈酌情调整。

试验可设置的最大进组比例为当前试验层剩余的流量比例

选择受众用户

1. 全部受众

以当日活跃用户作为目标受众,所有进入试验流程的用户,都将参与分流。

2. 分群标签及属性筛选

支持最多五种条件进行混合筛选用户分群、用户标签、用户属性、预置属性、自定义属性,支持两层且或关系的条件嵌套。

完成筛选条件后,可预估受众用户数,会按当前的筛选条件,现查 user 表里的现在的用户数,并不代表试验上线时,真正进组的用户数,仅做参考。

  1. 试验上线后,受众用户随当前分群/标签的更新而自动更新。
  2. 在分群/标签更新前已经命中试验的用户,即使更新后不在分群/标签内,也仍将保持命中试验;新加入分群/标签的用户,将会参与试验分流。

(1)用户分群:在神策用户分群中创建好的已有分群,可选择属于或者不属于该分群。

(2)用户标签:在神策用户标签中创建好的已有标签,根据标签类型,可以进行筛选。

(3)用户属性:支持订阅神策分析中用户表的全部用户属性作为目标受众筛选条件。

(4)预置属性:在请求分流接口时,SDK默认采集的属性。

  • 注意:预置属性仅在客户端SDK中自动采集,因此仅适用于客户端试验;服务端试验若需使用以上属性进行受众筛选,则在请求分流时需手动上传。

支持的属性列表:

       "$app_version":"v1.2",          // 应用的版本
        "$os":"iOS",                    // 操作系统
        "$os_version":"11",             // 操作系统版本
        "$model": "xxx",               // 设备型号
        "$manufacturer": "xxx",         // 设备制造商
        "$carrier":"xxx",               // 运营商名称
        "$device_id":"xxx",             // 设备 ID
        "$country":"中国",               // 国家
        "$province":"山东",              // 省份
        "$city":"青岛",                  // 城市
       "$ip":"10.10.22.33"             // IP 地址
       "$is_first_day":true / false  // 是否首日(boolean 类型,新老用户功能新增)
CODE

(5)自定义属性:在请求分流接口时,通过接口“properties”字段将自定义属性主动上传,用于作为分流属性筛选。

a.自定义属性支持的数据类型:字符类型(STRING)、集合类型(LIST)、数值类型(NUMBER)、布尔类型(BOOL)和 日期类型(DATATIME)

b.属性名校验规则:支持英文、数字、下划线,且不能以数字和"$"开头。

  1. 该功能为高级功能,请联系客户成功经理申请开通
  2. 当前仅编程试验支持自定义属性
  3. 当前 Android、iOS、Web、微信小程序、Java、Python 和 Golang端 支持自定义属性(其他 SDK 正在陆续支持中)
  4. 支持在 fastFetchABTest  接口和 asyncFetchABTest 接口使用自定义属性
  5. 在使用自定义属性功能时,需确保 SDK 接口中定义的属性名与A/B平台填写的属性名保持一致(包括属性名和数据类型)


用户变更

如受众选择了定向人群,或随机流量加属性筛选,可以配置用户变更。

  • 随属性变更动态分流:指根据用户的实时属性(包括分群和标签)每次请求分流,当用户属性发生变更时,用户可能会命中不同分组。
  • 分流不受属性变更影响:用户在命中试验后,即使属性(包括分群和标签)发生变化,也仍将保持之前的命中结果。

建议场景:试验用户随着地域(比如从北京到上海,不同地域产品策略不同)或会员等级(由VIP降级到普通用户)变化,需要展示不同的内容时,可选择开启随属性变更动态分流。


是否生成标签

可以配置是否生成试验标签及标签保留的天数,生成的标签可以在神策标签页面中查看、管理,主要用于在神策分析模块中使用,去深度分析试验效果。

生成的标签名称为:试验名称_试验创建时间。

标签可以选择永远保留,也可以选择在试验结束后,保存1-90天。

设置分组

分配方式

为试验分组分类参与试验的流量比例。

  • 平均分配:将 100% 的流量均匀自动分配到每个组。
  • 手动分配:手动分配每个分组的流量,流量总和为100%。

分组名称

可以根据业务和试验情况合理规划试验分组数量,对照组+试验组的数量不超过 10 个。长度不超过 100 字,支持输入中文、英文、数字、下划线、中划线、引号、双引号,不支持特殊字符。

描述信息

描述信息支持文字和图片两种形式。

  • 文字备注:支持输入中文、英文和数字,不支持特殊字符,文本长度最多支持300个字符。
  • 图片备注:支持jpg、jpeg、gif、png格式,大小不超过 1 MB。

试验参数

用户在A/B测试平台运行试验时,试验的策略通过参数进行下发到对应的应用端,不同的参数对应不同的功能或者业务策略。一般在应用发版前,需要根据规划的试验策略将参数提前预置到应用代码中,即可在A/B测试平台使用对应的参数来创建并运行试验。

目前支持的参数类型:integer、string、boolean、json,一个试验支持配置多个参数进行试验变量控制。

调试设备

调试设备用于测试试验分组的策略是否正确被下发,一旦设备被加入对应的试验分组,将固定命中当前的分组策略。一个调试设备只能被添加到试验的一个分组中,但不受试验层策略的影响。

添加调试设备:可以选择已添加到设备列表的设备或临时新建设备。详情参见:调试设备管理


配置指标

配置试验指标有两种方式:

  • 添加已有指标
  • 创建新指标

所有试验指标会以列表的形式展示在试验配置页面,可对这些指标做以下操作:

  • 编辑,编辑该指标信息,包括指标名称、备注、数据口径。注意,编辑已存在指标的口径可能会影响其他试验该指标的计算,谨慎操作。
  • 查看,查看该指标信息。
  • 复制,复制所选指标的信息,等于新建新指标。
  • 移除,将所选指标与当前试验解除绑定,不会直接删除指标。

添加已有指标

从已有的指标管理中选择适合的指标,绑定到该试验。可多选指标。

创建指标

如已有的指标不能满足需求,可以点击创建指标按钮,配置新指标,并绑定到该试验。

同时创建的指标也会保存到指标管理中,以供其他试验复用。

创建指标该如何填写,可参考指标管理模块:试验指标管理

标记重要指标

重要指标,可衡量业务情况的指标,稳定的、易理解的、公司内通用的。一个试验至少设置一个重要指标,用于直接评价试验运行效果。也支持设置多个重要指标,综合判断试验效果。

标记重要指标在配置试验指标的列表内,设为重要指标。

重要指标个数限制:5个


样本量计算器


点击「样本量计算器」按钮,弹出样本量计算器页面。

  1. 提供两种方式计算
    1. 选择已有的检验类指标,根据指标类型自动判断:通过「人均值」、「人均事件均值」、「人均事件比值」指标生成方式配置的指标为「人均值类」
    2. 选择手动计算,「转化率类」或「人均值类」。
  2. 计算模板说明:
    1. 转化率类指标:事件发生的可能性大小的数值度量,例如点击率、转化率、购买率等;
    2. 人均值类指标:反映数据集中趋势的指标,例如用户的平均使用时长、购买金额、购买频率等;
  3. 转化率类需要输入的信息:指标均值、指标目标值。(选择已有的检验类指标,根据指标类型自动判断和计算,无需输入;选择手动计算,则需要输入。)
  4. 人均值类需要输入的信息:指标均值、指标目标值、指标标准差。(选择已有的检验类指标,根据指标类型自动判断和计算,无需输入;选择手动计算,则需要输入。)
  5. 输入信息的说明:
    1. 指标均值:指标近七天的均值;例如,某事件的人均次数=该事件的总次数 / 任意事件的用户数,该口径与报告中的抽样统计原理相一致。
    2. 指标目标值:预期指标达到的目标值;
    3. 指标标准差:指标近七天的标准差;标准差也被称为标准偏差,或者试验标准差,在概率统计中常作为统计分布程度上的测量依据。标准差能反映一个数据集的离散程度。
    4. 置信水平(1-α):也称“统计显著性、置信度、置信系数”,置信水平在试验中用来描述试验结果的可信度。在样本量计算工具中,置信水平的默认值为95%,支持调整为80%、85%、90%、95%、99%。
    5. 统计功效(1-β):统计功效在试验中用来描述如果试验策略有效,能检测出来的概率。一般来说,统计功效需不小于80%。在样本量计算工具中,统计功效的默认值为80%,支持调整为50%、80%、90%、95%、99%。

示例代码

在完成创建试验后,试验进入「调试中」状态,此时会根据试验参数生成对应的示例代码,开发人员将代码嵌入到应用中实现对应的试验策略。

点击试验列表-操作中的「示例代码」按钮,根据需要查看不同语言下的示例。

调试试验

在应用完成试验策略的集成和发版后,使用已经录入的调试设备访问试验页面,即可查看试验策略是否被正确下发。当试验状态为「调试中」时,调试设备会被强制分配到已经配置好的试验分组内,可以使用调试设备验证试验分流结果。

上线试验

试验调试完成后,在试验列表点击「上线」操作,即可上线试验,可选择立即上线或指定未来时间点自动上线。当完成上线操作后,试验会进入「准备中」的状态,此时神策会进行数据准备,试验暂时不可编辑。

上线之后,目标试验用户开始进入试验,试验报告会进行实时统计数据

取消上线

当用户点击「上线」操作后,无论是立即上线,还是选择了指定时间上线,此时神策会进行数据准备,试验状态变为「准备中」,如果在此期间有需要修改的试验配置,或者想撤销试验,可以在试验操作中点击「取消准备」,试验将会恢复到「调试中」状态。