概述

指通过代码编程的 A/B试验。广泛应用于客户端和服务端试验,覆盖产品功能、UI样式和后端算法优化等多种试验场景。

应用接入:需集成 A/B Testing SDK 开启使用,详情参见:SDK 集成指南

新建试验

在试验列表中,点击“+新建”按钮,进入试验创建页面。

基本信息

名称

必填,试验名称不可重复。长度不超过40字,只能包含中文、英文、数字和下划线,不支持特殊字符。

备注

选填,用于描述相关试验信息。长度不超过300字,只能包含中文、英文、数字和下划线,不支持特殊字符。

配置指标

配置试验指标有两种方式:

  • 添加已有指标
  • 创建新指标

所有试验指标会以列表的形式展示在试验配置页面,可对这些指标做以下操作:

  • 编辑,编辑该指标信息,包括指标名称、备注、数据口径。注意,编辑已存在指标的口径可能会影响其他试验该指标的计算,谨慎操作。
  • 查看,查看该指标信息。
  • 复制,复制所选指标的信息,等于新建新指标。
  • 移除,将所选指标与当前试验解除绑定,不会直接删除指标。


添加已有指标

从已有的指标管理中选择适合的指标,绑定到该试验。可多选指标。


创建指标

如已有的指标不能满足需求,可以点击创建指标按钮,配置新指标,并绑定到该试验。

同时创建的指标也会保存到指标管理中,以供其他试验复用。

创建指标该如何填写,可参考指标管理模块:试验指标管理


标记重要指标

重要指标,可衡量业务情况的指标,稳定的、易理解的、公司内通用的。一个试验至少设置一个重要指标,用于直接评价试验运行效果。也支持设置多个重要指标,综合判断试验效果。

标记重要指标有两个位置:

  • 创建指标时,标记设为重要指标。
  • 在配置试验指标的列表内,标记设为重要指标。

重要指标个数:5个


设置试验分组

试验分组

可以根据业务和试验情况合理规划试验分组数量,对照组+试验组的数量不超过 10 个。分组名称支持重命名,支持中文、英文和数字,不支持特殊字符,长度最多支持20个字符。

分配方式

为试验分组分类参与试验的流量比例。

  • 平均分配:将 100% 的流量均匀自动分配到每个组。
  • 手动分配:手动分配每个分组的流量,流量总和为100%。

描述信息

描述信息支持文字和图片两种形式。

  • 文字备注:支持输入中文、英文和数字,不支持特殊字符,文本长度最多支持300个字符。
  • 图片备注:支持jpg、jpeg、gif、png格式,大小不超过100k。

试验参数

用户在A/B测试平台运行试验时,试验的策略通过参数进行下发到对应的应用端,不同的参数对应不同的功能或者业务策略。一般在应用发版前,需要根据规划的试验策略将参数提前预置到应用代码中,即可在A/B测试平台使用对应的参数来创建并运行试验。

目前支持的参数类型:integer、string、boolean和json,一个试验支持配置多个参数进行试验变量控制。

调试设备

调试设备用于测试试验分组的策略是否正确被下发,一旦设备被加入对应的试验分组,将固定命中当前的分组策略。一个调试设备只能被添加到试验的一个分组中,但不受试验层策略的影响。

添加调试设备:可以选择已添加到设备列表的设备或临时新建设备。详情参见:调试设备管理

选取受众用户

选择试验层

为试验选择一个试验层,在同一层的试验流量互斥,同一个用户进入试验层时只能命中该试验层中的一个试验,以保证试验间互不干扰。建议提前根据业务情况规划试验层。详情参考:试验层管理

试验层选择弹窗支持模糊搜索、快速新建试验层以及查看试验层详情操作。

选择受众用户

定向人群

选择在神策分析和神策用户画像产品中创建的用户分群用户标签作为试验目标受众。

  1. 试验上线后,受众用户随当前分群/标签的更新而自动更新。
  2. 在分群/标签更新前已经命中试验的用户,即使更新后不在分群/标签内,也仍将保持命中试验;新加入分群/标签的用户,将会参与试验分流。

随机流量

以当日活跃用户作为目标受众。支持按照用户属性、预置属性和自定义属性进行筛选。

(1)用户属性:支持订阅神策分析中用户表的全部用户属性作为目标受众筛选条件。

(2)预置属性:在请求分流接口时,SDK默认采集的属性。

  • 注意:预置属性仅在客户端SDK中自动采集,因此仅适用于客户端试验;服务端试验若需使用以上属性进行受众筛选,则在请求分流时需手动上传。

支持的属性列表:

       "$app_version":"v1.2",          // 应用的版本
        "$os":"iOS",                    // 操作系统
        "$os_version":"11",             // 操作系统版本
        "$model": "xxx",               // 设备型号
        "$manufacturer": "xxx",         // 设备制造商
        "$carrier":"xxx",               // 运营商名称
        "$device_id":"xxx",             // 设备 ID
        "$country":"中国",               // 国家
        "$province":"山东",              // 省份
        "$city":"青岛",                  // 城市
       "$ip":"10.10.22.33"             // IP 地址
       "$is_first_day":true / false  // 是否首日(boolean 类型,新老用户功能新增)
CODE

(3)自定义属性:在请求分流接口时,通过接口“properties”字段将自定义属性主动上传,用于作为分流属性筛选。

a.自定义属性支持的数据类型:字符类型(STRING)、集合类型(LIST)、数值类型(NUMBER)、布尔类型(BOOL)和 日期类型(DATATIME)

b.属性名校验规则:支持英文、数字、下划线,且不能以数字和"$"开头。

  1. 该功能为高级功能,请联系客户成功经理申请开通
  2. 当前仅编程试验支持自定义筛选
  3. 当前 Android SDK、iOS SDK 和 Java SDK 支持自定义属性,其他 SDK 正在陆续支持中
  4. 支持在 fastFetchABTest  接口和 asyncFetchABTest 接口使用自定义属性
  5. 在使用自定义属性功能时,需确保 SDK 接口中定义的属性名与A/B平台填写的属性名保持一致(包括属性名和数据类型)

进组比例

在选取的受众用户范围内,设置总共能参与试验的用户比例。试验上线初期一般选择小部分流量进行试验,后续再根据试验数据反馈酌情调整。

试验可设置的最大进组比例为当前试验层剩余的流量比例

样本量计算器


点击「算一算」按钮,弹出样本量计算器页面。

  1. 提供两种方式计算
    1. 选择已有的检验类指标,根据指标类型自动判断:「转化率」的指标生成方式配置的指标为「比率类」,「人均值」、「人均事件均值」、「人均事件比值」指标生成方式配置的指标为「绝对值类」
    2. 选择手动计算,「比率类」或「绝对值类」。
  2. 计算模板说明:
    1. 比率类指标:事件发生的可能性大小的数值度量,例如点击率、转化率、购买率等;
    2. 绝对值类指标:反映数据集中趋势的指标,例如用户的平均使用时长、购买金额、购买频率等;
  3. 比率类需要输入的信息:指标均值、指标目标值。(选择已有的检验类指标,根据指标类型自动判断和计算,无需输入;选择手动计算,则需要输入。)
  4. 绝对值类需要输入的信息:指标均值、指标目标值、指标标准差。(选择已有的检验类指标,根据指标类型自动判断和计算,无需输入;选择手动计算,则需要输入。)
  5. 输入信息的说明:
    1. 指标均值:指标近七天的均值;例如,某事件的人均次数=该事件的总次数 / 任意事件的用户数,该口径与报告中的抽样统计原理相一致。
    2. 指标目标值:预期指标达到的目标值;
    3. 指标标准差:指标近七天的标准差;标准差也被称为标准偏差,或者试验标准差,在概率统计中常作为统计分布程度上的测量依据。标准差能反映一个数据集的离散程度。
    4. 置信水平(1-α):也称“统计显著性、置信度、置信系数”,置信水平在试验中用来描述试验结果的可信度。在样本量计算工具中,置信水平的默认值为95%,支持调整为80%、85%、90%、95%、99%。
    5. 统计功效(1-β):统计功效在试验中用来描述如果试验策略有效,能检测出来的概率。一般来说,统计功效需不小于80%。在样本量计算工具中,统计功效的默认值为80%,支持调整为50%、80%、90%、95%、99%。

示例代码

在完成创建试验后,试验进入「调试中」状态,此时会根据试验参数生成对应的示例代码,开发人员将代码嵌入到应用中实现对应的试验策略。

调试试验

在应用完成试验策略的集成和发版后,使用已经录入的调试设备访问试验页面,即可查看试验策略是否被正确下发。当试验状态为「调试中」时,调试设备会被强制分配到已经配置好的试验分组内,可以使用调试设备验证试验分流结果。

上线试验


试验调试完成后,在试验列表点击「上线」操作,即可上线试验。此时目标试验用户开始进入试验,试验报告会进行实时统计数据