概述

什么是多人群试验？

针对多个受众人群，设置多个分组，不同人群分别下发相同或不同的策略，验证对比群体差异，进而针对不同群体提供更好的产品和服务。

应用场景介绍

并行测试多个受众群体

多个互斥人群，可在同一个多人群试验里，并行测试新旧策略，一同观测结果，可节约时间成本和配置多个试验的成本。

比如，某app进行整体首页推荐内容算法优化，重点关注未注册人群和已注册的老用户，可建立2个人群，分别设置新旧两个算法，以保证重点人群内的分流均匀稳定，同时可在一个报告里对比人群数据结果。

差异化运营场景

针对运营场景，可长期运行在线，不同人群策略可以做差异化。

分城市运营：针对不同城市用户，结合其城市消费特征，对不同品类的商品发放不同金额的消费券。以此来找到面向不同特征的最佳营销策略 。

分用户特征：针对不同行业、性别、年龄段客户设计差异化的网页设计方案。目的是通过数据对比以验证不同特征的群体间有认知差异和行为差异 。

  多人群试验的分流逻辑

每一个多人群试验，将会默认建立一个单独试验层，在该试验层内，可建立多个互斥人群受众，在每一个人群内，可建立至少一个分组。

每个人群的总流量将会被充分利用，可根据需要，在人群内设置多个分组，比如设置一个对照组50%，运行默认策略，设置一个试验组50%，运行两个新策略。其他人群以此类推。

每个用户在一个多人群试验里，只能命中一个人群的其中一个组（参数）。

功能介绍

新建试验

在试验列表中，点击「新建试验」按钮，选择「多人群试验」即可进入试验创建页面。

基本信息

1. 名称

必填，试验名称不可重复。长度不超过40字，只能包含中文、英文、数字和下划线，不支持特殊字符。

2. 备注

选填，用于描述相关试验信息，比如试验目标、试验所属部门等信息。长度不超过300字，只能包含中文、英文、数字和下划线，不支持特殊字符。

3.运行时长

必填，针对试验运行中、运行中（暂停）状态下的有效期。试验到期后，试验自动下线。默认14天，最大可设置365天，可多次修改调整。快到期前，将发送站内消息通知，试验列表也有标识提醒。

如试验运行天数小于等于14天，即将到期为到期前3天，出现到期标识；
如试验运行天数大于14天，即将到期为到期前7天，出现到期标识。

选择分流主体

如开启多主体分流的功能，可以支持用户主体和设备主体，选择主体后，将会默认建立该主体下的试验层。

配置人群及进组顺序

人群数量2-5个，人群内分组个数1-10个。

1.创建人群

人群名称：一个试验内的人群名称不可重复。长度不超过20字，只能包含中文、英文、数字和下划线，不支持特殊字符。

选择受众用户：指定已有人群，或使用属性筛选受众。

用户变更：随受众属性变更动态分流，受众用户是通过人群或者用户属性筛选配置。则用户每次请求试验，会根据当前用户分群或属性状态变化，实时判断用户的当前请求能否命中试验。

流量分配：

1）分组名称：可以根据业务和试验情况合理规划试验分组数量，试验组的数量不超过 10 个。分组名称支持重命名，支持中文、英文和数字，不支持特殊字符，长度最多支持20个字符。

2）备注信息：描述信息支持文字和图片两种形式。

• • 文字备注：支持输入中文、英文和数字，不支持特殊字符，文本长度最多支持300个字符。
  • 图片备注：支持jpg、jpeg、gif、png格式，大小不超过100k。

3）调试设备

调试设备用于测试试验分组的策略是否正确被下发，一旦设备被加入对应的试验分组，将固定命中当前的分组策略。一个调试设备只能被添加到试验的一个分组中，但不受试验层策略的影响。

添加调试设备：可以选择已添加到设备列表的设备或临时新建设备。详情参见：调试设备管理

4）试验参数

一个人群内，支持多个参数，参数可以与试验内的其他人群的参数相同。

用户在A/B测试平台运行试验时，试验的策略通过参数进行下发到对应的应用端，不同的参数对应不同的功能或者业务策略。一般在应用发版前，需要根据规划的试验策略将参数提前预置到应用代码中，即可在A/B测试平台使用对应的参数来创建并运行试验。

目前支持的参数类型：integer、string、boolean、json，一个试验支持配置多个参数进行试验变量控制。

预估人群：受众选择已有人群后，可点击预估；或选择受众属性筛选，完善筛选条件后，可点击预估。如选择自定义属性，则无法预估人群数量。

2.用户进组顺序

配置完所需人群后，在人群序号旁边，拖拽标识，调整人群优先级。试验会根据该顺序，依次使用户进组。主要为了避免一个用户在多个人群中的情况，以保证用户命中策略的唯一性。

配置指标

同编程试验，详情请参照：新建编程试验-配置指标

需要特别注意

• 由于多人群试验的特殊性，检验类指标仅提供数值和方差，不提供置信区间及p值的结果。
• 由于多人群随受众属性变更动态分流，用户每次请求试验，会根据当前用户分群或属性状态变化，实时判断用户的当前请求能否命中试验，故一个用户一天内可能会出现在多个试验版本中，所有的指标计算将会按用户最新版本统计，精确地卡试验进组事件后的所选事件进行统计。（事件分析类型指标，会区别与其他试验类型的指标计算。）

示例代码

同编程试验，详情请参照：新建编程试验-示例代码

调试试验

同编程试验，详情请参照：新建编程试验-调试试验

上线试验

同编程试验，详情请参照：新建编程试验-上线试验

试验运行中调整流量

在试验运行中或试验运行中（暂停）的状态下，可编辑的内容：流量分配方式、分组名称、流量比例、备注信息及图片、调试设备可以新增或删除。

不可新增人群或分组。

试验报告解读

试验总览

试验总览呈现试验运行的基本信息以及在试验运行周期内重要指标的表现情况。整体报告解读可参考：试验报告

1. 试验运行周期

从「试验上线时间开始」至「统计时间结束」，这段时间内试验运行的天数。

2.试验分组数据

所选时间范围内，试验人群及分组的总进组用户数，及指标表现。默认展示人群维度下，点击人群可展开查看人群下的分组数据。

3.统计检验分析

提供试验人群及分组的检验指标数据。人群下的分组数据提供方差值。

4.漏斗指标

如配置漏斗指标，将默认展示人群维度下的漏斗指标，可切换试验分组维度。漏斗指标不提供置信区间数据。

5.每日新进组人数趋势

默认展示人群维度下的每日新进组的用户数，可切换试验分组维度查看。每日试验分组的进组流量，加和后与总的人群进组流量相等。

业务数据

在业务数据中，默认展示人群的业务指标情况，点击人群名称，可下钻展开人群下分组的数据。报告解读可参考：试验报告-业务数据

实时数据

在实时数据中，默认展示人群的业务指标情况，选择查看维度，可查询人群下分组的实时数据。报告解读可参考：试验报告-实时数据