功能概述

运营计划上线后，对计划进行实时追踪，包括指标的整体表现和趋势分析。

计划效果分析

计划分析页面主要包括基本信息、数据详情、计划配置三部分，如下图：

基本信息

基本信息展示包括：计划状态、计划名称、计划所属分组、计划类型、创建人及时间、最近一次编辑人及编辑时间、支持的操作（与计划状态及权限相关）。

整体表现

整体表现采用卡片式设计，目标全部平铺展示。

指标

• 目标完成率：目标完成人次/计划触发人次

• 计划触发人次

  • 计划触发的用户里实际发送的用户人次，不包括处于勿扰时段的用户或延时期内完成首要目标或超过全局触达设置（触发上限）的用户。
• 发送成功人次（微信独有）
  • 微信接口回执，实际发送成功人次。
• 发送成功人次（微信独有）
  • 微信接口回执，发送失败人次。
• 目标点击人次（弹窗独有）
  
  • 运营计划目标设置时，可开启目标点击开关。目标点击为弹窗点击回执，实际目标点击人次。

• 目标完成人次

  • 截止到刷新的时间点，计划触发的用户里已完成目标且未超出目标窗口期的用户人次

对照组

若添加了对照组，则分别统计两组的指标，而且会做显著性检验

显著性检验

这里用的是 Z 检验（双边检验），显著性水平取 10% ，则=1.65

测量指标

• 策略组为 a，策略组的转化率为，样本量为 ，这里的样本量是策略组的计划触发数

• 对照组为 b，对照组的转化率为 ，样本量为，这里的样本量是对照组的计划触发数

 构建原假设和备择假设

• 原假设：跟对照组 b 比，策略组 a 和策略组 b 没有显著性差异，即|－|=0
• 备择假设：跟对照组 b 比，策略组 a 有显著提升转化率，即|－|≠0

构建检验统计量并计算 Z值

结论

• 若 +≤ 30，样本量太小，无法给出显著性检验结论
• 若 +＞30
  • Z 的分母不为零
    • Z ≥1.65，则拒绝原假设，策略组的完成率更高
    • －1.65<Z<1.65，则不能拒绝原假设，策略组和对照组的完成率无显著差异
    • Z ≤ －1.65，则拒绝原假设，对照组的完成率更高
  • Z 的分母为零
    • 若=1，=0，则策略组显著提升了目标完成率
    • 若 =0，=1，则策略组显著降低了目标完成率
    • 若==1，则策略组和对照组的目标完成率无显著差异

注意：计划执行过程中，显著性检验那列显示的结论只是基于当前样本量下的结论。等到计划结束时，会显示最终结论，获胜的一组会显示皇冠。理论上来说，样本量越大，显著性检验的结论越准确。

趋势分析

趋势分析包括

• 顶部筛选：各个目标切换和「对照组」「策略组」切换

• 最近一次/天触发表现：左上角显示最近一次/天触发的时间

• 趋势图、汇总卡片和详情表格，指标项见下面表格：

  模块/不同触达方式	弹窗	App 推送	短信	webhook	微信
  趋势图	策略组 目标完成率 计划触发人次 目标点击人次 目标完成人次 总点击 对照组 目标完成率 计划触发人次 目标完成人次	策略组 目标完成率 计划触发人次 目标完成人次 对照组 目标完成率 计划触发人次 目标完成人次	策略组 目标完成率 计划触发人次 目标完成人次 对照组 目标完成率 计划触发人次 目标完成人次	策略组 目标完成率 计划触发人次 目标完成人次 对照组 目标完成率 计划触发人次 目标完成人次	策略组 目标完成率 计划触发人次 发送成功人次 目标完成人次 发送失败人次 用户拒收人次 对照组 目标完成率 计划触发人次 目标完成人次
  汇总卡片	策略组 目标完成率 计划触发人次 目标点击人次 目标完成人次 总点击 对照组 目标完成率 计划触发人次 目标完成人次	策略组 目标完成率 计划触发人次 目标完成人次 对照组 目标完成率 计划触发人次 目标完成人次	策略组 目标完成率 计划触发人次 目标完成人次 对照组 目标完成率 计划触发人次 目标完成人次	策略组 目标完成率 计划触发人次 目标完成人次 对照组 目标完成率 计划触发人次 目标完成人次	策略组 目标完成率 计划触发人次 发送成功人次 目标完成人次 发送失败人次 用户拒收人次 对照组 目标完成率 计划触发人次 目标完成人次
  详情表格	策略组 日期 目标完成率 受众用户人次 计划触发人次 目标点击人次 目标完成人次 总点击 对照组 日期 目标完成率 受众用户人次 计划触发人次 目标完成人次	策略组 日期 实际触发时间（仅定时型计划有） 目标完成率 受众用户人次 计划触发人次 目标点击人次 目标完成人次 对照组 日期 目标完成率 受众用户人次 计划触发人次 目标完成人次	策略组 日期 实际触发时间（仅定时型计划有） 目标完成率 受众用户人次 计划触发人次 目标完成人次 对照组 日期 目标完成率 受众用户人次 计划触发人次 目标完成人次	策略组 日期 实际触发时间（仅定时型计划有） 目标完成率 受众用户人次 计划触发人次 目标完成人次 对照组 日期 目标完成率 受众用户人次 计划触发人次 目标完成人次	策略组 日期 实际触发时间（仅定时型计划有） 目标完成率 受众用户人次 计划触发人次 发送成功人次 目标完成人次 发送失败人次 用户拒收人次 对照组 日期 目标完成率 受众用户人次 计划触发人次 目标完成人次 执行状态（仅定时型计划有

  
  

  
  

实例场景枚举

弹窗

微信

短信

App 推送

Webhook