運營計劃效果評估
功能概述
運營計劃上線后，對計劃進行實時追蹤，包括指標的整體表現和趨勢分析。
計劃效果分析
計劃分析頁面主要包括基本資訊、數據詳情、計劃配置三部分，如下圖：
基本資訊
基本資訊展示包括：計劃狀態、計劃名稱、計劃所屬分組、計劃類型、創建人及時間、最近一次編輯人及編輯時間、支援的操作（與計劃狀態及許可權相關）。
計劃狀態 | 操作許可權 |
待審批 |
|
運行中 |
|
暫停中 |
|
已結束 |
|
整體表現
整體表現採用卡片式設計，目標全部平鋪展示。
指標
- 目標完成率：目標完成人次/計劃觸發人次
- 計劃觸發人次
- 計劃觸發的用戶里實際發送的使用者人次，不包括處於勿擾時段的使用者或延時期內完成首要目標或超過全域觸達設置（觸發上限）的使用者。
- 發送成功人次（微信獨有）
- 微信介面回執，實際發送成功人次。
- 目標點擊人次（彈窗獨有）
- 運營計劃目標設置時，可開啟目標點擊開關。 目標點擊為彈窗點擊回執，實際目標點擊人次。
- 目標完成人次
- 截止到刷新的時間點，計劃觸發的使用者里已完成目標且未超出目標視窗期的使用者人次
對照組
若添加了對照組，則分別統計兩組的指標，而且會做顯著性檢驗
顯著性檢驗
這裡用的是Z 檢驗（雙邊檢驗），顯著性水準取 10% ，則
=1.65
測量指標
- 原則群組為 a，策略組的轉化率為
，樣本量為
，這裡的樣本量是策略組的計劃觸發數
- 對照組為 b，對照組的轉化率為
，樣本量為
，這裡的樣本量是對照組的計劃觸發數
構建原假設和備擇假設
- 原假設：跟對照組 b 比，策略組 a 和策略組 b 沒有顯著性差異，即|
－
=0
|
－
≠0 編譯檢驗統計量並計算 Z值
結論
|
+
≤ 30，樣本量太小，無法給出顯著性檢驗結論
- 若
+
＞30
- Z 的分母不為零
- Z ≥1.65，則拒絕原假設，策略組的完成率更高
- -1.65<Z<1.65，則不能拒絕原假設，策略組和對照組的完成率無顯著差異
- Z ≤ -1.65，則拒絕原假設，對照組的完成率更高
- Z 的分母為零
- 若
- Z 的分母不為零
=1，
=0，則策略組顯著提升了目標完成率
- 若
=0，
=1，則策略組顯著降低了目標完成率
- 若
=
=1，則策略組和對照組的目標完成率無顯著差異
注意：計劃執行過程中，顯著性檢驗那列顯示的結論只是基於當前樣本量下的結論。 等到計劃結束時，會顯示最終結論，獲勝的一組會顯示皇冠。 理論上來說，樣本量越大，顯著性檢驗的結論越準確。
趨勢分析
趨勢分析包括
- 頂部篩選：各個目標切換和「對照組」「策略組」切換
- 最近一次/天觸發表現：左上角顯示最近一次/天觸發的時間
趨勢圖、匯總卡片和詳情表格，指標項見下面表格：
模組/不同觸達方式
彈窗
App 推送
短信
webhook
微信
趨勢圖
- 策略組
- 目標完成率
- 計劃觸發人次
- 目標點擊人次
- 目標完成人次
- 總點擊
- 對照組
- 目標完成率
- 計劃觸發人次
- 目標完成人次|* 策略組
- 目標完成率
- 計劃觸發人次
- 目標完成人次
- 對照組
- 目標完成率
- 計劃觸發人次
- 目標完成人次|* 策略組
- 目標完成率
- 計劃觸發人次
- 目標完成人次
- 對照組
- 目標完成率
- 排程觸發人次
- 目標完成人次|* 策略組
- 目標完成率
- 計劃觸發人次
- 目標完成人次
- 對照組
- 目標完成率
- 排程觸發人次
- 目標完成人次|* 策略組
- 目標完成率
- 計劃觸發人次
- 發送成功人次
- 目標完成人次
- 傳送失敗人次
- 使用者拒收人次
- 對照組
- 目標完成率
- 計劃觸發人次
目標完成人次|
- 匯總卡片
- 策略組
- 目標完成率
- 計劃觸發人次
- 目標點擊人次
- 目標完成人次
- 總點擊
- 對照組
- 目標完成率
- 計劃觸發人次
- 目標完成人次|* 策略組
- 目標完成率
- 計劃觸發人次
- 目標完成人次
- 對照組
- 目標完成率
- 計劃觸發人次
- 目標完成人次|* 策略組
- 目標完成率
- 計劃觸發人次
- 目標完成人次
- 對照組
- 目標完成率
- 計劃觸發人次
- 目標完成人次|* 策略組
- 目標完成率
- 計劃觸發人次
- 目標完成人次
- 對照組
- 目標完成率
- 計劃觸發人次
- 目標完成人次|* 策略組
- 目標完成率
- 計劃觸發人次
- 傳送成功人次
- 目標完成人次
- 發送失敗人次
- 使用者拒收人次
- 對照組
- 目標完成率
- 計劃觸發人次
目標完成人次|
- 詳情表格
- 策略組
- 日期
- 目標完成率
- 受眾使用者人次
- 計劃觸發人次
- 目標點擊人次
- 目標完成人次
- 總點擊
- 對照組
- 日期
- 目標完成率
- 受眾使用者人次
- 計劃觸發人次
- 目標完成人次
|* 策略組 - 日期
- 實際觸發時間（僅定時型計劃有）
- 目標完成率
- 受眾使用者人次
- 計劃觸發人次
- 目標點擊人次
- 目標完成人次
- 對照組
- 日期
- 目標完成率
- 受眾使用者人次
- 計劃觸發人次
- 目標完成人次|** 策略組
- 日期
- 實際觸發時間（僅定時型計劃有）
- 目標完成率
- 受眾使用者人次
- 計劃觸發人次
- 目標完成人次
- 對照組
- 日期
- 目標完成率
- 受眾使用者人次
- 計劃觸發人次
- 目標完成人次|* 策略組
- 日期
- 實際觸發時間（僅定時型計劃有）
- 目標完成率
- 受眾使用者人次
- 計劃觸發人次
- 目標完成人次
- 對照組
- 日期
- 目標完成率
- 受眾使用者人次
- 計劃觸發人次
- 目標完成人次|* 策略組
- 日期
- 實際觸發時間（僅定時型計劃有）
- 目標完成率
- 受眾使用者人次
- 計劃觸發人次
- 發送成功人次
- 目標完成人次
- 傳送失敗人次
- 使用者拒收人次
- 對照組
- 日期
- 目標完成率
- 受眾使用者人次
- 計劃觸發人次
- 目標完成人次
- 執行狀態（僅定時型計劃有|
實例場景枚舉
彈窗
微信
短信
App 推送
Webhook
