1. 概述

对核心指标进行智能预警,并且自动化对异常指标进行分析。

  • 智能预警:精准触达异常数据

在原有的自定义规则预警的基础上,扩充了一键开启智能预警的能力,根据历史数据,智能预测算法精准预测分小时、分天的智能区间。可智能学习历史数据的总体趋势、周期性,精准的定位异常数据,规避由于异常数据带来的损失及风险。多端触达预警消息。支持 Webhook、邮件、系统消息等。

  • 智能分析:快速定位异常原因

增强了自动化分析的能力,定位到异常数据后,自动排查数据异常原因,包括异常维度多维分析(诊断异常维度)、定位异常用户(诊断薅羊毛党)。同期预警指标和指标关联分析,不仅仅对指标进行单一分析,探查指标间的关联关系,从整体业务角度考虑指标的异常波动。

功能入口分析 > 其他 > 智能预警分析

2. 新建预警

2.1. 新建预警入口

2.1.1. 智能预警分析创建入口

在智能预警分析列表页右上角可以点击创建预警

 

  •  从书签添加。可以根据历史的事件分析书签进行快速创建预警

  • 新建预警。跳转至分析模型【事件分析】构建指标进行预警设置。

2.1.2. 事件分析入口

【事件分析】创建需要分析的指标,如需对指标进行监控,则可以点击右上角的【预警】按钮,进入【新建指标预警】界面。



注:预警会带入事件分析中创建的指标统计口径(包含事件统计方式,事件筛选、全局筛选条件)

2.2. 新建预警配置

A. 设置预警名称及指标

  •   如事件分析创建了多个预警指标,可在下拉框中选择需要监控的【指标】名称(a处)。
  •   预警【名称】默认为所选择的预警【指标】名称,可输入更改  (b处)。

            


B. 设置预警分组。预警【分组】可按监控,或者,根据事件分析中选择的【查看维度(如“SDK类型、元素内容”)】进行分组监控。最多可选择10个分组值进行预警监控

    注:当前预警仅支持事件属性中的String,Bool类型的分组设置。

     

      Q:怎么我想添加的小组不在下拉框里?

      A:下拉框最多显示10个分组值,分组值支持模糊搜索。如下图:

          

C. 可填写预警描述备注,非必填项。

D. 设置预警指标的【监控粒度】,即指标周期,可选择“按天”或“按小时”。

E. 选择预警的【监控时段】。如图,若【监控粒度】为“按天”,可设置对每周几天进行预警;同理,若为“按小时”,可设置对每天几小时进行预警。

F. 选择预警方式

  • 如选择【智能预警】,基于指标历史数据,根据Prophet预测模型(基于总体趋势+周期性+特殊事件)计算出各个组别的【智能预测区间】。可有效提升预警的准确性,降低误报率。

        

     注:

  1. 若分组为“总体”, 则显示今日/当前小时的智能预测区间;若有若干个分组,则显示每个分组今日/本小时的智能预测区间(若某分组数据不足,则不显示该分组的预测区间)。
  2. 更新【指标】、【粒度】 和 【分组】时,会更新上面的提示信息。
  3. 数据过少时或数据波动较大时,无法进行智能区间预测。
    1. 如选择按天监控,根据90天历史数据进行智能预测,如90天历史数据不足30天,则无法生成智能预测区间;
    2. 按小时监控,根据30天*24小时历史数据进行智能预测,如30天*24h的历史数据不足3天*24小时,则无法生成智能预测区间。


  • 如选择【自定义预警】,需如图点击“+添加规则”手动添加【触发规则】。

      


  •  打开【添加触发规则】框如下:

         

          

  • 按小时或按天预警时,均可选择与预测值、特定值对比,也可选择区间在和区间不在。按小时预警时,可选择与上一小时和昨日同期进行对比;按天预警时,可选择与昨天和上周同期进行对比。
  • 其中,选择昨日同期时,会与昨日同一小时的指标值进行对比;选择预测值时,会与根据历史趋势预测的指标值进行对比;选择特定值时,会与某一固定数值做对比;选择区间在时,指标值在某一固定区间时会触发预警;选择区间不在时,指标超出区间时会触发预警。
  • 2.0 以后版本的神策分析中,提供了预测值预警功能。开通预测值预警功能的用户,可以在触发规则中,配置预测值预警规则。

               

             a. 在对比值下拉列表中,选择“预测值”作为对比值。

             b. 点击下方的“点击此处计算”链接,会计算“建议阈值”,并自动填充到阈值输入框中。

  • 同一预警中最多可支持 20 条预警触发规则。

G. 选择通知方式。

  • 【系统通知】默认勾选。向系统创建者发送系统消息。
  • 【企业群通知】设置接受通知的企业群,通过webhook向飞书、钉钉、企业微信等企业群发送通知。如何设置企业群通知,详见如何配置企业群通知

      

  • 【邮件通知】设置接受通知的邮件地址,点击“测试发送”可测试是否能正常接受预警邮件通知。

      

3. 预警消息通知

目前支持系统通知、邮件通知、webhook通知,通知的标题和格式是一致的。

标题:包含预警名称,预警时间段

内容:预警指标名称「分组」,指标值,触发的预警规则。支持快速跳转预警详情页。

  • 系统通知示例

  • webhook(企业微信示例)

  • 邮件示例


4. 智能分析

在智能预警的分析页面中,可根据实际的分析需求、数据的查询性能,选择“主动查询”或“被动查询”

对于查询时间较长、且暂时不需要分析相关数据的场景,建议选择“主动查询”

可在“项目设置-基本设置-分析模型设置”中,找到智能预警相关配置项,更改默认值

4.1. 分析概览

进入预警详情页,查看智能预警分析。

A:预警指标和分组;如设置分组不为总体,则可以下拉切换不同分组。

B:指标趋势图中,蓝色点代表指标正常值,红色点代表指标预警值。红色预警值和蓝色正常值均支持点击查看分析

C:预警方式为智能预警时,在趋势图中,每个监控时间点下,能够依据历史数据,产出该时间点下的预测数据区间,通过阴影来标识数据范围。预警点均为未在预测范围内的异常值。

D:如发生预警,为了更好的对该预警点的数据异常进行解释。提供了近N天均值/同期均值。

  • 同期均值:如按天预警,同期均值为近N天内每周同一天的均值;按小时预警,为近N天内每天同一小时的均值。
  • 指标值落在均值±2倍标准差范围内的概率约为95%,如该预警点超出近N天均值/同期均值±两倍标准差,则展示近N天均值/同期均值辅助线。如不超出,则不在趋势图中展示该辅助线。

E:指标的相关信息

  • 指标近30天内被触发预警的次数
  • 通知人数,如设置了邮件地址,则显示被通知人的邮件地址
  • 通知群,如设置了webhook,则显示被通知的群名称
  • 备注:预警新建的备注信息
  • 监控状态:监控中、未监控

F:预警原因:触发的预警规则信息

  • 如选择了智能预警,则显示当前预警点下的智能预测区间
  • 如选择了自定义预警,则显示被触发的预警规则。

G:预警原因:辅助线信息。展现对比近N天均值/同期均值的对比情况。

  • 按天:近7天均值、近30天同期均值、近90天同期均值、近180天同期均值
  • 按小时:近3天同期均值、近7天同期均值、近14天同期均值、近30天同期均值

H:异常维度分析概览:默认与上周同期时间对比,对维度下钻,展现对指标波动影响因素Top3异常维度。有关异常维度分析方法的介绍,详情请见3.2

  • 如上图所示:谨慎型「股票风险偏好」。股票风险偏好为异常维度,谨慎型为异常维度值。
  • 对于预警指标,股票风险偏好为谨慎型的情况下,对于指标的异常影响因素较大。

I:异常用户概览:显示当前时间点下,指标波动影响因素Top3的异常用户信息。用户信息可以为用户唯一ID,IP等用户主体,用户可以自定义设置。有关异常用户分析方法的介绍,详情请见3.3

J:同期预警指标:与当前预警指标进行预警点重合度匹配,按照不同的预警监控粒度,匹配方式如下

  • 如果预警监控粒度为:按小时,则在预警点之前匹配近72小时的预警异常点。
  • 如果预警监控粒度为:按天,则在预警点之前匹配30天内的预警异常点。

     按照同期预警的次数,进行排序。显示最多top6的同期预警指标。有关同期预警指标的详细内容,详情请见3.4

   注:任意时间总次数 [js],代表的含义为:指标值 [分组值]。如果预警指标没有设置分组,则只显示指标名。

4.2. 异常维度分析

4.2.1. 维度分层

点击异常维度分析【维度设置】,查看当前预警指标的所有维度分层。维度支持:用户属性&事件属性。

Q1:什么是维度分层?

A1:多个维度组合进行分析。比如:屏幕宽度&屏幕高度,会查看两个维度组合下的维度值,如屏幕宽度有n个维度值,屏幕高度有m个维度值,则会遍历n*m种维度组合结果。


Q2:如何设置维度分层?

A2:1、维度分层可自动生成,依据书签中所有分析模型中设置的维度分析方法,已自动获取维度分层。

        2、用户可以自定义设置,在【维度设置】中添加分层,分层支持多个添加多个用户属性和事件属性,并且可以调整多个维度分层的前后顺序。

4.2.2. 普通指标异常维度分析

Q:什么是普通指标?

A:计算某个事件的统计方式,被归类为普通指标。

如上图所示,为某个预警指标进行异常维度分析的结果。

A:当前预警点时间:监控粒度为按小时监控,在趋势图中选择的是:2021-06-07 9:00的预警点

B:对比时间:默认为预警点的上周同期时间,为2021-05-31 9:00。按小时监控支持上一小时,昨日同期对比时间。按天监控粒度,支持昨日,上月同期时间对比。

C:异常维度:指标变化对总体指标的影响较大的被判定为异常维度。如新浪「广告系列来源」,则代表广告系列来源为新浪的渠道对于预警指标的波动造成了较大影响。

D:当前占比:代表在当前预警时间点下(如图中:2021-06-07 9:00),下钻的异常维度值,占「当前时间点」下「预警指标数值」的比例。如图所示:2021-06-07 9:00 当「广告系列来源」为新浪时,占预警指标数值的比例时44.44%。

E:对比时间占比:在选择的对比时间下(如图中:2021-05-31 9:00),下钻的异常维度值,占「对比时间点」下 「预警指标数值」的比例。如图所示:2021-05-31 9:00 当「广告系列来源」为新浪时,占预警指标数值的比例时8.70%。

F:占比变化:当前时间占比-对比时间占比。为异常维度占比的变化值。

G:当前值:当前预警时间点下(如图中:2021-06-07 9:00),该异常维度的指标值。

H:对比时间值:在选择的对比时间下(如图中:2021-05-31 9:00),该异常维度的指标值。

I:指标变化:当前值-对比时间值,则为异常维度的变化值。

J:操作:点击查看后,会跳转至该预警指标,进行下钻维度后的分析页面。如下图所示,能够看到当前异常维度下的分析。

K:查看全部。包含所有设置的维度分层下的维度分析。包括被判定为异常的维度,还有维度分析未发现异常的所有维度分析。

4.2.3. 比率型指标异常维度分析

Q:什么是比率型指标?

A:A/B类型的指标,如点击率,转化率等。被归类为比率型指标,除A/B类型外的其他指标,则均按照普通指标进行异常维度分析。

A:分子占比变化:对于比率型指标A/B,分子占比变化为:异常维度下分子A的数值占总体指标分子A的比例变化。

      例如:在当前时间点下,异常维度下的分子A1占预警指标分子A的比例为A1/A,在对比时间下,异常维度的分子A2占预警指标分子A’的比例为A2/A’。则分子占比变化为A1/A-A2/A’

B:分母占比变化:对于比率型指标A/B,分母占比变化为:异常维度下分母B的数值占总体指标分母B的比例变化。

      例如:在当前时间点下,异常维度下的分母B1占预警指标分母B的比例为B1/B,在对比时间下,异常维度的分母B2占预警指标分母B’的比例为B2/B’。则分子占比变化为B1/B-B2/B’

C:整体占比变化:对比率型指标A/B ,占比变化是分子占比变化减去分母占比变化的绝对值

D:异常状态:指标异常、占比异常。

  • 指标异常:如果当前下钻维度后的指标值,指标变化(指的当前值与对比时间值的变化)超出总体指标变化值,则被判定为指标异常。
  • 占比异常:如果当前下钻维度后的指标值,指标变化(指的当前值与对比时间值的变化)无显著变化,但整体占比变化波动较大,则被判定为占比异常。

      例如:比率指标如:点击率,下钻维度为「北京」的点击率在当前值和对比时间值下,指标值无变化,但是分子、分母占比总体发生了较大的波动,则被判定为占比异常。

4.3. 异常用户分析

刷量、作弊、薅羊毛的用户行为层出不穷。大量的异常用户的行为,导致了数据异常波动。

广告行业,异常用户带来大量的作弊流量,使得广告投放的企业遭受损失。

运营推广活动,有薅羊毛用户,通过异常方法,来获得大量的不合规的收入。

企业产品功能不完善,也会导致用户的异常操作,带来异常的数据问题。

异常用户分析,通过用户行为分布分析方法,定位到异常用户主体。

4.3.1. 主体设置

默认会增加Distinct ID、IP两个用户主体,最多支持添加5个事件属性。可根据用户行为分析,自定义用户的主体。

4.3.2. 普通指标异常用户分析

Q:什么是普通指标?

A:计算某个事件的统计方式,被归类为普通指标。

A:下拉切换不同的用户主体,查看异常用户信息

B:异常用户列表

C:预警指标的正常区间范围,及每个异常用户在当前事件统计分析下的指标值。注:异常用户分析假设用户行为分布服从分布分析,如用户的行为高于均值的3倍标准差,则被判定为异常用户

D:用户ID,蓝色支持点击跳转至用户行为序列。可以继续定位用户异常行为。


4.3.3. 比率型指标异常用户分析

Q:什么是比率型指标?

A:A/B类型的指标,如点击率,转化率等,被归类为比率型指标,除A/B类型外的其他指标,则均按照普通指标进行分析。

A:A/B指标的正常区间范围,及当前异常用户下的值。

B:A/B指标中的分子,正常的区间范围,及当前异常用户下分子的值。

C:A/B指标中的分母,正常的区间范围,及当前异常用户下分母的值。

通过A/B、A、B三个指标的区间范围,依据多元高斯分布,能够判定出异常的用户。

4.4. 同期预警指标

如下图所示:可以查看同期在预警的还有哪些预警指标(vs.当前预警指标)。查看其他预警指标和当前预警指标预警时间的重合度,默认按照重合度高低进行了排序。

可以查看重合度高的预警指标,可点击同期预警指标列表,跳转至预警分析页面。

✨如果不同指标同期预警的重合度很高,则说明两个指标在业务上存在的互相影响的关系。可以有助于排查业务,方便定位问题。

4.5. 指标关联分析

A:下拉选择【目标指标】

B:下拉选择进行关联度分析的【分组】

C:下拉选择进行关联度分析的【时段】

D:关联度分析展示

  • 纵向上,与【目标指标】正向相关的指标在关联度尺上方蓝色区域;与【目标指标】负向相关的指标在下方紫色区域。
  • 横向上,指标到目标指标的距离表示该指标与目标指标关联度的强弱。距离约近,关联度越强,数字标号为关联度强弱的排序。

E: 可以调整关联度尺度长短来控制显示关联指标的范围。

F: 每个关联指标的具体【数值】、【环比】以及【关联度】在右侧栏详细展示。点击关联指标,可跳转至该指标的【智能预警分析】页面。

5. 预警管理

5.1. 预警列表

注:在此页面可以查看预警的监控状态,上次预警触发时间和创建人信息。其中,有预警权限的成员可以查看其他人创建的预警。有关权限管理,详情请见5

A: 支持模糊搜索预警名称,分组,创建人。

C: 预警分组,可下拉选择分组。切换分组后,显示对应分组的最近预警时段、最近预警值、当前指标值。

B: 显示最近一次预警的时段。

J:最近预警值:对应最近一次预警时段的预警值。

D: 指标值,显示该分组的指标值以及环比。hover显示【指标名称】、【统计时段】及最近一次【更新时间】。

  • 按小时监控,指标值为上一小时的数据,如当前时间点为14:20,则指标值为13:00-14:00的数值
  • 按天监控,指标值为昨日数据,如当前为06-08(二),则指标值为06-07(一)的数值

E: 粒度,可筛选“按小时”或“按天”。

F: 创建人,可筛选创建人。

G: 监控状态,可筛选“监控中”或“未监控”。

H: 操作,包含查看智能预警【详情】分析、查看【关联指标】分析、通过【查看查询条件】跳转至预警指标的事件分析,以及【编辑预警】

I:点击预警名称也可直接跳转至【详情】分析页面。


5.2. 查看查询条件

在【预警管理】中点击【查看查询条件】会跳转到该预警的【事件分析】界面。

5.3. 编辑预警

A:【名称】可以修改。

B:【指标】不可修改。

C:【分组】若为“全体”,则不可以更改;【分组】若不为全体,可以增加、删除分组,但是修改分组值会清除预警指标的预警记录

D:若预警方式为“智能预警”,则可以更改【颗粒度】;若预警方式为“自定义预警“,则需要清除所有自定义的【触发规则】后才可以更改【颗粒度】。更改【颗粒度】会清除预警指标的预警记录

E:【监控时段】可以修改。

F:修改自定义预警【触发规则】会清除预警指标的预警记录


注:涉及C、D或F的更改会清除预警指标的预警记录(包括历史预警点和智能分析结论),会在点击确认后提示并再次确认是否更改。

5.4. 启用禁用预警

A:在【修改预警】页面点击可启用/禁用预警。

5.5. 删除预警

A:在【修改预警】页面左下角点击【删除】并在弹窗中点击【确定】,即可删除预警。 


6. 权限管理

智能预警分析包含查看、新增、全局管理权限

功能操作数据范围
智能预警分析


查看预警查看「自己创建」的预警和 「可接受邮件通知」的预警。
新建预警可进行新建预警,并编辑、删除自己创建的预警
全局管理预警对可用范围内的所有预警进行「查看、编辑、删除」的操作


注:「可接收邮件通知」收件地址中包含的用户邮箱账号对应的用户,即可查看到该智能预警分析。

默认的四种角色的权限如下:

角色

智能预警-查看

新建

管理

管理员
  •  
  •  
  •  
分析师
  •  
  •  

开发人员
  •  
  •  

普通用户
  •