系统负载管理是在使用神策分析,神策用户画像功能时产生的、需要占用查询引擎资源的作业,该功能的目的是为管理员提供一个管理所有运行中和运行完成的查询负载的工具。资源管理是基于系统负载管理升级迭代的,其功能一方面是基于系统中的查询明细数据,按照不同维度进行聚合,通过一系列和系统使用情况、资源消耗情况相关的指标按时序、占比进行展示,旨在帮助系统管理员了解系统资源消耗分布,定位异常查询,并可以对不合理查询进行终止、诊断和优化;另一方面通过产品化的数据支撑,系帮助管理员从全局视角了解神策系统的业务资源构成情况以及业务资源的使用情况,为客户降本增效提供数据洞察和动作指引。
一、系统负载管理
1.入口及权限
该页面仅允许管理员角色查看和操作。
入口:
资源运行详情
运行中
该页面展示的是平台所有项目当前正在运行的神策分析和神策用户画像(神策用户画像仅限「单用户全景视图」模块):
- 列表按照“资源占比峰值”降序排列,仅展示资源占比峰值前1000条的负载。(资源占比峰值指的是负载占用最大内存/查询引擎配置总内存。)
- 功能模块包括:概览,分析模型,单用户全景视图。
- 点击「负载信息描述」,侧拉显示完成的负载信息。
- 负载状态包括:已提交/排队中/计算中/客户端取数中(客户端取数中指查询引擎已完成计算,客户端从查询引擎获取数据。)
- 点击表头的「漏斗」图标可以进行筛选,点击「问号」图标查看解释说明。
- 点击「终止运行」:该查询负载被终止。
- 点击「下载资源运行列表」:下载筛选后列表的所有内容。
已完成
该页面展示的是平台所有项目近7天已完成的神策分析和神策用户画像(神策用户画像仅限「单用户全景视图」模块):
- 列表按照“负载结束时间”降序排列。
- 功能模块与「运行中」一致。
- 点击「负载信息描述」,侧拉显示完成的负载信息。
- 负载状态包括:运行成功/运行失败。
- 右上角刷新按钮,点击后手动刷新页面。
- 右上角时间筛选框修改时间段,可以查看指定时间段内完成的负载详情。
- 点击表头的「漏斗」图标可以进行筛选,点击「问号」图标查看解释说明。
- 点击「下载资源运行列表」:下载筛选后列表所有内容。
二、资源管理
1.入口&权限
入口:
点击导航右上角的资源管理按钮进入产品界面。
权限:
SBP1.1:该功能仅允许admin账号以及管理员角色账号查看,admin账号能够看到全部项目的查询数据,管理员角色账号只能看到有权限项目的查询数据。
SBP1.4:受权限点「查看资源管理」控制,预制角色:管理员默认可以查看资源管理;其他角色默认不可以查看资源管理。
2.查询任务
2.1.查询任务统计
该部分是基于已完成的查询任务(包括查询成功和查询失败的任务)的详情信息聚合成的一些列可观测性指标。
2.1.1.查询任务概况
该部分基于时间范围、筛选条件、统计维度圈定的查询数据,展示查询次数、查询人数、平均耗时以及失败率,旨在给使用者提供一个资源使用的预览。
- 当查询时间范围选择一天时,提供日环比和周同比,当鼠标悬停在日环比和周同比时,可显示具体对比的日期。
2.1.2.查询任务执行统计
该部分基于时间范围、筛选条件、统计维度圈定的查询数据,展示了任务统计类指标的趋势变化和占比分布。
- 默认的可观测指标为:查询次数,可以选择切换查询人数、平均耗时和失败率,鼠标悬停在指标上可查看指标的解释说明。
- 鼠标悬停在趋势图任意点位或者饼图的某部分,即可显示该时间点对应统计指标的实际值。
- 点击趋势图任意点位或者饼图的某部分,即可展开查询的明细数据,并可以导出该明细数据。
2.1.3.查询任务系统资源消耗统计
该部分基于时间范围、筛选条件、统计维度圈定的查询数据,展示了任务系统资源消耗统计类指标的趋势变化和占比分布。
- 默认的可观测指标为:CPU开销,可以选择切换内存消耗量、文件扫描量,鼠标悬停在指标上可查看指标的解释说明。
- 鼠标悬停在趋势图任意点位或者饼图的某部分,即可显示该时间点对应统计指标的实际值。
- 点击趋势图任意点位或者饼图的某部分,即可展开查询的明细数据,并可以导出该明细数据。
2.1.4.查询任务分布统计
该部分基于时间范围、筛选条件圈定的查询数据,展示了查询任务的耗时分布情况。
- 鼠标悬停在柱状图,即可显示该时间点对应统计指标的实际值。
- 点击柱状图,即可展开查询的明细数据,并可以导出该明细数据。
- 耗时分布刻度默认从小于30秒到大于600秒。
2.2.查询任务详情
查询任务详情是记录环境中由系统定时任务发起或用户主动发起的所有查询,包括「进行中」和「已完成」的查询。
- 点击列表表头的「问号」图标,查看列表字段的具体含义。
- 点击「导出明细」:导出列表筛选条件后的所有内容。
- 点击单个查询任务的「查看」:侧拉显示诊断报告的详细信息。
- 点击单个查询任务的「下载」:下载诊断报告。
- 对于正在运行的任务,点击单个查询任务的「终止运行」按钮:终止正在运行的作业,此功能点SBP1.1仅对admin账号开放,SBP1.4受「终止运行」权限点控制,可以配置允许对所有人发起的查询进行终止,也可以配置仅允许对自己发起的查询进行终止。
3.业务资源
业务资源部分分别统计了 事件表、用户表、用户标签、用户分群、书签 和概览的资源使用情况。
3.1.概况区
该部分展示数据指标,用于帮助使用者判断每个项目下的每个业务资源是否需要进行资源优化和清理。
- 支持查看每个项目下业务资源的具体情况。
3.2.明细数据
该部分展示每个业务资源的详细数据,便于使用者进一步判断具体需要优化和清理的业务资源。
- 点击「导出明细」:导出列表筛选条件后的所有内容。
- 鼠标悬停在「问号」图标查看指标含义。
- 点击单个资源的「查看资源名片」:查看资源具体的查询或被引用的明细数据。
- 点击单个资源的「进入资源页」:进入具体的资源的详情页(仅用户分群、用户标签、概览类型的资源支持)。
3.3.资源名片
该部分展示单个业务资源的查询或者被引用的明细数据。
- 基本信息:展示单个业务资源的明细数据。
- 查询次数明细/被引用次数明细:展示过去30天的最近100条查询数据。