概述

LogAgent   是神策官方提供的导入工具,LogAgent  一般用于将 后端数据实时 导入到神策分析,一般运行在生产日志的服务器上。您可使用 服务端 SDK 提供的 ConcurrentLoggingConsumer 将日志输出到本地,再通过 LogAgent 进行数据导入。

在阅读本文档、使用产品功能前,建议您先阅读技术指南 LogAgent 了解 LogAgent 的使用场景与方法。

版本要求:

  • SDG:v0.10.6.1+(且需要开启干路化

机器要求:

  • 集群/单机(云版因技术实现问题,暂时不支持)

功能简介:

  • 参数配置:根据界面提示和配置引导,您可以自助配置 LogAgent 参数,预览后下载安装包用于部署,配置过程更加友好、便捷。
  • 状态监控:LogAgent 启动后,您可以在产品界面上查看运行状态、数据导入进度等信息,及时了解当前状态、直观查看历史情况。

兼容说明:

  • 客户环境成功升级至相应版本后,无需迁移或替换已有 LogAgent,即可兼容历史数据,界面上将展示客户环境中已有的全部 LogAgent(不区分项目);
  • 每个 LogAgent 的历史状态数据,神策系统默认展示 1 个月;
  • 如您无法正常查看数据,或希望变更历史状态数据的保存周期,请联系神策技术支持获取帮助。

配置步骤

第一步:进入导入工具 LogAgent  管理界面

第二步:新建 LogAgent   导入配置(已部署完 LogAgent 的用户,可以直接跳到第五步查看 LogAgent  监控

填写指南:

内容填写指南
LogAgent  ID

自动生成一个不重复的 ID,可按需修改

读取路径 (path)

这里指您服务器日志的读取路径,填写绝对路径或相对路径(相对于 LogAgent  安装目录)均可,如:/home/logs

源文件命名规则 (pattern)

在读取路径中待读取的源文件的命名规则,一般是使用 服务端 SDK 提供的 ConcurrentLoggingConsumer 输出的日志,格式为 'xxx.日期' 的格式。在填写时,可填写如:service_log.*,用 * 来区分不同的日期。

LogAgent 读取时也会按照字典序进行读取,比如读取完 service_log.20200101,再读取 service_log.20200102

PID 文件路径 (pid_file)

PID 是记录进度的文件,指定一个文件生成后所在的路径(无特殊要求,路径有写权限即可),如:./LogAgent .pid
是否外网 HTTPS 导入

一般使用内网。若使用外网 HTTPS,则直接填写 HTTPS 数据接收地址,并把数据接收地址中的 sa 换为 log_agent 。例如:

https://abbxyz.debugbox.sensorsdata.cn/log_agent?project=production

数据接收地址(host)

当前环境的神策系统 host,请按照您实际服务器 host 填写。集群版有多个,LogAgent  启动时会选定其中一台发送数据,以防止数据重复发送

例:192.168.50.10;192.168.50.11;192.168.50.12

数据接收端口 (port)一般是 8106
数据导入 Token

默认不开启, 无需设置;如您已启用 Token,则需设置

项目名称

数据导入的项目名称,选择后数据将上传至指定项目。希望数据导入哪个项目,填写哪个项目名即可。一般 测试项目是 default,正式项目是 production,具体可根据实际需要导入的项目进行选择。

高级配置
time_free历史数据导入不限制数据时间,time_free 用法可参考 数据格式
已读日志处理

默认不开启,开启后可定时删除/压缩客户生产日志

建议选择压缩。谨慎设置日志定期删除,如果因为配置参数有误导致日志被清理,需要您自负责任。

处理类型

提供删除/压缩两种已读日志处理类型
处理规则可配置天数,按照配置天数删除/压缩 满足 文件最近一次修改时间已超过 x 天的日志,默认 30 天
处理频率可配置定时处理的频率,支持简单配置 和 cron 表达式配置两种配置方式,最终都会解析为 cron 表达式进行处理
速率限制一般无需修改。速率限制,每秒最多处理的数据条数,如:400
实时写入的文件名称一般无需修改。优先级高于 pattern,滚动日志场景下可指定不带时间戳的文件,如:service_log
发送模式

一般无需修改,支持 4 种模式,默认为 BatchImporter

(信息) 4 种导入模式说明

  • BatchSender,批量发送,默认的发送模式
  • DefaultSender,按条发送
  • DebugSender,调试模式,不保证性能
  • ConsoleSender,不发送仅输出到 LogAgent  Console,可用于调试

只校验不导入

该参数只在 DebugSender 模式下生效

(当切换至 DebugSender 时)

如选是,则仅做数据校验不导入;如选否,则校验正确的数据会导入

数据异常时中止

该参数只在 DebugSender 模式下生效

(当切换至 DebugSender 时)

如选是,当校验发现数据异常时将退出 LogAgent ;如选否,则不退出


第三步:下载配置文件

获得下载配置文件 logagent .conf 和 help me


第四步:部署 LogAgent 

根据 

1.前往神策官网下载 LogAgent 安装包:地址链接:https://manual.sensorsdata.cn/sa/latest/tech_import_logagent-41844832.html 
2.解压 LogAgent 安装包
3.打开 LogAgent 目录,将本文件中的 logagent.conf 替换 LogAgent 中的同名称文件 
4.按照官网教程进行 LogAgent 部署和运行

进行 LogAgent  在日志服务器上的部署


第五步:监控 LogAgent (可监控所有项目的 LogAgent 运行情况,进行集中监控管理)


重要提示

监测非实时,系统每三分钟探活一次!

等待 LogAgent  数据上报,可在 LogAgent  列表查看所有 LogAgent  运行状态、读取进度、历史记录等。

对于单个 LogAgent,当您想了解其过往的运行状态时,可以在「LogAgent 列表」页面,找到或搜索想查看的 LogAgent ID,点击右侧操作栏的「查看历史状态」按钮,进入其详情页面。


字段展示内容
LogAgent  IDLogAgent  实例的 ID 标识
LogAgent  总数客户当前环境中所有上报过状态的 LogAgent  总数
当前读取文件名LogAgent  正在读取的文件名称
待读取数据总量LogAgent  读取文件目录下的待读取的总数据量 / 字节数
数据发送速率

每秒处理的数据条数

文件已读取数据量LogAgent  已经读取的数据量 / 字节数
文件待读取数据量LogAgent  正在读取的文件的待读取数据量 / 字节数
最后更新时间LogAgent  当前记录的更新时间
最近启动时间LogAgent  最近一次启动时间
源服务器 IP | 主机名LogAgent  所在的源数据服务器的 IP 地址及主机名
源服务器 MAC 地址LogAgent  所在的源数据服务器的 MAC 地址
运行中 LogAgent  总数客户当前环境中,正在运行的 LogAgent  总数

运行状态

LogAgent  的运行状态,默认每三分钟探活一次。

状态包括

  • 待上报:新建了 LogAgent 配置,等待 LogAgent 部署成功并上报数据
  • 运行中:本次探活监测到 LogAgent 正常运行
  • 异常中止:本次探活未能获取到 LogAgent 进度
  • 已关闭:本次探活监测到 LogAgent 主动关闭
  • 超时关闭:连续五次(默认)探活未能获取到 LogAgent 进度