神策分析帮助中心 技术指南 数据导入 LogAgent Current: 如何在神策分析进行 LogAgent 配置及监控 如何在神策分析进行 LogAgent 配置及监控 概述LogAgent 是神策官方提供的导入工具,LogAgent 一般用于将 后端数据实时 导入到神策分析,一般运行在生产日志的服务器上。您可使用 服务端 SDK 提供的 ConcurrentLoggingConsumer 将日志输出到本地,再通过 LogAgent 进行数据导入。在阅读本文档、使用产品功能前,建议您先阅读技术指南 LogAgent 了解 LogAgent 的使用场景与方法。版本要求:SDG:v0.10.6.1+(且需要开启干路化)机器要求:集群/单机(云版因技术实现问题,暂时不支持)功能简介:参数配置:根据界面提示和配置引导,您可以自助配置 LogAgent 参数,预览后下载安装包用于部署,配置过程更加友好、便捷。状态监控:LogAgent 启动后,您可以在产品界面上查看运行状态、数据导入进度等信息,及时了解当前状态、直观查看历史情况。兼容说明:客户环境成功升级至相应版本后,无需迁移或替换已有 LogAgent,即可兼容历史数据,界面上将展示客户环境中已有的全部 LogAgent(不区分项目);每个 LogAgent 的历史状态数据,神策系统默认展示 1 个月;如您无法正常查看数据,或希望变更历史状态数据的保存周期,请联系神策技术支持获取帮助。配置步骤第一步:进入导入工具 LogAgent 管理界面第二步:新建 LogAgent 导入配置(已部署完 LogAgent 的用户,可以直接跳到第五步查看 LogAgent 监控)填写指南:内容填写指南LogAgent ID自动生成一个不重复的 ID,可按需修改读取路径 (path)这里指您服务器日志的读取路径,填写绝对路径或相对路径(相对于 LogAgent 安装目录)均可,如:/home/logs源文件命名规则 (pattern)在读取路径中待读取的源文件的命名规则,一般是使用 服务端 SDK 提供的 ConcurrentLoggingConsumer 输出的日志,格式为 'xxx.日期' 的格式。在填写时,可填写如:service_log.*,用 * 来区分不同的日期。LogAgent 读取时也会按照字典序进行读取,比如读取完 service_log.20200101,再读取 service_log.20200102PID 文件路径 (pid_file)PID 是记录进度的文件,指定一个文件生成后所在的路径(无特殊要求,路径有写权限即可),如:./LogAgent .pid是否外网 HTTPS 导入一般使用内网。若使用外网 HTTPS,则直接填写 HTTPS 数据接收地址,并把数据接收地址中的 sa 换为 log_agent 。例如:https://abbxyz.debugbox.sensorsdata.cn/log_agent?project=production数据接收地址(host)当前环境的神策系统 host,请按照您实际服务器 host 填写。集群版有多个,LogAgent 启动时会选定其中一台发送数据,以防止数据重复发送例:192.168.50.10;192.168.50.11;192.168.50.12数据接收端口 (port)一般是 8106数据导入 Token默认不开启, 无需设置;如您已启用 Token,则需设置项目名称数据导入的项目名称,选择后数据将上传至指定项目。希望数据导入哪个项目,填写哪个项目名即可。一般 测试项目是 default,正式项目是 production,具体可根据实际需要导入的项目进行选择。高级配置time_free历史数据导入不限制数据时间,time_free 用法可参考 数据格式已读日志处理默认不开启,开启后可定时删除/压缩客户生产日志处理类型提供删除/压缩两种已读日志处理类型建议选择压缩。谨慎设置日志定期删除,如果因为配置参数有误导致日志被清理,需要您自负责任。处理规则可配置天数,按照配置天数删除/压缩 满足 文件最近一次修改时间已超过 x 天的日志,默认 30 天处理频率可配置定时处理的频率,支持简单配置 和 cron 表达式配置两种配置方式,最终都会解析为 cron 表达式进行处理速率限制一般无需修改。速率限制,每秒最多处理的数据条数,如:400实时写入的文件名称一般无需修改。优先级高于 pattern,滚动日志场景下可指定不带时间戳的文件,如:service_log发送模式一般无需修改,支持 4 种模式,默认为 BatchImporter 4 种导入模式说明BatchSender,批量发送,默认的发送模式DefaultSender,按条发送DebugSender,调试模式,不保证性能ConsoleSender,不发送仅输出到 LogAgent Console,可用于调试只校验不导入该参数只在 DebugSender 模式下生效(当切换至 DebugSender 时)如选是,则仅做数据校验不导入;如选否,则校验正确的数据会导入数据异常时中止该参数只在 DebugSender 模式下生效(当切换至 DebugSender 时)如选是,当校验发现数据异常时将退出 LogAgent ;如选否,则不退出第三步:下载配置文件获得下载配置文件 logagent .conf 和 help me第四步:部署 LogAgent 根据 help me1.前往神策官网下载 LogAgent 安装包:地址链接:https://manual.sensorsdata.cn/sa/latest/tech_import_logagent-41844832.html 2.解压 LogAgent 安装包3.打开 LogAgent 目录,将本文件中的 logagent.conf 替换 LogAgent 中的同名称文件 4.按照官网教程进行 LogAgent 部署和运行进行 LogAgent 在日志服务器上的部署第五步:监控 LogAgent (可监控所有项目的 LogAgent 运行情况,进行集中监控管理) 重要提示 监测非实时,系统每三分钟探活一次! 等待 LogAgent 数据上报,可在 LogAgent 列表查看所有 LogAgent 运行状态、读取进度、历史记录等。对于单个 LogAgent,当您想了解其过往的运行状态时,可以在「LogAgent 列表」页面,找到或搜索想查看的 LogAgent ID,点击右侧操作栏的「查看历史状态」按钮,进入其详情页面。字段展示内容LogAgent IDLogAgent 实例的 ID 标识LogAgent 总数客户当前环境中所有上报过状态的 LogAgent 总数当前读取文件名LogAgent 正在读取的文件名称待读取数据总量LogAgent 读取文件目录下的待读取的总数据量 / 字节数数据发送速率每秒处理的数据条数文件已读取数据量LogAgent 已经读取的数据量 / 字节数文件待读取数据量LogAgent 正在读取的文件的待读取数据量 / 字节数最后更新时间LogAgent 当前记录的更新时间最近启动时间LogAgent 最近一次启动时间源服务器 IP | 主机名LogAgent 所在的源数据服务器的 IP 地址及主机名源服务器 MAC 地址LogAgent 所在的源数据服务器的 MAC 地址运行中 LogAgent 总数客户当前环境中,正在运行的 LogAgent 总数运行状态LogAgent 的运行状态,默认每三分钟探活一次。状态包括待上报:新建了 LogAgent 配置,等待 LogAgent 部署成功并上报数据运行中:本次探活监测到 LogAgent 正常运行异常中止:本次探活未能获取到 LogAgent 进度已关闭:本次探活监测到 LogAgent 主动关闭超时关闭:连续五次(默认)探活未能获取到 LogAgent 进度 注:本文档内容为神策产品使用和技术细节说明文档,不包含适销类条款;具体企业采购产品和技术服务内容,以商业采购合同为准。