神策分析帮助中心 技术指南 数据导入 LogAgent Current: 如何在神策分析进行 LogAgent 配置及监控 如何在神策分析进行 LogAgent 配置及监控 概述LogAgent 是神策官方提供的导入工具，LogAgent 一般用于将 后端数据实时 导入到神策分析，一般运行在生产日志的服务器上。您可使用 服务端 SDK 提供的 ConcurrentLoggingConsumer 将日志输出到本地，再通过 LogAgent 进行数据导入。在阅读本文档、使用产品功能前，建议您先阅读技术指南 LogAgent 了解 LogAgent 的使用场景与方法。版本要求：SDG：v0.10.6.1+（且需要开启干路化）机器要求：集群/单机（云版因技术实现问题，暂时不支持）功能简介：参数配置：根据界面提示和配置引导，您可以自助配置 LogAgent 参数，预览后下载安装包用于部署，配置过程更加友好、便捷。状态监控：LogAgent 启动后，您可以在产品界面上查看运行状态、数据导入进度等信息，及时了解当前状态、直观查看历史情况。兼容说明：客户环境成功升级至相应版本后，无需迁移或替换已有 LogAgent，即可兼容历史数据，界面上将展示客户环境中已有的全部 LogAgent（不区分项目）；每个 LogAgent 的历史状态数据，神策系统默认展示 1 个月；如您无法正常查看数据，或希望变更历史状态数据的保存周期，请联系神策技术支持获取帮助。配置步骤第一步：进入导入工具 LogAgent 管理界面第二步：新建 LogAgent 导入配置（已部署完 LogAgent 的用户，可以直接跳到第五步查看 LogAgent 监控）填写指南：内容填写指南LogAgent ID自动生成一个不重复的 ID，可按需修改读取路径 (path)这里指您服务器日志的读取路径，填写绝对路径或相对路径（相对于 LogAgent 安装目录）均可，如：/home/logs源文件命名规则 (pattern)在读取路径中待读取的源文件的命名规则，一般是使用 服务端 SDK 提供的 ConcurrentLoggingConsumer 输出的日志，格式为 'xxx.日期' 的格式。在填写时，可填写如：service_log.*，用 * 来区分不同的日期。LogAgent 读取时也会按照字典序进行读取，比如读取完 service_log.20200101，再读取 service_log.20200102PID 文件路径 (pid_file)PID 是记录进度的文件，指定一个文件生成后所在的路径（无特殊要求，路径有写权限即可），如：./LogAgent .pid是否外网 HTTPS 导入一般使用内网。若使用外网 HTTPS，则直接填写 HTTPS 数据接收地址，并把数据接收地址中的 sa 换为 log_agent 。例如：https://abbxyz.debugbox.sensorsdata.cn/log_agent?project=production数据接收地址（host）当前环境的神策系统 host，请按照您实际服务器 host 填写。集群版有多个，LogAgent 启动时会选定其中一台发送数据，以防止数据重复发送例：192.168.50.10;192.168.50.11;192.168.50.12数据接收端口 (port)一般是 8106数据导入 Token默认不开启， 无需设置；如您已启用 Token，则需设置项目名称数据导入的项目名称，选择后数据将上传至指定项目。希望数据导入哪个项目，填写哪个项目名即可。一般 测试项目是 default，正式项目是 production，具体可根据实际需要导入的项目进行选择。高级配置time_free历史数据导入不限制数据时间，time_free 用法可参考 数据格式已读日志处理默认不开启，开启后可定时删除/压缩客户生产日志处理类型提供删除/压缩两种已读日志处理类型建议选择压缩。谨慎设置日志定期删除，如果因为配置参数有误导致日志被清理，需要您自负责任。处理规则可配置天数，按照配置天数删除/压缩 满足 文件最近一次修改时间已超过 x 天的日志，默认 30 天处理频率可配置定时处理的频率，支持简单配置 和 cron 表达式配置两种配置方式，最终都会解析为 cron 表达式进行处理速率限制一般无需修改。速率限制，每秒最多处理的数据条数，如：400实时写入的文件名称一般无需修改。优先级高于 pattern，滚动日志场景下可指定不带时间戳的文件，如：service_log发送模式一般无需修改，支持 4 种模式，默认为 BatchImporter 4 种导入模式说明BatchSender，批量发送，默认的发送模式DefaultSender，按条发送DebugSender，调试模式，不保证性能ConsoleSender，不发送仅输出到 LogAgent Console，可用于调试只校验不导入该参数只在 DebugSender 模式下生效（当切换至 DebugSender 时）如选是，则仅做数据校验不导入；如选否，则校验正确的数据会导入数据异常时中止该参数只在 DebugSender 模式下生效（当切换至 DebugSender 时）如选是，当校验发现数据异常时将退出 LogAgent ；如选否，则不退出第三步：下载配置文件获得下载配置文件 logagent .conf 和 help me第四步：部署 LogAgent 根据 help me1.前往神策官网下载 LogAgent 安装包：地址链接：https://manual.sensorsdata.cn/sa/latest/tech_import_logagent-41844832.html 2.解压 LogAgent 安装包3.打开 LogAgent 目录,将本文件中的 logagent.conf 替换 LogAgent 中的同名称文件 4.按照官网教程进行 LogAgent 部署和运行进行 LogAgent 在日志服务器上的部署第五步：监控 LogAgent （可监控所有项目的 LogAgent 运行情况，进行集中监控管理） 重要提示 监测非实时，系统每三分钟探活一次！ 等待 LogAgent 数据上报，可在 LogAgent 列表查看所有 LogAgent 运行状态、读取进度、历史记录等。对于单个 LogAgent，当您想了解其过往的运行状态时，可以在「LogAgent 列表」页面，找到或搜索想查看的 LogAgent ID，点击右侧操作栏的「查看历史状态」按钮，进入其详情页面。字段展示内容LogAgent IDLogAgent 实例的 ID 标识LogAgent 总数客户当前环境中所有上报过状态的 LogAgent 总数当前读取文件名LogAgent 正在读取的文件名称待读取数据总量LogAgent 读取文件目录下的待读取的总数据量 / 字节数数据发送速率每秒处理的数据条数文件已读取数据量LogAgent 已经读取的数据量 / 字节数文件待读取数据量LogAgent 正在读取的文件的待读取数据量 / 字节数最后更新时间LogAgent 当前记录的更新时间最近启动时间LogAgent 最近一次启动时间源服务器 IP | 主机名LogAgent 所在的源数据服务器的 IP 地址及主机名源服务器 MAC 地址LogAgent 所在的源数据服务器的 MAC 地址运行中 LogAgent 总数客户当前环境中，正在运行的 LogAgent 总数运行状态LogAgent 的运行状态，默认每三分钟探活一次。状态包括待上报：新建了 LogAgent 配置，等待 LogAgent 部署成功并上报数据运行中：本次探活监测到 LogAgent 正常运行异常中止：本次探活未能获取到 LogAgent 进度已关闭：本次探活监测到 LogAgent 主动关闭超时关闭：连续五次（默认）探活未能获取到 LogAgent 进度
4 种导入模式说明
