"数据接入"的搜索结果
数据接入
数据接入模块是神策系统中数据治理体系的一个模块。它主要提供数据入库设置、实时上报查询等数据接入相关管理功能。 比如在入库校验规则设置中,支持设置 IP 或域名黑名单,从而过滤无效的数据。通过实时导入数据查询,可以查看实时上报的数据,校验上报数据是否与预期一致。 image2021-1-8_16
数据接入引导
数据接入引导 数据接入引导展示了各端埋点文档的入口,可以根据业务需求,查看对应端的接入文档。 上报数据给神策时,可点击「复制」进行获取当前项目的数据接收地址,进行数据接收。当需要使用 可视化全埋点 https://manual.sensorsdata.cn/sa/latest/%E5%8F%AF
数据接入 API
本文档所描述的内容属于神策分析的高级使用功能,涉及较多技术细节,适用于对相关功能有经验的用户参考。如果对文档内容有疑惑,请咨询神策值班同学获取一对一的协助。 神策分析 数据采集 一般使用各语言的 SDK 或我们提供的批量或流式数据导入工具来完成。 在一些特殊情况下,如果用户希望实现自己的接入工具
使用 HTTPS 的数据接入
神策分析致力于帮助客户搭建开放的数据平台,便于客户更深入的利用数据。本节文档涉及较多技术细节,适用于对相关功能有经验的用户参考。如果对文档内容有疑惑,请咨询神策值班同学获取一对一的协助。 什么时候需要使用 HTTPS 的数据接入 默认情况下,数据接入 API 使用的是 HTTP 协议 若有以下需
数据导入
://manual.sensorsdata.cn/sa/latest/tech_import_hdfs-1573804.html 运行在部署神策系统的服务器上,只能用于集群版。 适用于集群版的海量数据导入,符合神策 JSON 格式的日志文件,一行一个 JSON。 导入速度最快,数据直接进入 HDFS
历史数据导入导出
/event_json ,这样导出的数据可以直接使用导入工具导入到另一项目。另外需要注意的是,SQL 在执行过程中,默认超过 10 分钟之后会被系统强制杀死, 如果希望增大超时时间可以在 SQL 语句之后添加 MAX_QUERY_EXECUTION_TIME 参数控制(时间单位为秒, 建议最大超时时长
数据导入常见问题
)实现上:神策底层存储数据的 HDFS 文件不支持追加写入,只能一次性写入,再追加数据需要添加新文件,如果不限制接收数据的有效期,会导致底层存储经常添加新文件用来存放延迟上报的数据,文件越多查询性能越差。 综上所述,设置数据的有效时间范围更合理。 已存在与需新创建属性的属性名仅大小写不同的属性
如何将导出的错误数据再导入?
本功能支持 SDG 0.11.1 + 版本及以上,并且需要开启数据质量。 导入仅支持使用 formatImporter 导入工具来导入。参考 Formatimporter https://manual.sensorsdata.cn/sa/latest/formatimporter
数据校验
测试项目与正式项目 默认情况下,神策分析默认均有两个项目,即测试项目与正式项目。这两个项目命名和接收地址不同,配置上无其它区别,项目之间数据隔离。在测试的情况下,建议将数据传入测试项目,等测试完毕正式发版时,再将数据传入正式项目(修改 SDK 初始化时数据接收地址 server_url 的
配置 Oracle 数据源
-21_16-54-37.png 第二步 在 Oracle 数据源管理列表中,选择「添加连接」 image2021-6-21_16-55-20.png 第三步 输入 Oracle 连接信息,点击「测试连接」或直接「保存」 image2021-6-21_16-56-4.png 配置参数如下: 配置参数