数据归档


数据归档,也叫冷数据转储,是指把一些过老的,访问次数很低的数据迁移归档(转储)到廉价的存储系统里,如 Amazon S3。

神策分析在 1.14 版本开始提供数据归档功能,为客户减少使用成本。

什么时候需要数据归档

当满足如下条件时,可进行数据归档:

  1. 当用户使用了较长时间的神策服务,集群中存储的数据越来越多,需要定期扩大集群的存储大小
  2. 当用户使用了较长时间的神策服务,对于过老的数据,访问次数较低

数据归档预期效果

进行数据归档之后,会有如下的预期效果:

  1. 大量旧数据会存储在更低廉的存储系统,降低使用成本。
  2. 转储之后不影响旧数据的查询,但查询速度会比存储在原集群中会慢一些。
  3. 已进行数据归档的日期不可再进行导入。

前期了解

目前,数据归档提供三种不同存储协议:

协议说明使用场景
hdfs://hadoop 集群文件系统若有廉价的 hdfs 存储环境,可使用此协议进行数据归档
s3a://Amazon S3 云存储若通过直接创建 Amazon S3 bucket 的形式建立归档文件服务器
jfs://JuiceFS SDK 访问云存储(单付费)通过 JuiceFS SDK 访问各种已支持的云存储


参考文档:

开启功能

开启数据归档功能,请联系神策技术支持,神策技术团队会给出最合理的归档方案,并开启归档服务。

如何删除已归档数据

如需要将已归档的数据清除,不能在 nas 盘直接删除,需要使用 数据清理工具

删除命令不能指定事件名,否则删除数据会报错。历史归档数据删除后,已删除的数据不可再查询,且神策分析中上线至今对应的开始的日期也会自动调整。