數據歸檔

數據歸檔,也叫冷數據轉存,是指把一些過舊的,連接次數很低的數據遷移歸檔(轉存)到廉價的儲存系統裡,如 Amazon S3。

神策分析在 1.14 版本開始提供數據歸檔功能,為客戶減少使用成本。

什麼時候需要數據歸檔

當滿足如下條件時,可進行數據歸檔:

  1. 當用戶使用了較長時間的神策服務,叢集中儲存的數據越來越多,需要定期擴大叢集的儲存大小
  2. 當用戶使用了較長時間的神策服務,對於過舊的數據,連接次數較低

數據歸檔預期效果

進行數據歸檔之後,會有如下的預期效果:

  1. 大量舊數據會儲存在更低廉的儲存系統,降低使用成本。
  2. 轉存之後不影響舊數據的查詢,但查詢速度會比儲存在原叢集中會慢一些。
  3. 已進行數據歸檔的日期不可再進行匯入。

前期了解

目前,數據歸檔提供三種不同儲存協定:

協定說明使用場景
hdfs://hadoop 叢集檔案系統若有廉價的 hdfs 儲存環境,可使用此協定進行數據歸檔
s3a://Amazon S3 雲儲存若透過直接建立 Amazon S3 bucket 的形式建立歸檔檔案伺服器
file://公有雲全託管式 POSIX 分佈式檔案系統,如 JuiceFS可以基於任意公有雲(包含 AWS) 建立歸檔檔案服務


參考文件:

開啟功能

開啟數據歸檔功能,請聯繫神策技術支援,神策技術團隊會給出最合理的歸檔方案,並開啟歸檔服務。

如何刪除已歸檔數據

如需要將已歸檔的數據清除,不能在 nas 盤直接刪除,需要使用 數據清理工具

刪除指令不能指定事件名,否則刪除數據會報錯。歷史歸檔數據刪除後,已刪除的數據不可再查詢,且神策分析中上線至今對應的開始的日期也會自動調整。