數據歸檔
數據歸檔
數據歸檔,也叫冷數據轉存,是指把一些過舊的,連接次數很低的數據遷移歸檔(轉存)到廉價的儲存系統裡,如 Amazon S3。
神策分析在 1.14 版本開始提供數據歸檔功能,為客戶減少使用成本。
什麼時候需要數據歸檔
當滿足如下條件時,可進行數據歸檔:
- 當用戶使用了較長時間的神策服務,叢集中儲存的數據越來越多,需要定期擴大叢集的儲存大小
- 當用戶使用了較長時間的神策服務,對於過舊的數據,連接次數較低
數據歸檔預期效果
進行數據歸檔之後,會有如下的預期效果:
- 大量舊數據會儲存在更低廉的儲存系統,降低使用成本。
- 轉存之後不影響舊數據的查詢,但查詢速度會比儲存在原叢集中會慢一些。
- 已進行數據歸檔的日期不可再進行匯入。
前期了解
目前,數據歸檔提供三種不同儲存協定:
協定 | 說明 | 使用場景 |
---|---|---|
hdfs:// | hadoop 叢集檔案系統 | 若有廉價的 hdfs 儲存環境,可使用此協定進行數據歸檔 |
s3a:// | Amazon S3 雲儲存 | 若透過直接建立 Amazon S3 bucket 的形式建立歸檔檔案伺服器 |
file:// | 公有雲全託管式 POSIX 分佈式檔案系統,如 JuiceFS | 可以基於任意公有雲(包含 AWS) 建立歸檔檔案服務 |
參考文件:
開啟功能
開啟數據歸檔功能,請聯繫神策技術支援,神策技術團隊會給出最合理的歸檔方案,並開啟歸檔服務。
如何刪除已歸檔數據
如需要將已歸檔的數據清除,不能在 nas 盤直接刪除,需要使用 數據清理工具。
刪除指令不能指定事件名,否則刪除數據會報錯。歷史歸檔數據刪除後,已刪除的數據不可再查詢,且神策分析中上線至今對應的開始的日期也會自動調整。