Schema 配置

概述

Schema 配置 用于定义来源数据的字段结构，帮助半结构化数据稳定同步到神策系统，同时减少表结构变更后的维护成本。

当前支持的来源连接类型：

1. HDFS
2. FTP
3. Kafka

当前支持的数据格式：

1. CSV
2. TXT
3. JSON
4. 神策标准 JSON
5. ORC
6. Parquet

 

Schema 创建说明

1. 进入 Schema 配置

支持两种入口：

1. 全局入口：在 数据源管理页面 或 同步任务列表页，点击 Schema 配置
2. 同步任务内入口：创建同步任务时，如果没有可用 Schema，可直接点击 创建 Schema

2. 创建 Schema

创建流程：

进入 Schema 配置 -> 点击创建 -> 配置基本信息 -> 配置表结构 -> 预览并保存

需要填写的信息：

1. 来源连接 支持选择通过半结构化数据源创建的数据连接，本期支持 HDFS、FTP、Kafka
2. 来源数据
3. Schema 名称
4. 数据格式

3. 配置基本信息

不同格式支持的基本信息配置项如下：

1. CSV、TXT 支持配置 字段分隔符、跳过首行
2. JSON、神策标准 JSON、ORC、Parquet 无需额外配置

4. 配置表结构

支持配置以下内容：

1. 来源数据表文件预览 可查看来源文件数据，确认数据是否正确
2. 字段信息 当前支持对 TXT、CSV、JSON 格式进行字段配置

配置完成后，可点击预览，查看 Schema 字段配置效果。

确认无误后，点击保存，完成创建。

 

Schema 配置管理说明

已创建的 Schema 支持以下操作：

1. 查看 查看 Schema 配置详情
2. 编辑 编辑 Schema 配置及字段信息
3. 删除 删除已创建的 Schema

 

推荐使用流程

可按以下任一方式使用：

1. 创建数据源连接 -> 创建同步任务/选择数据表 -> 配置 Schema -> 保存
2. 创建数据源连接 -> 创建 Schema -> 创建同步任务（选择或编辑 Schema）-> 保存

如果同一结构会被多个任务复用，建议先创建 Schema，再创建同步任务。