数据同步(原任务管理）

注意事项：任务管理功能中，不支持将数据源表与同步目标表设置为相同的表。

创建任务

创建同步任务

1. 选择 数据接入 > 通用数据接入 > 数据同步。
2. 点击右上角的 创建任务 按钮，并选择 创建同步任务。
3. 填写 任务基本信息。
   1. 填写 任务名称。
   2. 填写 描述。选填。
4. 设置 数据来源和目标。
   1. 设置 数据同步来源
      1. 选择 来源连接。可以选择 外部数据源（如：Hive、MySQL、ClickHouse、FTP 等） 或 神策数据表。
      2. 选择 来源数据。
      3. （3.4.0+ 版本支持）同步 Schema。半结构化数据源（ FTP、HDFS）需要同步 Schema 配置。
         1. Schema 的数据类型为 csv、txt、parquet、orc、json 时，需要手动配置数据同步目标和字段映射。
         2. Schema 的数据类型为 神策标准 json 格式时，不需要配置数据同步目标和字段映射，直接配置调度、预警即可。
   2. 设置 数据同步目标
      1. 选择 目标类型。
         1. 实体
            1. 主表
            2. 事件表
            3. 明细表
            4. 标签
         2. 已有表：支持主键表和非主键表。
         3. 新建表
            1. 填写 表名。
            2. 选择 表类型：支持创建主键表或非主键表。
            3. 选择 主键字段：表类型选择主键表时需要从来源表中选择一个字段作为主键字段。
      2. 选择 目标数据。目标类型选择新建表时，需要填写表名。
5. 配置 字段映射。目标类型选择新建表时，系统会自动添加所有来源表中的字段，可以手动修改目标表的字段名或者删除不需要的字段。
6. 配置 任务执行规则。
   1. 选择 执行频率。
      • 手动执行：在生效周期内，可在 运行记录 模块中，多次手动执行任务。
        1. 抵达生效时间后立即执行一次：设置是否在生效周期开始时自动执行一次任务。
      • 重复执行：支持通过 基础配置 和 表达式配置 方式配置任务的重复执行频率。
   2. 选择 生效周期。
   3. 配置 高级设置。
      1. 设置 失败重试次数。选填。
      2. 设置 重试间隔。选填。
      3. 设置 执行并发数。选填。
   4. 选择 读取逻辑。
   5. 选择 写入逻辑。对于不同类型的同步目标，可选的写入逻辑不同。
      • 写入目标为实体用户表、有主键的数据表时，只支持 更新或插入。
      • 写入目标为实体事件表时，只支持 增量写入。
      • 写入目标为没有主键的数据表时，支持选择 全量覆盖 或 增量写入。当写入目标为分区表时，需要先选择分区字段，再选择写入逻辑。
   6. 设置 报警监控。当数据导入任务遇到运行问题时，支持向运维等人员通过邮件、企业微信、钉钉、飞书进行报警告知的功能，方便及时进行问题排查处理。
      1. 开启/关闭报警：开启报警，需在 平台管理 > 收件箱管理/触达通道管理 完成对应通知渠道的配置，可参考 发件箱管理 和 触达通达管理（内测版）；需在 平台管理 > 报警管理 完成通知方式配置，可参考 报警管理。
      2. 选择 报警条件。支持 任务执行失败 触发报警和 任务超时 触发报警。
      3. 通知方式
7. 点击 数据预览 按钮。
8. 点击 提交 按钮。

• 当你使用神策数据表作为同步来源或目标时，您只能查看和选择拥有 表数据权限 的数据表。
• 报警记录可前往 平台管理 > 报警管理 > 报警历史记录 查看。

cron 表达式

创建任务配置 任务执行规则 时，若 执行频率 选择为 重复执行，支持 cron 表达式 配置方式。

cron 表达式是一种广泛应用于描述时间和日期信息的标准表达式。cron 表达式是一个字符串，由 6 个必要的设置组成，同时支持可选的年份设置。通常 cron 表达式设置由空格分开，主要结构为：秒 分 小时 日期 月份 星期 （年，可选）。

当前最多只支持小时级的执行任务。

每一个字段都使用数字，还可出现如下特殊字符，它们的含义是：

• *：表示匹配任意值。假如在分字段使用 *，即表示每分钟都将执行一次。
• ?：表示无指定字段，只能用在日期和星期两个字段。
• -：表示匹配范围。例如在分钟字段使用 5-20，表示在 5 分到 20 分钟之间，每分钟执行一次。
• /：表示从起始时间开始执行，每隔固定时间执行一次。例如在分钟字段使用 5/20，表示从 5 分开始，每隔 20 分钟执行一次，也即 25 分、45 分各执行一次。
• ,：表示列出枚举值。例如：在分钟字段使用 5,20，表示在 5 分和 20 分各执行一次。

示例：

 

创建 SQL 任务

1. 选择 数据接入 > 通用数据接入 > 数据同步。
2. 点击右上角的 创建任务 按钮，并选择 创建 SQL 任务。
3. 填写 任务基本信息。
   1. 填写 任务名称。
   2. 填写 描述。选填。
4. 设置 读取逻辑。支持同时读取一个数据源下的多个数据库。外部数据源支持 Hive、ClickHouse、MySQL。
   1. 选择数据源并点击表格右侧的 添加 按钮。
   2. 点击 解析 SQL。解析后，数据同步来源 会自动填充。
   3. 点击 运行 SQL 查看运行结果。
5. 设置 数据同步目标
   1. 选择 目标类型。
      1. 实体
      2. 已有表：支持主键表和非主键表。
      3. 新建表
         1. 填写 表名。
         2. 选择 表类型：支持创建主键表或非主键表。
         3. 选择 主键字段：表类型选择主键表时需要从来源表中选择一个字段作为主键字段。
   2. 选择 目标数据。目标类型选择新建表时，需要填写表名。
6. 配置 任务执行规则。
   1. 选择 执行频率。
      • 手动执行：在生效周期内，可在 运行记录 模块中，多次手动执行任务。
        1. 抵达生效时间后立即执行一次：设置是否在生效周期开始时自动执行一次任务。
      • 重复执行：支持通过 基础配置 和 表达式配置 方式配置任务的重复执行频率。
   2. 选择 生效周期。
   3. 配置 高级设置。
      1. 设置 失败重试次数。选填。
      2. 设置 重试间隔。选填。
      3. 设置 执行并发数。选填。
   4. 选择 读取逻辑。
   5. 选择 写入逻辑。对于不同类型的同步目标，可选的写入逻辑不同。
      • 写入目标为实体用户表、有主键的数据表时，只支持 更新或插入。
      • 写入目标为实体事件表时，只支持 增量写入。
      • 写入目标为没有主键的数据表时，支持选择 全量覆盖 或 增量写入。当写入目标为分区表时，需要先选择分区字段，再选择写入逻辑。
7. 设置 报警监控。当数据导入任务遇到运行问题时，支持向运维等人员通过邮件、企业微信、钉钉、飞书进行报警告知的功能，方便及时进行问题排查处理。
   1. 开启/关闭报警：开启报警，需在 平台管理 > 收件箱管理/触达通道管理 完成对应通知渠道的配置，可参考 发件箱管理 和 触达通达管理（内测版）；需在 平台管理 > 报警管理 完成通知方式配置，可参考 报警管理。
   2. 选择 报警条件。支持 任务执行失败 触发报警和 任务超时 触发报警。
   3. 通知方式
8. 点击 提交 按钮。

 

创建流任务

3.0.4 及以上版本支持实时数据同步功能，该功能需单独开启，如需了解详情可咨询神策项目经理。

1. 选择 数据接入 > 通用数据接入 > 数据同步。
2. 点击右上角的 创建任务 按钮，并选择 创建流任务。
3. 填写 任务基本信息。
   1. 填写 任务名称。
   2. 填写 描述。选填。
4. 设置 数据来源和目标。
   1. 设置 数据同步来源
      1. 选择 来源连接。可以选择 外部数据源。外部数据源支持 Kafka 。
      2. 选择 来源数据。
      3. 同步 Schema。半结构化数据源（Kafka）需要同步 Schema 配置。
         1. Schema 的数据类型为 csv、txt、parquet、orc、json 时，需要手动配置数据同步目标和字段映射。
         2. Schema 的数据类型为 神策标准 json 格式时，不需要配置数据同步目标和字段映射，直接配置调度、预警即可。
   2. 设置 数据同步目标。
      1. 目标类型：实体
         1. 主表
         2. 事件表
         3. 明细表。
5. 配置 字段映射。
   
   1. 特殊说明：来源数据表类型为神策标准JSON格式时，不需要配置字段映射。
6. 配置 任务执行规则。
   1. 执行频率：任务默认配置为「长期执行」模式。 
      1. 完成任务创建后，点击页面「运行」按钮即可启动任务；
      2. 启动后任务将持续执行，无需重复触发，除非手动操作暂停或终止。
   2. 默认消费监控：支持选择 从最早位置开始消费、从最新位置开始消费。
   3. 生效周期
      1. 生效规则：任务自首次运行成功后长期生效。
      2. 管理说明：可根据业务需求手动调整生效状态，无系统自动过期逻辑，保障业务链路连续性。
   4. 选择 分区规则。
      1. 设置 按指定字段 hash。按当前添加的 hash 字段顺序，依次对字段执行 hash 计算（最多添加 10 个字段），以此作为数据分区的依据。
      2. 设置 按并行度绑定。根据任务配置的并行度，自动将数据分配至对应并行任务的分区。
   5. 设置 并行度。
   6. 选择 是否跳过异常数据。
   7. 配置 高级设置。
   8. 设置 报警监控。当数据导入任务遇到运行问题时，支持向运维等人员通过邮件、企业微信、钉钉、飞书进行报警告知的功能，方便及时进行问题排查处理。
7. 点击 数据预览 按钮。
8. 点击 提交 按钮。

• 当你使用神策数据表作为同步来源或目标时，您只能查看和选择拥有 表数据权限 的数据表。
• 报警记录可前往 平台管理 > 报警管理 > 报警历史记录 查看。

任务管理

任务列表

依此选择 数据接入 > 通用数据接入 > 数据同步 即可查看任务列表。

在列表页，你可以进行如下操作：

• 运行/暂停任务：可以多次暂停和再次启动任务。
• 查看运行记录：查看运行记录和日志、补数据。
• 查看任务：进入任务详情页面。
• 编辑任务：暂停任务后，所有任务均可以修改任务名称、描述、字段映射、任务执行规则、报警监控。SQL 任务还可以修改 SQL 语句。
• 复制任务：复制任务后，所有任务均可以修改任务名称、描述、字段映射、任务执行规则、报警监控。SQL 任务还可以修改 SQL 语句。
• 删除任务：删除任务后，相关的同步数据表不会一同删除。

运行记录

运行记录详情

在任务列表中，点击任务右侧的 查看运行记录 可查看任务的基本信息和运行记录。

同时支持以下功能：

• 立即执行：点击可立即执行一次。
• 补数据：对于带时间宏参数的任务，可以点击 补数据 按钮选择对应的业务日期进行补数据操作。

运行日志

在操作列点击 运行日志 按钮，可以查看每个任务实例的具体执行情况。

权限

• 若有 查看数据同步 的权限，则可进入 数据接入 > 通用数据接入 > 数据同步 页面查看已有任务和运行记录。
• 若有 管理数据同步 的权限，则可进入 数据接入 > 通用数据接入 > 数据同步 页面进行创建、编辑、删除等一系列管理操作。