只有安装了 SDF 才能使用该工具，没有安装 SDF 请使用 sa_clean 工具进行数据清理，参考文档：sa_clean 数据清理工具使用说明
如果不确认您的环境是否安装了 SDF，请咨询您的数据咨询顾问获取一对一的协助。
概述
数据清理工具既可用于清理神策分析中导入的行为事件数据，也可用于对导入的行为事件数据去重。
该工具 不提供 的功能如下：
- 删除某次批量导入的数据。
- 删除某个时间段导入的数据。
- 将某个事件定义删除。但是元数据管理中可以对事件进行隐藏，管理员可以操作。
数据清理为 不可逆操作，频繁或大量的清理数据将导致碎片过多可能会 影响导入进度，请谨慎操作。
除了 HdfsImporter 导入工具之外，其他导入数据的方式，导入的数据都是会先经过 Kudu，达到一定条件之后，事件数据才会转换到 Hdfs 中存储。
使用方法
请先 ssh 到部署了神策服务的任意一台机器，在 sa_cluster 账户下使用数据清理工具。从 root 切换到 sa_cluster 账户：
- 请注意 su 与 sa_cluster 中间的减号。
事件删除
- 该方法可以清理一个项目指定时间段内所有事件或者指定某些事件名称的事件数据的数据。
- 该时间段为事件行为的时间，非导入数据的时间段。
- 该方法会保留事件、事件属性的定义。
- 单机版：不会释放磁盘。
- 集群版：不会立即释放磁盘，每天凌晨会例行清理。注意 ： 集群版事件删除一般需要消耗大量时间和资源，尽量不要指定过大的时间范围。
提交一个事件删除任务
执行命令
sdfadmin event_delete
--method/-m execute <操作类型> \
--project/-p default <项目名> \
--begin/-b 2020-12-01 <删除数据的起始日期（包含这一天）> \
--end/-e 2020-12-01 <删除数据的结束日期（包含这一天）> \
[--priority] LOW <Job的优先级> \
[--events] 'HomePageView,FistPay' <删除的事件名> \
[--hours] 3,13,21 <删除的小时数或范围> \
[--libs] python,Android <删除的事件来源> \
[--hdfs_import_names] HdfsImporter-785,HdfsImporter-786 <删除的HDFSInporter导入批次> \
[--reserved_events] FollowClick,SpecificRoomView <保留的事件名> \
CODE
参数列表
| 参数名 | 必须 | 说明 | 格式 | 样式 | 备注 |
|---|
| --method | o | 操作类型 | execute / show / history | execute |
|
| --begin | o | 删除数据的起始日期（包含这一天） | yyyy-MM-dd | 2020-06-17 | 此时间是事件时间 |
| --end | o | 删除数据的结束日期（包含这一天） | yyyy-MM-dd | 2020-06-17 | 此时间是事件时间 |
| --project | o | 操作对应的项目 | 项目名 | default |
|
| --priority |
| Job 优先级 | VERY_LOW / LOW / NORMAL | LOW | 默认 VERY_LOW，若想增加执行优先级，可指定为 LOW / NORMAL |
| --events |
| 指定删除数据的 event，可同时指定多个事件，使用逗号分隔 | 事件名称 | 'gameListView,newHobby,search' | 由于$符号的转义问题，要删除的事件需要用单引号引起来，如 'gameListView,newHobby,search' |
| --hours |
| 指定删除数据所属的小时数，使用逗号分隔 | 1,2,5,23 | 15,16,17 |
|
| --libs |
| 删除的事件来源，多个来源之间使用逗号分隔 | LIBS | python,java | 不能指定BatchImpoter或者HDFSImporter，若要删除某一批HDFSImporter导入的数据，可使用下面的参数，目前不支持删除某一批BatchImporter导入的数据 |
| --hdfs_import_names |
| 删除的 hdfs_importer 导入批次，对应 session_id |
| HdfsImporter-785,HdfsImporter-786 |
|
| --reserved_events |
| 指定保留的事件名 | 事件名称 | FollowClick,SpecificRoomView | 由于$符号的转义问题，要保留的事件需要用单引号引起来，如 'gameListView,newHobby,search' |
注意：–events 不可以和 --reserved_events 参数同时使用
使用示例
- 删除项目 httest 2020 年 11 月 14 号的数据
sdfadmin event_delete -m execute -p httest -b 2020-11-04 -e 2020-11-04
CODE
- 删除项目 httest 2020 年 11 月 14 号用 python SDK 和 java SDK 导入的数据
sdfadmin event_delete -m execute -p httest -b 2020-11-04 -e 2020-11-04 --libs 'python,java'
CODE
- 删除项目 httest 2020 年 11 月 1 号事件名为 gameListView,newHobby,search 的数据
sdfadmin event_delete -m execute -p httest -b 2020-11-01 -e 2020-11-01 --events 'gameListView,newHobby,search'
CODE
- 删除项目 httest 2020 年 11 月 1 号小时数为 1，5，7 的数据
sdfadmin event_delete -m execute -p httest -b 2020-11-01 -e 2020-11-01 --hours 1,5,7
CODE
查看事件删除 job 信息
执行命令
sdfadmin event_delete
--method/-m show <操作类型> \
--job_id 74562 <execute提交job后返回的job ID> \
CODE
参数列表
| 参数名 | 必须 | 说明 | 格式 | 样式 | 备注 |
|---|
| --method | o | 操作类型 | execute / show / history | execute |
|
| --job_id | o | execute 提交 job 后返回的job ID |
| 74562 | 该 job ID 对应 sdf_data_loader_job 表中的 ID |
查看事件删除 job 历史
执行命令
sdfadmin event_delete
--method/-m history <操作类型> \
--project/-p default <项目名> \
--begin/-b 2020-12-01 <要查看的最早的 Job 的创建时间（包含这一天）> \
--end/-e 2020-12-01 <要查看的最晚的 Job 的创建时间（包含这一天）>
CODE
参数列表
| 参数名 | 必须 | 说明 | 格式 | 样式 | 备注 |
|---|
| --method | o | 操作类型 |
|
|
|
| --project | o | 项目名称 |
|
|
|
| --begin | o | 最早的 job 创建时间 | yyyy-MM-dd |
|
|
| --end | o | 最晚的 job 创建时间 | yyyy-MM-dd |
|
|
事件去重
- 该方法会去重重复导入的数据，目前仅集群私有环境支持此方法。
提交一个事件去重任务
执行命令
sdfadmin event_distinct
--method/-m execute <操作类型> \
--project/-p default <项目名> \
--begin/-b 2020-12-01 <去重数据的起始日期（包含这一天）> \
--end/-e 2020-12-01 <去重数据的结束日期（包含这一天）> \
[--priority] LOW <Job的优先级> \
[--events] 'HomePageView,FistPay' <去重的事件名> \
[--skip_properties] property1, property2 <去重时需要忽略的属性>
CODE
参数列表
| 参数名 | 必须 | 说明 | 格式 | 样式 | 备注 |
|---|
| --method | o | 操作类型 | execute / show / history | execute |
|
| --begin | o | 去重数据的起始日期（包含这一天） | yyyy-MM-dd | 2020-06-17 | 此时间是事件时间 |
| --end | o | 去重数据的结束日期（包含这一天） | yyyy-MM-dd | 2020-06-17 | 此时间是事件时间 |
| --project | o | 操作对应的项目名称 | 项目名 | default |
|
| --priority |
| Job 优先级 | VERY_LOW/LOW/NORMAL | LOW | 默认 VERY_LOW，若想增加执行优先级，可指定为 LOW / NORMAL |
| --events |
| 指定要去重的 event，多个事件使用逗号分隔 | 事件名称 | gameListView,newHobby,search |
|
--skip_properties |
| 去重时需要忽略的属性，多个属性之间使用逗号分隔 | 属性名 | property1, property2 | _offset, $kafka_offset,$receive_time这三个属性默认忽略，如果有其他需要忽略的属性，需要用该参数进行指定，如忽略 $lib 属性进行去重：–skip_properties '$lib' 若是去重HDFSImporter导入的数据，需要额外跳过属性 $hdfs_import_batch_name |
使用示例
- 对项目 httest 2020 年 11 月 20 号的数据进行去重
sdfadmin event_distinct -m execute -p httest -b 2020-11-20 -e 2020-11-20
CODE
- 对项目 httest 2020 年 11 月 20 号的事件 HomePageView,FistPay 进行去重
sdfadmin event_distinct -m execute -p httest -b 2020-11-20 -e 2020-11-20 --events 'HomePageView,FistPay'
CODE
- 对项目 httest 2020 年 11 月 20 号的事件忽略 $lib 属性进行去重
sdfadmin event_distinct -m execute -p httest -b 2020-11-20 -e 2020-11-20 --skip_properties '$lib'
CODE
查看事件去重 job 信息
执行命令
sdfadmin event_distinct
--method/-m show <操作类型> \
--job_id 74562 <execute提交job后返回的job ID>
CODE
参数列表
| 参数 | 必须 | 说明 | 格式 | 样式 | 备注 |
|---|
| --method | o | 操作类型 | execute / show / history | execute |
|
| --job_id | o | execute 提交 job 后返回的job ID |
| 74562 | 该 job ID 对应 sdf_data_loader_job 表中的 ID |
查看事件去重 job 历史
执行命令
sdfadmin event_distinct
--method/-m history <操作类型> \
--project/-p default <项目名> \
--begin/-b 2020-12-01 <Job 的创建时间（包含这一天）> \
--end/-e 2020-12-01 <Job 的创建时间（包含这一天）> \
CODE
参数列表
| 参数 | 必须 | 说明 | 格式 | 样式 | 备注 |
|---|
| --method | o | 操作类型 |
|
|
|
| --project | o | 项目名称 |
|
|
|
| --begin | o | 最早的 job 创建时间 | yyyy-MM-dd |
|
|
| --end | o | 最晚的 job 创建时间 | yyyy-MM-dd |
|
|
