本文为您介绍的是“数据集同步任务类的 Open API”，您将了解到用户可以通过 API 进行查看、更新数据集同步任务设置，提交数据集同步任务回溯以及终止数据集同步任务实例等操作。
注意：在您使用本文所述的 API 前，还需完成接入 JWT-Token 和申请 Token 的前置操作，请先了解调用方式，详情可阅读调用方式。

2.1 查看数据集同步任务设置

• 权限需求

  资源	权限
  数据集	read

• 接口描述与说明：查看数据集的同步任务设置，包含同步模式，性能参数等等。
  

请求说明

• 请求地址：{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/syncSettings

请求示例

curl --location --request GET '{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/syncSettings' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {{jwtToken}}'

请求参数

返回参数

返回示例

{
    "code": "aeolus/ok",
    "data": {
        "backtrackingConf": {
            "dateRange": {
                "endDate": "2022-12-13",
                "startDate": "2022-12-13"
            },
            "enable": 1
        },
        "doradoPriority": "normal",
        "frequency": "daily",
        "monitorConf": {
            "alarmRules": [
                {
                    "failedAlarmItems": [
                        {
                            "item": "retry_failed"
                        }
                    ],
                    "id": 6***,
                    "name": "auto_aeolus_rule_{{dataSetId}}_16***********_dev",
                    "normalNoticeConf": [
                        {
                            "dutySchedules": [],
                            "noticeChannel": "lark",
                            "users": [
                                "userEmailPrefix"
                            ]
                        }
                    ],
                    "resultAlarmItems": [],
                    "timeoutAlarmItems": []
                }
            ]
        },
        "paramsConfList": [
            {
                "name": "tqs.query.auto.retry.enable",
                "value": "true"
            }
        ],
        "performanceSettings": {
            "chQueryParams": {},
            "clusterName": "cnch_alpha_lq",
            "cnchVwDefault": "vw_default",
            "cnchVwWrite": "vw_write",
            "driverName": "click_house",
            "partitionKey": [
                "p_date"
            ],
            "primaryKeyList": [],
            "sampleKey": null,
            "sampleRate": 1.0,
            "shardKey": null
        },
        "retryInterval": 5,
        "retryNum": 1,
        "scheduleDay": "0",
        "scheduleTime": "00:00",
        "scheduleTimeType": 0,
        "slaDaytime": null,
        "slaStatus": 0,
        "syncType": 1,
        "ttl": 7,
        "upstreamSettings": {
            "dynamicPartitionConfList": [],
            "dynamicPartitionMode": false,
            "partitionConfList": [],
            "uniqueIndexList": []
        },
        "writePartition": 0,
        "yarnName": "root.default_hrtech_da_pm"
    },
    "msg": "成功"
}

2.2 更新数据集同步任务设置

• 权限需求

  资源	权限
  数据集	write

• 接口描述与说明：此接口所更新的内容等价于数据集详情页前端的同步配置信息->同步频率内容的修改。
  本接口为全量更新接口，必须在请求时将所有的配置信息填写。
  

请求说明

• 请求地址：{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/syncSettings

请求示例

curl --location --request PUT '{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/syncSettings' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {{jwtToken}}' \
--data-raw '{
    "dataTableConf": {
        "ttl": 8
    },
    "syncConf": {
        "syncType": 1,
        "scheduleConf": {
            "frequency": "daily",
            "scheduleDay": "0",
            "scheduleTime": "00:00"
        }
    }
}'

请求参数

返回示例

{
    "code": "aeolus/ok",
    "data": "{{dataSetId}}",
    "msg": "成功"
}

2.3 更新数据集同步任务设置-高级设置

• 权限需求

  资源	权限
  数据集	write

• 接口描述与说明：更新数据集同步设置中的高级设置，对应数据集前端的同步配置信息->高级配置。
  本接口为全量更新接口，必须在请求时将所有的配置信息填写。
  

请求说明

请求地址：{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/syncSettings/advanced

请求示例

curl --location --request PUT '{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/syncSettings/advanced' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {{jwtToken}}' \
--data-raw '{
    "yarnName": "root.default_hrtech_da_pm",
    "doradoPriority": "normal",
    "retryNum": 3,
    "retryInterval": 5
}'

请求参数

返回示例

{
    "code": "aeolus/ok",
    "data": null,
    "msg": "成功"
}

2.4 查看数据集同步任务状态信息

• 权限需求

  资源	权限
  数据集	read

• 接口描述与说明：查看数据集的同步任务列表，包含业务日期，同步状态，同步时间等等。
  

请求说明

• 请求地址：

{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/syncJob

请求示例

curl --location --request GET '{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/syncJob?startDate=2022-12-13&endDate=2022-12-15&nodeId' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {{jwtToken}}'

请求参数

返回参数

{
    "code": "aeolus/ok",
    "data": {
        "instanceList": [
            {
                "bizTime": "2022-12-15 00:00:00",
                "bizTimePage": "2022-12-15",
                "diagPageUrl": "https://data.bytedanc*.net/dorado/instance-detail/diagnosis?project=cn_756&id=108301911&schedule=2022-12-15%2000%3A00%3A00&pid=756&status=2&instanceId=1324365220&groupName=cn",
                "instanceDurationTime": null,
                "instanceId": 1324365220,
                "instanceSign": "8332ea1af3a3d960**************",
                "logPageUrl": "https://data.bytedanc*.net/dorado/instance-detail/log?project=cn_7**&id=1********&schedule=2022-12-15%2000%3A00%3A00&pid=7**&instanceId=1324365220&groupName=cn",
                "scheduledStartTime": "2022-12-16 00:00:00",
                "syncEndTime": null,
                "syncStartTime": null,
                "syncStatus": 2,
                "syncStatusDescCode": 3,
                "tableSize": "-",
                "taskId": 9178
            },
            {
                "bizTime": "2022-12-14 00:00:00",
                "bizTimePage": "2022-12-14",
                "diagPageUrl": "https://data.bytedanc*.net/dorado/instance-detail/diagnosis?project=cn_756&id=108******&schedule=2022-12-14%2000%3A00%3A00&pid=756&status=4&instanceId=132*******&groupName=cn",
                "instanceDurationTime": 501.0,
                "instanceId": 1322531180,
                "instanceSign": "b1285**************",
                "logPageUrl": "https://data.bytedanc*.net/dorado/instance-detail/log?project=cn_756&id=108******&schedule=2022-12-14%2000%3A00%3A00&pid=756&instanceId=132*******&groupName=cn",
                "scheduledStartTime": "2022-12-15 00:00:00",
                "syncEndTime": "2022-12-15 00:33:29",
                "syncStartTime": "2022-12-15 00:25:08",
                "syncStatus": 4,
                "syncStatusDescCode": 30,
                "tableSize": "56",
                "taskId": 9***
            },
            {
                "bizTime": "2022-12-13 00:00:00",
                "bizTimePage": "2022-12-13",
                "diagPageUrl": "https://data.bytedanc*.net/dorado/instance-detail/diagnosis?project=cn_756&id=108301911&schedule=2022-12-13%2000%3A00%3A00&pid=7**&status=4&instanceId=132*******&groupName=cn",
                "instanceDurationTime": 1197.0,
                "instanceId": 1322222925,
                "instanceSign": "af3a3d960**************",
                "logPageUrl": "https://data.bytedanc*.net/dorado/instance-detail/log?project=cn_756&id=108*******&schedule=2022-12-13%2000%3A00%3A00&pid=7**&instanceId=132*******&groupName=cn",
                "scheduledStartTime": "2022-12-14 00:00:00",
                "syncEndTime": "2022-12-14 12:38:57",
                "syncStartTime": "2022-12-14 12:19:00",
                "syncStatus": 4,
                "syncStatusDescCode": 30,
                "tableSize": "56",
                "taskId": 9178
            }
        ],
        "total": 3
    },
    "msg": "成功"
}

• 备注

  • 数据集任务实例状态示例值定义。

    syncStatus 值	实例状态
    1	未就绪
    2	等待执行
    3	执行中
    4	运行成功
    5	运行失败
    6	已终止

2.5 提交数据集同步任务回溯

• 权限需求

  资源	权限
  数据集	write

• 接口描述与说明：批量提交同步任务实例，实现数据回溯。
  注意回溯日期时间段可选择范围，应小于等于数据集的数据生命周期(ttl)
  

请求说明

• 请求地址：{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/syncJob

请求示例

curl --location --request POST '{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/syncJob' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {{jwtToken}}' \
--data-raw '{
    "nodeId": "",
    "startDate": "2022-12-07",
    "endDate": "2022-12-11",
    "checkMinMax": true,
    "skipCheck": true,
    "isSpecifyQueue": true,
    "queueName": "root.oryx_aeolus_vip",
    "maxParallelism": 10
}'

请求参数

返回示例

{
    "code": "aeolus/ok",
    "data": "ok",
    "msg": "成功"
}

3.6 终止数据集同步任务实例

• 权限需求

  资源	权限
  数据集	write

• 接口描述与说明：批量终止任务实例，2.60.0 版本可用。
  

请求说明

• 请求地址：{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/stopSyncJob

请求示例

curl --location --request POST '{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/stopSyncJob' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {{jwtToken}}' \
--data-raw '{
    "instanceList": [
        {
            "id": 226*******, 
            "taskTime": "2023-12-25 00:00:00",
            "sign": ""
        },
        {
            "id": 226*******, 
            "taskTime": "2023-12-24 00:00:00"
        }
     ],
    "nodeId": ""
}'

请求参数

返回示例

{
    "code": "aeolus/ok",
    "data": "ok",
    "msg": "成功"
}

3.7 查看数据集同步任务实例详细信息

• 权限需求

• 接口描述与说明：根据数据集 ID 和实例 ID 查看任务实例详细信息，2.64.0 版本可用

请求说明

• 请求地址：{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/instanceInfo

请求示例

curl --location --request POST '{{domain}}/aeolus/api/v4/open/dataset/{{dataSetId}}/instanceInfo' \
--header 'Content-Type: application/json' \
--header 'Authorization: Bearer {{jwtToken}}' \
--data-raw '{"instance_id_list": [94]}'

请求参数

返回参数

返回示例

{
    "code": "aeolus/ok",
    "data": [
        "id": 94,
        "scheduleTaskId": 3,
        "subTaskId": 2,
        "taskId": 1,
        "appExternalId": "application_17***********_****",
        "createTime": "2024-02-23 23:00:00",
        "taskTime": "2024-02-23 20:00:00",
        "startTime": "2024-02-24 00:01:01",
        "endTime": "2024-02-24 00:02:01",
        "scheduleTime": "2024-02-24 00:00:00",
        "status": "SUCCEEDED",
        "triggerType": "BACKFILL"
    ]
    "msg": "成功"
}