You need to enable JavaScript to run this app.
导航
日志服务
  • 文档首页
    • /日志服务/API 参考/数据加工/DescribeETLTasks
DescribeETLTasks
最近更新时间：2024.09.05 16:13:38首次发布时间：2024.09.05 16:13:38
我的收藏

调用 DescribeETLTasks 接口获取加工任务列表。

请求说明

  • 请求方式：GET
  • 请求地址：https://tls-{Region}.ivolces.com/DescribeETLTasks

请求参数

下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见公共参数。

Query

参数类型是否必选示例值描述
ProjectIdString否f3e901c3-b17f-42fd-aa8c-dc91a6c7****指定日志项目 ID，用于查询指定日志项目下的数据加工任务。
ProjectNameString否myproject指定日志项目名称，用于查询指定日志项目下的数据加工任务。支持模糊查询。
IamProjectNameString否default指定 IAM 项目名称，用于查询指定 IAM 项目下的数据加工任务。
SourceTopicIdString否f3e901c3-b17f-42fd-aa8c-dc91a6c7****指定日志主题 ID，用于查询该日志主题相关的数据加工任务。
SourceTopicNameString否topic指定日志主题名称，用于查询该日志主题相关的数据加工任务。支持模糊匹配。
TaskIdString否f3e901c3-b17f-42fd-aa8c-dc91a6c7****加工任务 ID。
TaskNameString否test-task加工任务名称。
StatusString否WAITING指定加工任务状态，用于查询处于该状态的数据加工任务。
PageNumberInteger否10分页查询时的页码。默认为 1，即从第一页数据开始返回。
PageSizeInteger否20分页大小。默认为 20，最大为 100。

返回参数

下表仅列出本接口特有的返回参数。更多信息请参见返回结构。

参数类型示例值描述
TasksArray of DescribeETLTaskResp/加工任务详细信息。
TotalInteger5加工任务数量。

DescribeETLTaskResp

参数类型示例值描述
NameStringetl-task-name加工任务名称。
EnableBooleantrue加工任务运行状态。
ScriptStringf_set("key","value")加工规则。
TaskIdString4a9bd4bd-53f1-43ff-b88a-64ee1be5****加工任务 ID。
ToTimeInteger1643684482日志加工的结束时间，空代表无限制。
DSLTypeStringNORMALDSL 类型，固定为 NORMAL。
FromTimeInteger1643684482日志加工的开始时间，空代表所有历史数据。
TaskTypeStringResident任务类型，固定为 Resident。

ETLStatus

String

WAITING

任务调度状态。

  • WAITING：准备中。
  • RUNNING：运行中。
  • STOPPING：停止中。
  • STOPPED：已停止。
  • RESTARTING：重启中。
ProjectIdStringf***********待加工日志所在的日志项目 ID。
CreateTimeString2022-12-01 14:01:02加工任务创建时间。
ModifyTimeString2022-12-01 14:01:02加工任务最近修改时间。
DashboardIdString/内置的加工仪表盘 ID。
DescriptionStringThis is a test project加工任务的简单描述。
ProjectNameStringmyproject待加工数据所在的日志项目名称。
SourceTopicIdString4a9bd4bd-53f1-43ff-b88a-64ee1be5****待加工日志所在的日志主题 ID。
LastEnableTimeString2022-12-01 14:01:02最近启动时间。
SourceTopicNameStringtest-topic待加工日志所在的日志主题名称。
TargetResourcesArray of TargetResourcesResptargettopic目标输出的日志主题。

TargetResourcesResp

参数类型示例值描述
AliasStringtest自定义输出目标的名称。
TopicIdString4a9bd4bd-53f1-43ff-b88a-64ee1be5****用于存储加工后日志的日志主题 ID。
ProjectIdString4a9bd4bd-53f1-43ff-b88a-64ee1be5****用于存储加工后日志的日志项目 ID。
TopicNameStringmytopic用于存储加工后日志的日志主题名称。
ProjectNameStringmyproject用于存储加工后日志的日志项目名称。

请求示例

GET https://tls-{Region}.ivolces.com/DescribeETLTasks?&ProjectId=f3e901c3-b17f-42fd-aa8c-dc91a6c7****&ProjectName=&IamProjectName=&SourceTopicId=f3e901c3-b17f-42fd-aa8c-dc91a6c7****&SourceTopicName=topic名称&TaskId=f3e901c3-b17f-42fd-aa8c-dc91a6c7****&TaskName=test-task&Status=WAITING&PageNumber=10&PageSize=20 HTTP/1.1
Content-Type: application/json

返回示例

{
    "Total": 2,
    "Tasks": [
        {
            "TaskId": "e9b00e4a-ae***c4-83e5-a38d7f73ebfc",
            "Name": "zy-access-",
            "SourceTopicId": "5687efb0-4ada*****5-4447770a3fe6",
            "SourceTopicName": "access-log",
            "DSLType": "NORMAL",
            "Script": "e_keep(f_has(\"__time__\"))",
            "TaskType": "Resident",
            "TargetResources": [
                {
                    "TopicId": "e2cc153d-3ba8-4****80e1ef1bead9",
                    "TopicName": "topic1",
                    "ProjectId": "4012777e-c******dc4b3a4ab",
                    "ProjectName": "zy-test",
                    "Alias": "target"
                }
            ],
            "Enable": true,
            "Description": "勿删，勿暂停",
            "ETLStatus": "RUNNING",
            "FromTime": 1709025132,
            "CreateTime": "2024-02-27 17:12:30",
            "ModifyTime": "2024-02-27 17:12:49",
            "LastEnableTime": "2024-02-27 17:12:30",
            "DashboardId": "",
            "ProjectId": "d11be542-****170-72c318262132",
            "ProjectName": "log-sy"
        },
        {
            "TaskId": "597887ea-b6b****8289b92fec2",
            "Name": "search-server-test",
            "SourceTopicId": "ffbcf0dd****9bc2-e5702e159e23",
            "SourceTopicName": "search-server-log",
            "DSLType": "NORMAL",
            "Script": "e_keep(f_search(\"__content__:\\\"task done\\\"\"))\next_kv(\"__content__\", pair_sep=\"] [\", kv_sep=\":\", prefix=\"\", suffix=\"\", mode=\"fill\")\nf_set(\"ReqId\", regex_replace(v(\"__content__\"), \".*ReqId:([0-9a-z_.:]*).*\", replace=\"$1\"))\nf_drop(\"__content__\", \"__context_flow__\", \"\")\nf_set(\"insertResultCost\", str_replace(v(\"insertResultCost\"), \"us]\", \"\", 1))\nf_set(\"searchTotalCost\", str_replace(v(\"searchTotalCost\"), \"us]\", \"\", 1))\nf_set(\"resultSize\", str_replace(v(\"resultSize\"), \"]\", \"\", 1))\nf_set(\"ReadRawQuotaTotalCostUs\", str_replace(v(\"ReadRawQuotaTotalCostUs\"), \"]\", \"\", 1))\ne_keep(f_has(\"HitFiles\"))",
            "TaskType": "Resident",
            "TargetResources": [
                {
                    "TopicId": "affa167b-d2****ec-e202a98cfa7a",
                    "TopicName": "search-server-static",
                    "ProjectId": "d11be542-3ba2*****72c318262132",
                    "ProjectName": "log-sy",
                    "Alias": "target"
                }
            ],
            "Enable": true,
            "Description": "",
            "ETLStatus": "RUNNING",
            "FromTime": 1709010000,
            "CreateTime": "2024-02-27 17:08:10",
            "ModifyTime": "2024-02-27 17:08:30",
            "LastEnableTime": "2024-02-27 17:08:10",
            "DashboardId": "",
            "ProjectId": "d11be542-3ba2*****318262132",
            "ProjectName": "log-sy"
        }
    ]
}

错误码

您可访问公共错误码，获取更多错误码信息。