DescribeImportTasks--日志服务-火山引擎

文档中心

立即注册

导航

DescribeImportTasks

最近更新时间：2024.10.11 16:17:11首次发布时间：2024.09.20 18:36:41

调用 DescribeImportTasks 接口查看数据导入任务列表。

请求说明

请求方式：GET
请求地址：https://tls-{Region}.ivolces.com/DescribeImportTasks

请求参数

下表仅列出该接口特有的请求参数和部分公共参数。更多信息请见公共参数。

Query

参数	类型	是否必选	示例值	描述
TaskId	String	否	`"fa************"`	待查询的数据导入任务 ID。
TaskName	String	否	`"test-task"`	待查询的数据导入任务名称。
ProjectId	String	否	`"fa************"`	指定日志项目 ID，用于查询指定日志项目下的数据导入任务。
ProjectName	String	否	`"fa************"`	指定日志项目名称，用于查询指定日志项目下的数据导入任务。支持模糊查询。
IamProjectName	String	否	`default`	指定 IAM 项目名称，用于查询指定 IAM 项目下的数据导入任务。
TopicId	String	否	`"fa************"`	指定日志主题 ID，用于查询该日志主题相关的数据导入任务。
TopicName	String	否	`"fa************"`	指定日志主题名称，用于查询该日志主题相关的数据导入任务。支持模糊查询。
PageNumber	Integer	否	`1`	分页查询时的页码。默认为 1，即从第一页数据开始返回。
PageSize	Integer	否	`10`	分页大小。默认为 20，最大为 100。
SourceType	String	否	`"tos"`	指定导入类型，用于查询该导入类型相关的数据导入任务。
Status	String	否	`"0"`	指定导入任务状态，用于查询处于该状态的数据导入任务。

返回参数

下表仅列出本接口特有的返回参数。更多信息请参见返回结构。

参数	类型	示例值	描述
TaskInfo	Array of TaskInfo	`/`	数据导入任务列表。
Total	Integer	`5`	数据导入任务数量。

TaskInfo

参数	类型	示例值	描述
TaskId	String	`fa************`	数据导入任务的 ID。
status	Integer	`0`	数据导入任务的状态。
TopicId	String	`fa************`	用于存储数据的日志主题 ID。
TaskName	String	`task-name-1`	数据导入任务的名称。
ProjectId	String	`fc69****`	数据导入任务的日志项目 ID。
TopicName	String	`topic-name`	数据导入任务的日志主题名称。
CreateTime	String	`1970-1-1 00:00:00`	数据导入任务的创建时间。
SourceType	String	`tos`	导入源端类型。
TargetInfo	Object of TargetInfo	`/`	数据导入任务的输出端信息。
Description	String	`this is a task`	数据导入任务描述。
ProjectName	String	`myproject`	数据导入任务的日志项目名称。
TaskStatistics	Object of TaskStatistics	`/`	数据导入任务的进度。
ImportSourceInfo	Object of ImportSourceInfo	`/`	数据导入任务的导入源端信息。

TargetInfo

参数	类型	示例值	描述
Region	String	`cn-shanghai`	地域 ID。
LogType	String	`json_log`	导入时指定日志解析类型。
LogSample	String	`/`	日志样例。
ExtractRule	Object of ExtractRule		ExtractRule 导入提取规则。

TaskStatistics

参数	类型	示例值	描述
Total	Integer	`100`	已列举到的总资源个数。
Failed	Integer	`100`	导入失败的资源个数。
Skipped	Integer	`20`	跳过导入的资源个数。
NotExist	Integer	`10`	不存在的资源个数。
BytesTotal	Integer	`100`	已列举到的总资源字节数。
TaskStatus	String	`Success`	导入任务的状态。 Preparing：导入准备中。 Importing：导入数据中。 Success：成功导入完成。 Failed：导入失败。 Stopped：导入已暂停。
Transferred	Integer	`100`	已导入的资源个数。
BytesTransferred	Integer	`100`	已导入的字节数。

ImportSourceInfo

参数	类型	示例值	描述
TosSourceInfo	Object of TosSourceInfo	`/`	TOS 导入源端信息。
KafkaSourceInfo	Object of KafkaSourceInfo	`/`	Kafka 导入源端信息。

ExtractRule

参数	类型	示例值	描述
Keys	Array of String	`[ "time", "", "level", "msg" ]`	日志字段名称（Key）列表。当且仅当 LogType 为 delimiter_log 或 fullregex_log 时有效。支持配置最多 100 个字段名称。当 LogType 为 delimiter_log时，不能配置重复的字段名称，不能指定全部字段名称为空。当 LogType 为 fullregex_log 时，不能配置重复的字段名称，不能指定字段名称为空。
Quote	String	`"`	引用符。被引用符包裹的内容不会被分隔而是会被解析为一个完整的字段。当且仅当 LogType 为 delimiter_log 时有效。
TimeKey	String	`request_time`	日志时间字段的字段名称。如果将日志中的指定时间字段作为日志时间戳，则需要填写 TimeKey 和 TimeFormat。 TimeKey 和 TimeFormat 必须成对出现。
LogRegex	String	`[(\d+-\d+-\w+:\d+:\d+,\d+)]\s[(\w+)]\s(.*)`	整条日志需要匹配的正则表达式。当且仅当采集的日志类型为 fullregex_log 时有效。必须是合法的正则表达式。
TimeZone	String	`GMT+08:00`	时区，支持机器时区（默认）和自定义时区。其中，自定义时区支持 GMT 和 UTC。 GMT 格式：GMT+08：00。 UTC 格式：Asia/Shanghai。
Delimiter	String	`#`	日志分隔符。当且仅当 LogType 为 delimiter_log 时有效。
TimeFormat	String	`%Y-%m-%dT%H:%M:%S,%f`	时间字段的解析格式。如果将日志中的指定时间字段作为日志时间戳，则需要填写 TimeKey 和 TimeFormat。 TimeKey 和 TimeFormat 必须成对出现。如何配置时间格式，请参考时间格式。
SkipLineCount	Integer	`2`	跳过的日志行数。例如设置为 1，则导入日志时，将从 CSV 文件的第 2 行开始导入。当且仅当采集的日志类型为 delimiter_log 且导入类型为 tos 时有效。
UnMatchLogKey	String	`LogParseFailed`	当上传解析失败的日志时，解析失败的日志的 key 名称。 UnMatchUpLoadSwitch=true 和 UnMatchLogKey 必须成对出现。
TimeExtractRegex	String	`[0-9]{0,2}\/[0-9a-zA-Z]+\/[0-9:,]+`	提取时间的正则表达式，用于提取 `TimeKey` 字段中的时间值并解析为对应的采集时间。
UnMatchUpLoadSwitch	Boolean	`true`	是否上传解析失败的日志。UnMatchUpLoadSwitch=true 和 UnMatchLogKey 必须成对出现。 true：上传解析失败的日志。 false：不上传解析失败的日志。

TosSourceInfo

参数	类型	示例值	描述
bucket	String	`import01`	日志文件所在的 TOS 存储桶。
prefix	String	`accesslog/`	待导入的文件在 TOS 存储桶中的路径。
region	String	`cn-shanghai`	TOS 存储桶所在的地域。支持跨地域导入数据。
compress_type	String	`snappy`	TOS 存储桶中数据的压缩模式。 none：无压缩 snappy：使用 snappy 进行压缩。 gzip：使用 gzip 进行压缩。 lz4：使用 lz4 进行压缩。

KafkaSourceInfo

参数	类型	示例值	描述
host	String	`kafka-cnngc7an0qpv****.kafka.ivolces.com:9092`	不同类型的 Kafka 集群对应的服务地址不同，详细说明如下：火山引擎消息队列 Kafka 版：Kafka 实例的接入点，详细说明请参考查看接入点。如果 Kafka 实例与日志服务 Project 属于同一地域，可使用私网访问，否则需使用公网访问。自建的 Kafka 集群：Kafka Broker 的 IP 地址和端口号或者域名和端口号。仅支持公网访问。多个服务地址之间需使用半角逗号（,）分隔。
group	String	`mygroup`	Kafka 消费组。如果不填，系统将自动创建 Kafka 消费组。
topic	String	`test`	Kafka Topic 名称。多个 Kafka Topic 之间应使用半角逗号（,）分隔。
encode	String	`UTF-8`	数据的编码格式。可选值包括 UTF-8、GBK。
password	String	`/`	用于身份认证的 Kafka SASL 用户密码。
protocol	String	`plaintext`	安全传输协议，可选值包括 plaintext、sasl_ssl、ssl 和 sasl_plaintext。
username	String	`/`	用于身份认证的 Kafka SASL 用户名。
mechanism	String	`PLAIN`	密码认证机制，可选值包括 PLAIN、SCRAM-SHA-256 和 SCRAM-SHA-512。
instance_id	String	`kafka-cnngbnntswg1****`	当您使用的是火山引擎消息队列 Kafka 版时，应设置为 Kafka 实例 ID。
is_need_auth	Boolean	`true`	是否开启鉴权。如果您使用的是公网服务地址，建议开启鉴权。
initial_offset	Integer	`/`	数据导入的起始位置。可选值： 0：最早时间，即从指定的 Kafka Topic 中的第一条数据开始导入。 1：最近时间，即从指定的 Kafka Topic 中最新生成的数据开始导入。
time_source_default	Integer	`/`	指定日志时间。可选值： 0：使用 Kafka 消息时间戳。 1：使用系统当前时间。

请求示例

GET https://tls-{Region}.ivolces.com/DescribeImportTasks?&TaskId="fa************"&TaskName="test-task"&ProjectId="fa************"&ProjectName="fa************"&IamProjectName=default&TopicId="fa************"&TopicName="fa************"&PageNumber=1&PageSize=10&SourceType="tos"&Status="0" HTTP/1.1
Content-Type: application/json

返回示例

Content-Type: application/json; charset=utf-8
{
    "TaskInfo": [
        {
            "TaskId": "841c3908-*****bdb4-2b77dd4d5a41",
            "TaskName": "import-example",
            "SourceType": "tos",
            "status": 1,
            "ImportSourceInfo": {
                "TosSourceInfo": {
                    "region": "cn-shanghai",
                    "bucket": "tos-import-logs",
                    "prefix": "test/timeJson.txt",
                    "compress_type": "none"
                }
            },
            "TargetInfo": {
                "Region": "cn-shanghai",
                "LogType": "json_log",
                "ExtractRule": {
                    "TimeKey": "__time__",
                    "TimeFormat": "%F",
                    "TimeZone": "Asia/Shanghai",
                    "UnMatchUpLoadSwitch": true,
                    "UnMatchLogKey": "LogParseFailed",
                    "LogTemplate": {}
                },
                "UserDefineRule": {
                    "Plugin": {}
                },
                "LogSample": ""
            },
            "TopicId": "5123c4b3-00***5-a09ce05b0b88",
            "TopicName": "test",
            "TaskStatistics": {
                "TaskStatus": "Finished",
                "Transferred": 1,
                "Failed": 0,
                "Skipped": 0,
                "NotExist": 0,
                "Total": 1,
                "BytesTransferred": 657,
                "BytesTotal": 657
            },
            "Description": "",
            "CreateTime": "2024-08-27 17:37:07",
            "ProjectId": "a513edb9-45a****19f7f1a8962",
            "ProjectName": "test"
        }
    ],
    "Total": 1
}

错误码

您可访问公共错误码，获取更多错误码信息。