火山引擎日志服务提供 LogCollector、SDK 等多种日志采集方式，适用于宿主机、容器、移动端、云产品等各种数据源的日志数据采集场景。本文档介绍日志服务支持的采集方式及采集方案。
日志服务提供日志采集工具 LogCollector、多语言 SDK 等日志采集方式，兼容 Kafka 协议、OpenTelemetry 协议等多种开源协议框架，支持主机应用、K8s 集群、移动客户端、火山引擎云产品、其他云厂商等多种来源的日志类数据采集。
您可以在控制台首页或指定日志主题的日志接入页面选择日志接入的方式，并通过简单的配置快速将日志数据接入火山引擎日志服务中。日志写入到日志主题并设置索引后，可以在日志检索页面实时预览采集到的日志数据，并通过日志服务提供的检索分析语法进行进一步查询分析，实现数据可视化等其他高级功能。
采集方式 | 说明 |
|---|---|
LogCollector 采集 | 通过日志服务提供的日志采集工具 LogCollector 可以采集宿主机或容器的应用日志，支持单行全文等多种采集模式、数据脱敏等多种采集插件。 |
Kafka 协议 | 日志服务支持通过 Kafka 协议上传日志数据到服务端，即可以使用 Kafka Producer SDK 来采集日志数据，并通过 Kafka 协议上传到日志服务。 |
OpenTelemetry 协议 | Trace 服务基于原生的 OpenTelemetry 协议与标准，支持各类 Trace 数据的接入、存储、检索分析、可视化等功能。 |
API 方式采集 | 日志服务提供上传日志的 OpenAPI 接口，用于上传结构化的日志到指定日志主题。 |
SDK 方式采集 | 日志服务提供多语言的 SDK，通过 SDK 调用 OpenAPI 接口 PutLogs 可以上传日志到指定日志主题。 |
数据源类型 | 日志来源 | 说明 | 相关文档 |
|---|---|---|---|
OS 系统 | Linux | 通过 LogCollector 采集 Linux 操作系统日志，支持火山引擎云服务器、自建 IDC、其他云厂商服务器。 | |
K8s 集群 | 支持自建 K8s 集群、火山引擎容器服务或其他云厂商的 K8s 集群日志采集。
| ||
iOS | 通过日志服务提供的 iOS SDK 采集日志数据。 | ||
Android | 通过日志服务提供的 Android SDK 采集日志数据。 | ||
应用程序 | 应用程序输出日志 | 通过 LogCollector 采集各种系统与应用的输出日志。 | |
Web 页面 | 通过 Web Tracking 采集网页应用的日志数据。 | ||
链路跟踪 | Trace 服务基于原生的 OpenTelemetry 协议与标准，支持各类 Trace 数据的接入、存储、检索分析、可视化等功能。 | ||
Logstash | 只需修改 Logstash 配置文件，即可通过 Logstash 内置 Kafka 输出插件（logstash_output_kafka）上传日志数据到日志服务。 | ||
语言 | Logback Appender | 只需通过 XML 文件简单配置即可上报日志到日志服务，具有异步发送、高性能、失败重试等特性，适用于高并发场景。 | |
数据导入 | 火山引擎对象存储 TOS | 从 TOS 中存储的数据进行结构化，并保存在日志服务中。目前仅支持导入历史数据。 | |
阿里云日志服务 SLS | 从阿里云日志服务的 Logstore 中导入数据，此外还还支持导入 SLS 的日志采集配置。 | ||
Elasticsearch 集群 | 从火山引擎、自建或其他云厂商的 Elasticsearch 集群中导入数据。目前仅支持导入历史数据。 | ||
火山引擎云产品 | CDN、TOS 等火山引擎云产品 | 日志服务支持采集容器服务、对象存储等多种云产品的日志数据，例如容器日志、访问日志等。 |
将日志写入到日志服务中，涉及到日志存储、写流量、日志分区数量费用，如果通过 API 或 SDK 写入日志数据，还会产生服务请求次数费用。详细的计费规则请参考计费项。
云服务日志提供一定免费额度，详细计费策略请参考各个云服务的产品文档。
将日志数据写入到日志服务时，应注意以下写入限制。关于日志服务的基础资源配额、读写流量限额、查询分析并发等限制，请参考使用限制。