日志服务提供实时的数据消费与投递功能，支持将采集到日志服务中的数据通过 SDK 消费到第三方工具系统中，或投递到火山引擎 TOS 等其他产品中，用于后续的日志处理与大数据计算分析。
日志服务提供实时的数据消费与投递功能，用于大数据实时计算、离线分析、长期存储归档等场景。
日志消费和日志投递的功能对比如下：
关键特性 | 消费 | 投递 |
|---|---|---|
使用场景 | 实时计算、数据分析 | 数据的长期存储、离线分析 |
使用方式 | 自行代码实现 | 控制台向导配置 |
数据实时性 | 实时 | 离线 |
原文格式 | 原始日志 | 原始日志、JSON、CSV |
数据压缩格式 | 不压缩、snappy、gzip、lz4 | 不压缩、snappy、gzip、lz4 |
使用方案 | 普通消费、消费组消费、Kafka 协议消费 | 火山引擎 TOS、Kafka |
应用场景 |
|
|
功能 | 方案 | 说明 | 相关文档 |
|---|---|---|---|
数据消费 | 通过 Kafka 协议消费日志 | 通过流式计算框架 Kakfa 协议实时消费日志主题中的数据到第三方工具或系统中。 | |
普通消费 | 通过日志服务提供的 ConsumeLogs API 消费日志主题中的数据。 | ||
通过消费组消费 | 将多语言应用作为消费组消费日志服务中的数据。 | ||
数据投递 | 投递数据到 TOS | 将日志数据按照指定的投递规则投递到火山引擎对象存储产品中，用于数据的长期存储与归档。 | |
投递日志到 Kafka | 将日志数据按照指定的投递规则投递到火山引擎消息队列 Kafka版，用于下游第三方系统消费。 |
日志消费和日志投递功能涉及的计费项如下，详细的计费规则请参考计费项。