火山引擎DataSail提供数据上报logstash http插件接入,用户在开通DataSail服务之后,可以通过插件将数据上报到火山云DataSail。
请确保您已开通了您需要访问的服务。您可前往火山引擎控制台开通全域数据集成服务,详见服务开通。
Access Key(访问密钥)是访问火山引擎服务的安全凭证,包含Access Key ID(简称为AK)和Secret Access Key(简称为SK)两部分。您可登录火山引擎控制台,前往访问控制 的访问密钥 中创建及管理您的Access Key。更多信息可参考访问密钥帮助文档 。
路径:数据采集-topic管理-新建Topic
路径:数据采集-采集管理-新建采集任务
区域 | Endpoint |
---|---|
华北 | https://datasail01-cn-beijing.volceapplog.com/v1/production/general/collect/{DataSail 采集任务ID}/list/ |
Logstash支持配置多个输出
output { datahub { } file { } http { url => "******" http_method => "post" headers => { "X-Collect-Tenant-Id" => "******" "X-Collect-Content-Type" => "batch_json" } content_type => "application/json" format => "json_batch" } }
参数 | 类型 | 是否必填 | 默认值 | 说明 |
---|---|---|---|---|
url | string | Yes | NA | DataSail Endpoint |
Yes | NA |
| ||
http_method | string | Yes | NA | 接入DataSail需要使用 "post" |
Yes | "json" |
| ||
Yes | NA | 如果 format => "json", content_type 需要设置为 "application/x-www-form-urlencoded" | ||
http_compression | boolean | No | false | 是否开启gzip压缩,DataSail暂不支持压缩 |
keepalive | boolean | No | true | 开启HTTP keepalive |
pool_max | number | No | 50 | HTTP连接池数量 |
pool_max_per_route | number | No | 25 | 单个Host最大连接数 |
socket_timeout | number | No | 10(秒) | socket超时时间 |
connect_timeout | number | No | 10(秒) | 连接超时时间 |
request_timeout | number | No | 60(秒) | 请求超时时间 |
automatic_retries | number | No | 1 | 自动重试次数 |
retry_failed | boolean | No | true | 开启插件级重试,对retryable_codes定义的状态码和其他可重试异常进行无限重试 |
retry_non_idempotent | boolean | No | false | 需要设置为true,对 post 请求进行重试,写入DataSail使用post请求 |
retryable_codes | number | No | [429, 500, 502, 503, 504] | 设置对哪些 Http 状态码进行重试 |
HTTP输出插件会并发发起请求,并发数通过 pool_max
参数控制。
由于使用了并发请求,数据写到下游无法保障有序。
Lib级重试参数
默认值为:1
Lib级别自动重试次数
默认值为:false
需要设置为 true
,才会对 POST 请求进行重试,写入DataSail使用POST请求
Plugin级重试参数
默认值为:true
插件会对retryable_codes
定义的状态码和其他可重试的异常(socket timeout/ error, DNS resolution failure 和 client protocol exception)进行无限重试
默认值为:[429, 500, 502, 503, 504]
设置对哪些 Http 状态码进行重试