You need to enable JavaScript to run this app.
导航
数据采集快速入门
最近更新时间:2024.03.01 14:58:01首次发布时间:2024.01.09 14:28:54
1.概述

DataSail为您提供实时数据采集服务,依托抖音集团万亿级别数据采集和处理能力,支持多种格式数据的实时接收、处理、分发全流程的解决方案,实现流式数据安全快速地接入。本文将为您介绍数据采集功能快速入门操作。

2.前置说明

2.1 注册及认证

  1. 首先开通火山引擎账户注册登录
    alt

  2. 在实名认证中分别进行个人认证企业认证

  3. 如您已有历史账号可直接主账号登录

    1. IAM子账户请点击子账号登录

2.2 设置主账号密钥

什么是IAM访问控制:点击查看 访问密钥(access key):使用指南 主账户的密钥具有账户的完全权限,密钥泄露可能会造成严重的资产损失,强烈建议您进行主账户密钥设置,并通过建立子用户,按需分配权限,并使用子用户的密钥访问云资源,以及DataSail的产品使用体验

  1. 使用主账户点击密钥管理(如图所示)

  2. 点击新建密钥

  3. 选择【继续创建】

  4. 显示创建成功,当其他服务需要AK密钥时,请打开开关,之后会收到AK密码

  5. 点击开关,手机将收到验证码,填入并确认

  6. 平台将显示账号密钥信息



3.快速入门

3.1 数据采集服务开通

开通 DataSail数据采集服务的步骤如下:

  1. 登录DataSail服务购买页面。

  2. 在页面顶端导航栏左侧的区域下拉框中,选择要开服的区域,勾选服务协议,点击立即开通。

  1. 开通服务后,登录 DataSail控制台,开始使用采集产品。

  1. DataSail数据采集服务的计费说明:数据采集服务为后付费且按量计费,根据用户实际使用量来计费。按日计费出具账单并扣费。计费系统在每天 00:00 开始,清算前一个自然日的资源消耗,根据上述标准出具账单并进行扣费。详见:计费说明


3.2 创建Topic

  1. 点击左侧导航Topic管理,开始创建Topic

  2. 单击新建Topic,填写Topic名称、Topic描述、分区个数和生命周期,点击确定新建成功

  3. 通用采集无需关联Schema(如需要对上报数据进行特定schema验证才需设置,详见Schema管理

详见:Topic管理


3.3 创建采集任务

  1. 点击左侧导航采集管理,开始创建采集任务

  2. 单击新建采集任务,填写采集任务类型-通用采集、接入数据来源、采集任务名称、选择上报Topic,点击确定新建成功

  3. 点击确认后成功创建采集任务,并生成采集任务ID,采集任务ID将作为数据上报的重要参数用于区分上报Topic

详见:采集任务管理


3.4 写入数据

DataSail支持多种写入方式,针对日志可以选择SDK/Agent/API等多种采集方式:


3.5 预览数据

按上方接入文档配置后,进行数据上报,可在Topic详情中进行实时数据预览
1、前往Topic管理 - 点击名称进入Topic详情 - 数据预览
2、选择时间范围,点击刷新,可以获取上报的数据。json按字符串输出,可获取最近100条数据,最大长度限制为2k。