DataSail为您提供实时数据采集服务,依托抖音集团万亿级别数据采集和处理能力,支持多种格式数据的实时接收、处理、分发全流程的解决方案,实现流式数据安全快速地接入。本文将为您介绍数据采集功能快速入门操作。
什么是IAM访问控制:点击查看 访问密钥(access key):使用指南 主账户的密钥具有账户的完全权限,密钥泄露可能会造成严重的资产损失,强烈建议您进行主账户密钥设置,并通过建立子用户,按需分配权限,并使用子用户的密钥访问云资源,以及DataSail的产品使用体验
使用主账户点击密钥管理(如图所示)
点击新建密钥
选择【继续创建】
显示创建成功,当其他服务需要AK密钥时,请打开开关,之后会收到AK密码
点击开关,手机将收到验证码,填入并确认
平台将显示账号密钥信息
开通 DataSail数据采集服务的步骤如下:
登录DataSail服务购买页面。
在页面顶端导航栏左侧的区域下拉框中,选择要开服的区域,勾选服务协议,点击立即开通。
点击左侧导航Topic管理,开始创建Topic
单击新建Topic,填写Topic名称、Topic描述、分区个数和生命周期,点击确定新建成功
通用采集无需关联Schema(如需要对上报数据进行特定schema验证才需设置,详见Schema管理)
详见:Topic管理
点击左侧导航采集管理,开始创建采集任务
单击新建采集任务,填写采集任务类型-通用采集、接入数据来源、采集任务名称、选择上报Topic,点击确定新建成功
点击确认后成功创建采集任务,并生成采集任务ID,采集任务ID将作为数据上报的重要参数用于区分上报Topic
详见:采集任务管理
DataSail支持多种写入方式,针对日志可以选择SDK/Agent/API等多种采集方式:
按上方接入文档配置后,进行数据上报,可在Topic详情中进行实时数据预览
1、前往Topic管理 - 点击名称进入Topic详情 - 数据预览
2、选择时间范围,点击刷新,可以获取上报的数据。json按字符串输出,可获取最近100条数据,最大长度限制为2k。