在开始采集数据之前,需要创建采集任务,通过采集任务连接需要的外部数据并写入您的Topic。
登录 DataSail 控制台,进入数据采集-采集管理页面
点击新建采集任务打开新建抽屉,填写采集任务类型、预处理格式、接入数据来源、采集任务名称、选择上报Topic、上报应用,点击确定新建成功
采集任务类型:两种类型均支持数据上报
预处理格式:如选择“事件采集”类型,需要填写预处理格式,并且对上报Topic有一定限制,如下方表格。
采集任务名称:仅支持中文、字母、数字、下划线、中划线,且不超过80个字符
上报Topic:如下拉框中搜索不到对应的Topic,可点击Topic管理跳转至Topic页面新建Topic,新建完成后点击刷新按钮,即可搜索新创建的Topic
上报应用:下拉列表中选择应用
**采集任务类型-预处理格式-关联Topic之间限制关系:
采集任务类型 | 预处理格式 | 处理策略 | 关联Topic限制 |
---|---|---|---|
通用采集 | 无 | 无 | 无限制 |
事件采集 | 自定义格式 | 支持中,敬请期待 | 关联了事件Schema的topic |
标准客户端格式 | 支持中,敬请期待 | 关联了标准客户端格式Schema的topic | |
标准服务端格式 |
| 关联了标准服务端格式Schema的topic |
创建采集任务后,即可开始进行数据接入
进入采集管理列表页
在搜索框中输入采集任务名称或者采集任务ID即可查找
采集任务支持删除,但删除后数据将无法上报,确认删除后约10分钟删除生效