火山引擎DataSail提供通用数据上报Python SDK,用户在开通DataSail服务之后,可以通过API将数据上报到火山云DataSail。
请确保您已开通了您需要访问的服务。您可前往火山引擎控制台开通全域数据集成服务,详见服务开通。
Access Key(访问密钥)是访问火山引擎服务的安全凭证,包含Access Key ID(简称为AK)和Secret Access Key(简称为SK)两部分。您可登录火山引擎控制台,前往访问控制 的访问密钥 中创建及管理您的Access Key。更多信息可参考访问密钥帮助文档 。
路径:数据采集-topic管理-新建Topic
路径:数据采集-采集管理-新建采集任务
字段 | 说明 | 示例 | 备注 |
---|---|---|---|
AK | 火山引擎Access Key | AKLTYzl****** | |
SK | 火山引擎Secret Key | TVdFMlp****** | |
采集任务ID | DataSail申请的采集任务ID | hkktppvwtuv0xy000 | 获取路径:数据采集->采集管理->采集任务 ID 🔗 |
服务域名 | 上报数据的域名 | datasail01-cn-beijing.volceapplog.com |
地域 | 服务域名 |
---|---|
华北2(北京) | datasail01-cn-beijing.volceapplog.com |
Python 版本>=3.5
pip3 install general_collector_python_cloud-1.0.0-py3-none-any.whl
from general_collector.exceptions import * from general_collector.config import * from general_collector.request import * from general_collector.response import * from general_collector.collector import * if __name__ == '__main__': # 配置Config参数 config = Config(os.getenv('AK'), os.getenv('SK'), os.getenv('ENDPOINT'), os.getenv('TASK_KEY')) # 创建Collector对象 collector = GeneralCollector(config) # 上报任意类型的数据 generalReq = GeneralDataRequest('test') try: resp = collector.collect_general_data(generalReq) print(resp) except general_collector.exceptions.CollectException as e: print(e) except Exception as e: print(e) # 通过JsonArray批量上报数据,需符合JsonArray的格式 jsonReq = JsonArrayRequest("""["a","b","c"]""") try: resp = collector.collect_json_array(jsonReq) print(resp) except general_collector.exceptions.CollectException as e: print(e) except Exception as e: print(e) # Collector不再使用时关闭 collector.close()
collect_general_data用于上报任意类型的数据,GeneralDataRequest中的data会原封不动地传至服务端,服务端收到数据后直接投递至task_key对应的topic。
// 上报通用数据(任意类型),请求失败时抛 CollectException collect_general_data(req: GeneralDataRequest) -> GeneralDataResponse
collectJsonArray通过Json数组上报批量数据,JsonArrayRequest中的data需要符合Json Array的格式;服务端收到数据后,会以Json Array进行解析,并遍历Json Array中的每一个Item,将抓包后的每一个Item投递至task_key对应的topic。
// 上报Json数组,请求失败时抛 CollectException collect_json_array(req: JsonArrayRequest) -> JsonArrayResponse
GeneralCollector初始化
Exception
GeneralCollector方法调用
CollectException
,需要调用方关注参数名 | 含义 | 状态码 |
---|---|---|
e | 状态码 |
|
m | 如失败,显示错误信息 |