用于将数据上传至火山引擎服务器。数据预同步、历史数据同步、增量天级数据同步、增量实时数据同步等均会涉及到此接口。
每次请求数据量不超过10000条,qps建议不超过100,每秒上传的数据条数不超过50000条(请求qps*每次请求中数据条数)。
若既有增量天级数据,也有增量实时数据,必须先接入增量天级数据,再接入增量实时数据。
若仅有增量实时数据,上传后不可再上传增量天级数据。
数据上传接口的超时时间应尽量大,例如设置为5s。当数据上传接口调用失败的话,应重新上传数据。
增量实时数据上报时,建议聚合一批数据一起上报(比如积攒1000条再上报),减小客户端和服务端频繁交互的压力。
HTTPS POST
《Path内相关变量解释》
/data/api/{application_id}/{topic}?method=write&stage={stage}
公共请求头部分详见《公共请求头说明》。
接口额外请求头:
参数 | 说明 | 示例 | 是否必传 |
---|---|---|---|
Content-Date | 数据产生日期,格式规范:"YYYYMMDD"或"YYYY-MM-DD";例如:"Content-Date:20210411"或"Content-Date:2021-04-11"。 | 20210411或2021-04-11 | 上传离线数据时必传,实时数据上传时不传 |
参数
类型 | 描述 |
---|---|
array[object] | array中的一个object即表示一条数据(例如一条商品数据,一条行为数据等)。 |
示例
//请求格式list[map<string, object>],如商品数据 [ { //第一条数据 "id":"38", "title":"good car", "cate":"11$##$1101", "cate_cnt":2, "status":1, "brand":"bytedance", "shop_id":"test_shop_id", "pub_time":1583641807, "current_price":0.01 }, { //第二条数据 "id":"38", "title":"good car", "cate":"11$##$1101", "cate_cnt":2, "status":1, "brand":"bytedance", "shop_id":"test_shop_id", "pub_time":1583641807, "current_price":0.01 } ]
参数
参数 | 类型 | 描述 |
---|---|---|
status | object | 任务执行结果,当status.code为0或不存在时,执行过程未发生任何异常,全部写入成功 |
errors | object | write接口数据处理错误信息 |
示例
//请求成功 { "status":{ "message":"OK" } } //请求失败 { "status":{ "code":1001, "message":"Occur error, partial or all data handle fail" }, "errors":[ { "message":"partition_date format error, partition_date:2021031, err:parsing time \"2021031\" as \"20060102\": cannot parse \"1\" as \"02\"", "data":"{\"brand\":\"12906\",\"cate\":\"3198$##$3205$##$3353$##$1VN60RKL\",\"cate_cnt\":4,\"spu_id\":\"213131321\",\"cate_name\":\"服饰鞋包$##$女装$##$T恤\",\"size\":\"big\",\"partition_date\":\"2021031\",\"additional_tags\":\"\",\"benefit_money\":20,\"brand_name\":\"千百森\"}" } ] }