You need to enable JavaScript to run this app.
导航
数据抓取(Fetch)
最近更新时间:2024.08.05 18:26:08首次发布时间:2021.05.18 18:27:14

本接口通过指定一个公网可访问的待迁移资源 URL 以及上传目标服务 ID 等信息,来对资源进行抓取和上传,并得到迁移后的资源存储 URI 等信息。

说明

该接口属于历史版本 API,建议您使用新版 FetchImageUrl 接口。

使用说明

  • 如果您的数据在本地 IDC 或者在本地磁盘中,同时通过本地服务器挂载云存储的资源迁移 veImageX 存储,推荐您使用本地迁移与上传工具进行数据迁移。
  • 如果您的数据位于第三方云厂商或有可公网访问的 URL 本地数据,您可以登录 veImageX 使用数据迁移功能迁移您的数据至 veImageX 存储。

注意事项

  • 请求频率:同步处理情况下,请求频率限制为 100 次/秒
  • 超时时间:超时时间约为 20 秒
  • 同步处理:
    • 若迁移资源 URL 支持分片下载,最大超时时间为 20 s,最大迁移资源不超过 5 G;
    • 若迁移资源 URL 不支持分片下载,最大超时时间为 20 s,最大迁移资源不超过 1 G。
  • 异步处理:若迁移资源 URL 不支持分片下载,最大超时时间为 90 s,最大迁移资源不超过 5 G。

说明

  • 以上数据为我们内部实验环境得出,仅供参考,具体情况请以您实际网络环境为准。
  • 请您自行配置待迁移资源 Url 是否需要支持分片下载。

请求说明

  • 请求方式:POST
  • 请求地址:https://imagex.volcengineapi.com/?Action=FetchImageUrl&Version=2018-08-01

说明

veImageX 在全球多个区域部署,每个区域有自己对应的 OpenAPI 域名,不支持跨区域调用。具体详情请查看服务地址

请求参数

以下请求参数列表仅列出了该接口的部分公共参数,完整公共参数列表见公共参数。

Query

参数类型是否必选示例值描述
ActionStringFetchImageUrl接口名称。当前 API 的名称为 FetchImageUrl
VersionString2018-08-01接口版本。当前 API 的版本为 2018-08-01

Body

参数类型是否必选示例值描述
UrlStringhttps://test.org/con.jpg待抓取上传的文件 URL。

ServiceId

String

jh**9

目标服务 ID,迁移后的文件将上传至该服务绑定的存储。

  • 您可以在 veImageX 控制台 服务管理页面,在创建好的图片服务中获取服务 ID。
  • 您也可以通过 OpenAPI 的方式获取服务 ID,具体请参考获取所有服务信息

StoreKey

String

FetchTest

指定存储 key,不包含 bucket 部分。默认使用随机生成的 key。

说明

若指定 key 已存在,则会覆盖服务中 StoreKey 对应的已有文件,此时服务中保存文件的数量未发生变化。

RequestHeader

map[string][]string

{
"X-Function-Id": ["test"]
}

请求 header

TimeOut

Integer

10

资源下载超时时间。

  • 同步处理下最大超时为 20 秒;
  • 异步处理下最大超时为 90 秒。

Async

Boolean

false

是否采用异步,取值如下所示:

  • true:采用异步
  • false:(默认)不采用异步

说明

若您的资源大小小于 5 G,但预估资源迁移超时时间超过 20 s,建议您选择异步处理。

HostStringip:port迁移资源的 IP 地址
CallbackStringhttps://info.com回调 URL,veImageX 以 Post 方式向业务服务器发送 JSON 格式回调数据。当Async取值为true,即采用异步处理时,为必填。
MD5String9a8229123604d22d18b6dcfe44b4519e校验下载文件的 MD5,若校验不一致则停止文件的上传。

CallbackBody

String

{
  "param1": "value1",
  "param2": "value2"
}

透传给业务的回调内容,取值需要符合CallbackBodyType指定格式。

CallbackBodyType

String

application/json

透传给业务的回调内容格式。默认为空,若CallbackBody不为空时,需同时指定CallbackBodyType的值。取值如下所示:

  • application/json
  • application/x-www-form-urlencoded
CallbackHostStringip:port回调时使用的 IP 地址

IgnoreSameKey

Boolean

false

服务存储中存在相同的存储 key 时,是否忽略本次迁移操作。取值如下所示:

  • true:忽略本次迁移操作。
  • false:(默认)继续迁移并覆盖相同 key 的资源。

FetchOnly

Boolean

true

文件在抓取时,是否不执行解码操作,取值如下所示:

  • true:文件仅下载上传,不执行解码操作。
  • false:(默认)文件在下载上传同时执行解码操作。

返回参数

参数类型示例值描述
UrlStringhttps://test.org/con.jpg源文件 URL
StoreUriStringtos-boe-i-241**mp8/32f6b311fa*迁移后的文件 URI,包含 bucket/key 两部分。
FSizeInteger22421文件大小,单位为 byte。同步处理情况下有返回值。
ImageWidthInteger2300图片宽,在同步处理情况下、迁移至图像处理服务且为图片资源时有返回值。
ImageHeightInteger1100图片高,在同步处理情况下、迁移至图像处理服务且为图片资源时有返回值。
ImageFormatIntegerpng图片类型,在同步处理情况下、迁移至图像处理服务且为图片资源时有返回值。
DurationInteger5动图持续时间,在同步处理情况下、迁移至图像处理服务且为图片资源时有返回值。
FrameCntInteger100图片帧数,在同步处理情况下、迁移至图像处理服务且为图片资源时有返回值。
TaskIdString92830H07WJS28370异步任务 ID,仅当Async取值true,即采用异步时有返回值。
StartTimeInteger1692019200000000000任务开始执行时间戳,UTC 时间,单位为 ns。
EndTimeInteger1689304215000000000任务结束执行时间戳,UTC 时间,单位为 ns。
TimeCostInteger2714985000完成任务总耗时,单位为毫秒。

示例

请求示例

POST https://imagex.volcengineapi.com/?Action=FetchImageUrl&Version=2018-08-01
{
    "Url": "https://test.org/con.jpg",
    "ServiceId": "241***mp8"
}

返回示例

{
  "ResponseMetadata": {
    "RequestId": "201806041104200100100232280022D30",
    "Action": "FetchImageUrl",
    "Version": "2018-08-01",
    "Service": "imagex",
    "Region": "cn-north-1"
  },
  "Result": {
    "Url": "https://test.org/con.jpg",
    "StoreUri": "tos-boe-i-241***mp8/32f6b311fa*",
    "FSize": 22421,
    "StartTime": 1692019200000000000,
    "EndTime": 1689304215000000000,
    "TimeCost": 2714985000
  }
}

错误码

访问公共错误码和 veImageX 错误码获取详细信息。

服务端 SDK

为了方便您快速开发,veImageX 提供了配套的服务端 SDK,同时支持多种编程语言。建议您使用服务端 SDK 来调用 API,参考文档如下所示: