借助豆包视觉理解大模型，您可以使用上传 SDK 将图片、视频上传到 veImageX 的同时，让 AI 对图片内容进行理解和识别。从而实现图像内容提取、图像内容问答、数学题解答等效果。

背景说明

视觉理解大模型是火山方舟推出的可以理解图片内视觉信息，并结合这些信息完成如描述图片等图片相关任务的 AI 模型。

该模型整体具备强大的综合能力，能够应用于图片理解领域中的大部分场景，从基础的图片文字识别，到复杂的数学问题，都具有不错的表现。

不过，该模型明确不具备【图像生成】能力，在实际使用中可能存在如下几个问题，然后寻求方案解决：

1. 支持传入的图片格式有限。比如用户 iOS 拍的照片可能是 heic 格式等，不容易很好的解决；

2. 传入的文件大小有限制，需要在本地机器做一下压缩才能去做，因此寻求云端现成的方案；

3. base64 会增大传输的流量；

4. 视频场景下如何支持；

5. 图片缩放后，可以支持更多的处理张数，综合节省成本。

因此，我们考虑解除大模型的封印，通过接入 veImageX 服务来实现对大模型能力限制，增加前置处理，支持更多能力。

组合方案

根据现有的能力，我们可以如下方式来桥接思路。

优势说明

操作准备

veImageX 侧配置		火山方舟侧配置
服务管理	处理配置	开通管理	在线推理
创建图像处理服务 获取图像处理服务 ID，例如 n9b***hz3 获取域名，例如 imagex.test.com	根据原始资源类型创建图片处理模板，获取模板配置，如 tplv-n9b***hz3-test.jpeg	开通 Doubao-vision 模型	创建推理接入点 获取 base_url，例如 https://ark.cn-beijing.volces.com/api/v3 获取 model，例如 p-2024**********-****m

根据您需要处理的资源类型以及输出的图片要求，您需要创建含有对应配置的处理模板。具体如下所示。

https://imagex.75live.com/volcimagex.mp4~tplv-n9b2vwdhz3-snap-v1:0:540:1000:500000.jpeg

https://imagex.75live.com/0.05697426767288283.png~tplv-n9b2vwdhz3-img:0:540:500000.jpeg

https://imagex.75live.com/0.05697426767288283.png

具体使用

上传图片+前置处理

veImageX 支持上传任何类型的资源，更多上传说明，可参考 veImageX 上传最佳实践。

# coding:utf-8
from __future__ import print_function
from volcengine.imagex.v2.imagex_service import ImagexService
import os
from volcenginesdkarkruntime import Ark
#从控制台获取 ak 和 sk
IMAGEX_AK = "你的 ak"
IMAGEX_SK = "你的 sk"
ARK_API_KEY = "你的火山方舟的 ARK_API_KEY"            # 替换火山方舟的 ARK_API_KEY，填入 准备操作-在线推理 获取的 ARK_API_KEY
'''
如下是火山引擎 veImageX 上传并拼接 url 的示例，上传前确保使用 pip install --user volcengine 安装 veIamgeX SDK
'''

if __name__ == "__main__":
    imagex_service = ImagexService()
    domain = "imagex.test.com"                     # 替换域名，填入 准备操作-服务管理 中获取的域名
    Tpl = "tplv-serviceid-1.jpeg"                  # 替换图片压缩模板，填入 准备操作-处理配置 中获取的模板
    imagex_service.set_ak(IMAGEX_AK)
    imagex_service.set_sk(IMAGEX_SK)
    params = dict()
    params["ServiceId"] = "serviceid"             # 服务 ID，填入 准备操作-服务管理 中获取的服务 ID
    params["SkipMeta"] = False 
    params["SkipCommit"] = False
    params["StoreKeys"] = "dev/aigc/pic/demo1.jpg" # 指定刚上传后图片的存储 uri，可自定义，不填则使用随机生成的字符串
    # params['FileExtension'] ='jpeg'
    file_paths = ["/Users/1.jpg"]                  # 本地文件的路径，可以支持上传任意类型文件，包括视频、图片等
    resp = imagex_service.upload_image(params, file_paths)
    if resp["Results"][0]["UriStatus"] != 2000:
        raise Exception("upload failed")
    image_uri = resp["Results"][0]["Uri"]
    imagex_url = "https://" + domain + "/" + image_uri + "~" + Tpl # 拼接模板处理后的图片 url，拼接方式为：http://domain/uri+处理模板
    print("----- imagex upload and compress  success-----")
    print(imagex_url)

'''
以下为是火山方舟视觉理解大模型的调用示例，调用前请确保使用 pip install --upgrade 'volcengine-python-sdk[ark]' 安装了火山方舟 SDK
'''
    client = Ark(
        api_key=ARK_API_KEY,
        base_url="https://ark.cn-beijing.volces.com/api/v3",
    )
    print("----- streaming request -----")
    stream = client.chat.completions.create(
        model="ep-2024**********-****m",           # 替换 model，填入 准备操作-在线推理 获取的 model
        messages=[
            {
                "role": "system",
                "content": "你是豆包，是由字节跳动开发的 AI 人工智能助手",
            },
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": "请用几个关键词解释一下这张图帮我解释一下这张图",
                    },
                    {"type": "image_url", "image_url": {"url": imagex_url}},   # 传入 veImageX 拼接的处理后的 url
                ],
            },
        ],
        stream=True,
    )
    for chunk in stream:
        if not chunk.choices:
            continue
        print(chunk.choices[0].delta.content, end="")
    print()

上传视频

请使用 veImageX 的截帧处理，将视频转换为图片后，再使用图像检索模型对图片内容进行理解。

# coding:utf-8
from __future__ import print_function
from volcengine.imagex.v2.imagex_service import ImagexService
from volcenginesdkarkruntime import Ark

# 从控制台获取ak和sk

IMAGEX_AK = "你的 ak"
IMAGEX_SK = "你的 sk"
ARK_API_KEY = "你的火山方舟的 ARK_API_KEY"            # 替换火山方舟的 ARK_API_KEY，填入 准备操作-在线推理 获取的 ARK_API_KEY

'''
如下是火山引擎 veImageX 上传并拼接 url 的示例，上传前确保使用 pip install --user volcengine 安装 veIamgeX SDK
'''

if __name__ == "__main__":
    imagex_service = ImagexService()
    domain = "imagex.test.com"                     # 替换域名，填入 准备操作-服务管理 中获取的域名
    Tpl = "tplv-n9b2vwdhz3-snap-v1:0:0:{}:0.jpeg"  # 替换视频截帧模板填入 准备操作-处理配置 中获取的模板。{}是视频截帧的时间点，单位是毫秒
    imagex_service.set_ak(IMAGEX_AK)
    imagex_service.set_sk(IMAGEX_SK)
    params = dict()
    params["ServiceId"] = "serviceid"             # 服务 ID，填入 准备操作-服务管理 中获取的服务 ID
    params["SkipMeta"] = False  #
    params["SkipCommit"] = False
    params["StoreKeys"] = "dev/aigc/pic/demo2.mp4"  # 指定刚上传后图片的存储 uri，可自定义，不填则使用随机生成的字符串
    # params['FileExtension'] ='jpeg'
    file_paths = ["/Users/dev/aigc/pic/volcimagex.mp4"]  # 本地视频文件的路径，支持上传任意类型文件，包括视频、图片等
    resp = imagex_service.upload_image(params, file_paths)
    if resp["Results"][0]["UriStatus"] != 2000:
        raise Exception("upload failed")
    image_uri = resp["Results"][0]["Uri"]
    imagex_url = "https://" + domain + "/" + image_uri + "~" + Tpl  # 拼接模板处理后的图片 url，拼接方式为：http://domain/uri+处理模板
    print("----- imagex upload and compress  success-----")

    # 传入时间点，构造 1-10 秒的截帧 URL 列表
    imagex_urls = [imagex_url.format(i * 1000) for i in range(1, 11)]
    # 构建 messages 列表中的 image_url 部分
    image_urls_content = [{"type": "image_url", "image_url": {"url": url}} for url in imagex_urls[:10]]

'''
以下为是火山方舟视觉理解大模型的调用示例，调用前请确保使用 pip install --upgrade 'volcengine-python-sdk[ark]' 安装了火山方舟 SDK
'''
		
		client = Ark(
		    api_key=ARK_API_KEY,
		    base_url="https://ark.cn-beijing.volces.com/api/v3",
		)
		
		print("----- streaming request -----")
		stream = client.chat.completions.create(
		    model="ep-2024**********-****m",           # 替换 model，填入 准备操作-在线推理 获取的 model
		    messages=[
		        {
		            "role": "system",
		            "content": "你是豆包，我会将一个视频每隔1s截图发给你，帮我总结出视频的主要内容，请注意这是一个视频",
		        },
		        {
		            "role": "user",
		            "content": [
		                {
		                    "type": "text",
		                    "text": "请帮我总结视频内容",
		                },
		                *image_urls_content            # 使用星号(*)操作符将列表项展开为单独的元素
		            ],
		        },
		    ],
		    stream=True,
		)
		for chunk in stream:
		    if not chunk.choices:
		        continue
		    print(chunk.choices[0].delta.content, end="")
		print()

App 端和其他端上传和截图原理类似，详细请见上传最佳实践。上传成功后均可以通过 http://domain/uri+模板+签名（可选），拼接有效访问地址，处理成目标结果，返回给用户预览或者送给大模型处理。

• Node.js SDK-上传资源
• Golang SDK-上传资源
• Java SDK-上传资源
• Python SDK-上传资源
• PHP SDK-上传资源

常见问题

为什么在本文档中不选用 Base64 方式在视觉理解大模型中上传图片？

主要原因为 Base64 这种上传方式会导致数据量增加，具体说明如下：

Base64 编码是将 3 个 8 位的字节转化为 4 个 6 位的字节，然后在 6 位的前面补两个 0，形成 8 位一个字节的形式 。如果剩下的字符不足 3 个字节，则用 0 填充，输出字符使用 “=” 245。从数学角度来看，每 3 个字节的原始数据经过 Base64 编码后会变为 4 个字节来存储和传输，这就导致了数据量的增加。一般来说 Base64 编码后的数据量会比原始数据增大约 1/3 左右。

由于 Base64 编码后的大型图片数据量增大，那么在网络传输过程中就需要消耗更多的时间和带宽来传输这些数据。例如，一个原本 500KB 的大型图片，经过 Base64 编码后可能会变为 667KB 左右，传输时间自然会延长。