本文介绍了如何使用大模型网关平台预置的目标检测智能体。

能力介绍

大模型网关预置目标检测智能体。该智能体能够识别各种目标物体，包括不同类别、形状、大小、颜色的物体。

使用流程

要使用目标检测智能体，您需要：

1. 创建一个网关访问密钥，并为该密钥绑定目标检测智能体。相关操作，请参见调用平台预置智能体。
   

2. 获取网关访问密钥的 API key。相关操作，请参见查看密钥（API Key）。

3. 调用目标检测智能体 API 执行目标检测任务。关于 API 的使用说明，请参见 API 使用方法。

API 使用方法

目标检测智能体的使用方式整体上符合 OpenAI 标准 Chat 接口，仅有微小差异。您可以参考 OpenAI 相关文档 进行调用。具体差异，请参见与 OpenAI 的不同之处。

以下是对单张图片进行检测的示例：

curl "https://ai-gateway.vei.volces.com/v1/chat/completions" \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $YOUR_API_KEY" \
    -d '{
        "model": "AG-quality-inspection-agent",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text", 
                        "text": "图中元器件的型号是什么"
                    }, 
                    {
                        "type": "image_url", 
                        "image_url": {"url": "b64_img_url"}
                    }
                ]
            }
        ],
        "stream": false
    }'

与 OpenAI 的不同之处

差异一

向目标检测智能体发送的请求中如果包含参考图片，需要通过 content 字段依次传入：

1. 提示词文本
2. 待识别的目标图片
3. 提示词中引用的参考图片

示例

在以下示例中，content 依次包含以下对象：text 提示词、image_url 待识别的目标图片、image_url 提示词中引用的参考图片。

curl "https://ai-gateway.vei.volces.com/v1/chat/completions" \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $YOUR_API_KEY" \
    -d '{
        "model": "AG-quality-inspection-agent",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text", 
                        "text": "请找出图中与参考图像相同的目标，判断它的型号是否是27VL"
                    }, 
                    {
                        "type": "image_url", 
                        "image_url": {"url": "b64_img_url"}
                    },
                    {
                        "type": "image_url", 
                        "image_url": {"url": "b64_guide_img_url"}
                    }
                ]
            }
        ],
        "stream": false
    }'

差异二

目标检测智能体的调用按次收费。在响应体中 usage 各个字段的值均为 0。

示例：

{
    "id": "vision-agent-1737699973450",
    "object": "chat.completion",
    "created": 1737699973450,
    "model": "vision-agent",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "\"图中的元器件型号是27VL。\""
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "total_tokens": 0
    },
    "system_fingerprint": ""
}

差异三

目标检测智能体暂不支持流式返回。