本文介绍了如何使用大模型网关平台预置的工业质检智能体。

能力介绍

大模型网关平台预置了工业质检智能体。该智能体能够从包含 PCBA 板的图片中识别各种不同类型、规格和形状的元器件（如电容、电阻、芯片、连接器等），快速定位元器件的各种缺陷（包括但不限于漏装、错装、短路、开路等），并回答缺陷在 PCBA 板上的具体位置，方便进行修复和处理。

使用流程

要使用工业质检智能体，您需要：

1. 创建一个网关访问密钥，并为该密钥绑定工业质检智能体。相关操作，请参见调用平台预置智能体。
   

2. 获取网关访问密钥的 API key。相关操作，请参见查看密钥（API Key）。

3. 调用工业质检智能体 API 执行质检任务。关于 API 的使用说明，请参见 API 使用方法。

调用预览

使用工业质检智能体前，您可以先通过预览功能体验其能力。预览只需要一个网关访问密钥即可。

1. 登录大模型网关控制台。

2. 在左侧导航栏，选择 模型配置管理 > 智能体管理。
3. 在 平台预置智能体 标签页，找到 工业质检智能体，单击 操作 列的 调用预览。
4. 在 调用预览 面板，参照以下步骤来体验工业质检智能体的能力：
   1. 上传一张要检测的 PCBA 板图片，或者从预设的样例图片中选择一张。
   2. 选择要使用的 网关访问密钥，然后单击 立即体验。
      
   3. 在输入框中输入提示词，向智能体下达任务指示。
      

API 使用方法

工业质检智能体的使用方式整体上符合 OpenAI 标准 Chat 接口，仅有微小差异。您可以参考 OpenAI 相关文档 进行调用。具体差异，请参见与 OpenAI 的不同之处。

以下是对单张图片进行检测的示例：

curl "https://ai-gateway.vei.volces.com/v1/chat/completions" \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $YOUR_API_KEY" \
    -d '{
        "model": "AG-quality-inspection-agent",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text", 
                        "text": "图中元器件的型号是什么"
                    }, 
                    {
                        "type": "image_url", 
                        "image_url": {"url": "b64_img_url"}
                    }
                ]
            }
        ],
        "stream": false
    }'

与 OpenAI 的不同之处

差异一

向工业质检智能体发送的请求中如果包含参考图片，需要通过 content 字段依次传入：

1. 提示词文本
2. 待识别的目标图片
3. 提示词中引用的参考图片

示例

在以下示例中，content 依次包含以下对象：text 提示词、image_url 待识别的目标图片、image_url 提示词中引用的参考图片。

curl "https://ai-gateway.vei.volces.com/v1/chat/completions" \
    -H "Content-Type: application/json" \
    -H "Authorization: Bearer $YOUR_API_KEY" \
    -d '{
        "model": "AG-quality-inspection-agent",
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text", 
                        "text": "请找出图中与参考图像相同的目标，判断它的型号是否是27VL"
                    }, 
                    {
                        "type": "image_url", 
                        "image_url": {"url": "b64_img_url"}
                    },
                    {
                        "type": "image_url", 
                        "image_url": {"url": "b64_guide_img_url"}
                    }
                ]
            }
        ],
        "stream": false
    }'

差异二

工业质检智能体的调用按次收费。在响应体中 usage 各个字段的值均为 0。

示例：

{
    "id": "vision-agent-1737699973450",
    "object": "chat.completion",
    "created": 1737699973450,
    "model": "vision-agent",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "\"图中的元器件型号是27VL。\""
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 0,
        "completion_tokens": 0,
        "total_tokens": 0
    },
    "system_fingerprint": ""
}

差异三

工业质检智能体暂不支持流式返回。