You need to enable JavaScript to run this app.
导航
多模态检索
最近更新时间:2025.03.11 19:51:48首次发布时间:2025.01.10 19:13:06
我的收藏
有用
有用
无用
无用

概述

/index/search 接口用于实现检索,本页面主要介绍如何实现多模态数据检索。
多模态数据检索是指向量数据库支持非结构化原始数据,可以直接通过文本搜索文本、文本搜索图片、图片搜索图片等。当用户通过文本搜索时,向量数据库通过测量文本之间的距离来确定两段文本的相似程度,返回文本的相似度。该功能适用于重复识别、文本搜索与匹配、问答等场景。

前提条件
  • Collection 创建时已添加带 pipeline_name 的 text类型字段,或通过设置vectorize 参数配置了Collection的向量化功能
  • Index 创建时,已创建 vector_index 向量索引。

请求接口

说明

请求向量数据库 VikingDB 的 OpenAPI 接口时,需要构造签名进行鉴权,详细的 OpenAPI 签名调用方法请参见 API签名调用指南

URI

/api/index/search

统一资源标识符

请求方法

POST

客户端对向量数据库服务器请求的操作类型

请求头

Content-Type: application/json

请求消息类型

Authorization: HMAC-SHA256 ***

鉴权

请求参数

在基本向量检索的基础上,您可以使用 order_by_rawneed_instruction 子参数实现多模态数据检索。

参数

子参数

类型

是否必选

默认值

参数说明

search

order_by_raw

map

多模态数据检索,当前支持文本、图片检索,字段如下:

  • text:检索的输入文本。
  • image:当前支持2种方式:
    • 图片tos链接。tos://{bucket}/{object_key}
    • base64字符串。base64://{Base64编码}

need_instruction

bool

由模型默认值决定,豆包系列模型默认为true,其他模型默认为false

用于多模态检索场景,对 query 做向量化时是否在 query 前增加 instruction。

响应消息

参数

参数说明

code

状态码

message

返回信息

request_id

标识每个请求的唯一标识符

data

检索结果,文本检索会返回检索到的主键、score、text、fields。

状态码说明

状态码

http状态码

返回信息

状态码说明

0

200

drop index success

Index 检索成功。

1000008

400

index not exist

指定的 Index 不存在。

1000003

400

invalid request

非法参数:

  • 缺失必选参数。
  • 缺乏检索输入。
  • 不满足约束条件。

1000001

401

unauthorized

请求头中缺乏鉴权信息。

1000002

403

no permission

权限不足。

1000029

429

请求已达上限, 请调整CPU核数

需要调大 cpu_quota

完整示例
  • 文本检索

请求消息

curl -i -X POST \
  -H 'Content-Type: application/json' \
  -H 'Authorization: HMAC-SHA256 ***' \
  https://api-vikingdb.volces.com/api/index/search \
  -d '{
    "collection_name": "test_name",
    "index_name": "index_test",
    "search": {
        "order_by_raw":{
            "text":"hello" 
        },
        "dense_weight": 0.5, 
        "limit": 3
    }
}
}'

响应消息

执行成功返回:

HTTP/1.1 200 OK
Content-Length: 43
Content-Type: application/json
 
{
        "message": "success",
        "code": 0,
        "request_id":"021695029736548fd001de66666000000000000000000029aa917",
        "data": [
                [{
                        "score": 0.9027934670448303,
                        "text": "hello world1",
                        "id": 1001,
                        "fields": {
                                "time": 1690529704,
                                "author": "zhangsan"
                }
                },
                {
                        "score": 0.8901656270027161,
                        "text": "hello world3",
                        "id": 1003,
                         "fields": {
                                "time": 1690529701,
                                "author": "lisi"
                }
                },
                {
                        "score": 0.8855509757995605,
                        "text": "hello world2",
                        "id": 1002,
                        "fields": {
                                "time": 1690529708,
                                "author": "wangwu"
                }
                }]
        ]
}

执行失败返回:

HTTP/1.1 400 OK
Content-Length: 43
Content-Type: application/json
 
{"code":1000008, "msg":"index not exist", "request_id":"021695029736548fd001de66666000000000000000000029aa917"}
  • 图片检索

请求消息

curl -i -X POST \
  -H 'Content-Type: application/json' \
  -H 'Authorization: HMAC-SHA256 ***' \
  https://api-vikingdb.volces.com/api/index/search \
  -d '{
    "collection_name": "test_name",
    "index_name": "index_test",
    "search": {
        "order_by_raw":{
            "image":"tos://best-practice-pic-search-tos/pic_search_1000_images/003bd60fa9.jpg}" 
        },
        "dense_weight": 0.5, 
        "limit": 3
    }
}
}'

响应消息

执行成功返回:

HTTP / 1.1 200 OK Content - Length: 43 Content - Type: application / json

{
        "message": "success",
        "code": 0,
        "request_id": "02174064805694700000000000000000000ffff0a00449f914fac",
        "data": [[{
                "fields": {
                        "id": 3,
                        "img_field": "tos://best-practice-pic-search-tos/pic_search_1000_images/000ef44b56.jpg"
                },
                "id": 3,
                "score": 0.125640869140625
        },
        {
                "fields": {
                        "id": 2,
                        "img_field": "tos://best-practice-pic-search-tos/pic_search_1000_images/000d3a9260.jpg"
                },
                "id": 2,
                "score": 0.03074061870574951
        },
        {
                "fields": {
                        "id": 1,
                        "img_field": "tos://best-practice-pic-search-tos/pic_search_1000_images/0009fc27d9.jpg"
                },
                "id": 1,
                "score": 0.02828240394592285
        }]]
}

执行失败返回:

HTTP/1.1 400 OK
Content-Length: 43
Content-Type: application/json
 
{"code":1000008, "msg":"index not exist", "request_id":"02174064805694700000000000000000000ffff0a00449f914fac"}