search_with_multi_modal--向量数据库VikingDB-火山引擎

文档中心

立即注册

导航

search_with_multi_modal

最近更新时间：2025.04.10 21:15:03首次发布时间：2025.02.28 23:21:37

概述

search_with_multi_modal 用于多模态数据检索。多模态数据检索是指向量数据库支持直接通过图文等多模态数据类型进行检索，且支持模态的组合，如文搜图，图搜图，图搜文+图等。

说明

当前支持文本、图片类型的非结构化数据。
Collection 数据写入/删除后，Index 数据更新时间预计20s，不能立即在 Index 检索到。
异步调用使用async_search_with_multi_modal 接口，参数不变。

前提条件

从控制台选择了从向量化开始的数据库类型，并在创建数据集时配置了向量化字段；或通过 create_collection 接口创建数据集时，通过设置 vectorize 参数配置了 Collection 的向量化功能。
通过 upsert_data 接口写入数据时，已写入 text或image 类型的字段名称和字段值。
通过 create_index 创建索引时，已创建 vector_index 向量索引。

请求参数

参数	类型	是否必选	默认值	参数说明
text	string	text 和 image 参数至少需选取其中一个	None	检索的输入文本。
image	string	text 和 image 参数至少需选取其中一个	None	检索的输入图片，当前支持2种方式：图片tos链接。`tos://{bucket}/{object_key}`。 base64字符串。`base64://{Base64编码}`。
filter	map	否	None	过滤条件，详见标量过滤。默认为空，不做过滤。过滤条件包含 must、must_not、range、range_out四类查询算子，包含 and 和 or 两种对查询算子的组合。
limit	int	否	10	检索结果数量，最大5000个。
output_fields	list<string>	否		过滤字段，指定要返回的标量或向量字段列表。 output_fields 不传时，返回所有的标量字段，不返回向量字段。 output_fields 为空列表时，不返回 fields 字段。 output_fields 格式错误或者过滤字段不是 collection 里的字段时, 接口返回错误。如果索引的距离方式为cosine，向量字段返回的向量是归一化后的向量。
partition	string/int	否	"default"	子索引名称，类型与 partition_by 的 field_type 一致，字段值对应 partition_by 的 field_value。 field_type 为 int64，list<int64> 时，partition 输入类型为 int64。 field_type 为 string，list<string> 时，partition 输入类型为 string，格式要求 "^[a-zA-Z0-9._]+$"。
dense_weight	float	否	0.5	混合检索中稠密向量的权重，1 表示纯稠密检索，0表示纯字面检索。只有索引是混合索引时有效。范围 [0.2, 1]
need_instruction	bool	否	由模型默认值决定，豆包系列模型默认为true，其他模型默认为false	用于多模态检索场景，对 query 做向量化时是否在 query 前增加 instruction。

示例

请求参数

# 获取指定索引，程序初始化时调用即可，无需重复调用
index = vikingdb_service.get_index("example_text", "example_index_text")

datas = index.search_with_multi_modal(
    text="这是一个测试",  # 文本输入，表示查询的文本内容
    image="tos://{your_bucket}/{your_object}",  # 图片输入，指定图片的存储位置
    limit=5,  # 设置返回的最大结果数为 5
    need_instruction=False
)
    
# 遍历并输出查询结果
for data in datas:
    # 打印每条数据的 ID、字段信息和相关度分数
    print(data.id, data.fields, data.score)

返回值

Python 调用执行上面的任务，返回 List<Data> 。Data 实例包含的属性如下表所示。

属性	说明
id	主键 id。
fields	请求返回中的 fields 字段，是具体的数据，字典类型。
score	表示找到的向量和输入的向量的匹配程度。