SearchWithMultiModal--向量数据库VikingDB-火山引擎

文档中心

立即注册

导航

SearchWithMultiModal

最近更新时间：2025.04.10 21:16:06首次发布时间：2025.02.28 23:18:37

概述

SearchWithMultiModal 用于多模态数据检索。多模态数据检索是指向量数据库支持直接通过图文等多模态数据类型进行检索，且支持模态的组合，如文搜图，图搜图，图搜文+图等。

说明

当前支持文本、图片类型的非结构化数据。
Collection 数据写入/删除后，Index 数据更新时间预计20s，不能立即在 Index 检索到。

前提条件

从控制台选择了从向量化开始的数据库类型，并在创建数据集时配置了向量化字段；或通过 CreateCollection 接口创建数据集时，通过设置 vectorize 参数配置了 Collection 的向量化功能。
通过 UpsertData 接口写入数据时，已写入 text或image 类型的字段名称和字段值。
通过CreateIndex 创建索引时，已创建 vectorIndex 向量索引。

请求参数

参数	子参数	类型	是否必选	默认值	参数说明
TextObject	Text	string	text 和 image 参数至少需选取其中一个		检索的输入文本。
ImageObject	Image	string	text 和 image 参数至少需选取其中一个		检索的输入图片，当前支持2种方式：图片tos链接。`tos://{bucket}/{object_key}`。 base64字符串。`base64://{Base64编码}`。
searchOptions	filter	map	否		过滤条件，详见 filter 表达式说明。默认为空，不做过滤。过滤条件包含 must、must_not、range、range_out四类查询算子，包含 and 和 or 两种对查询算子的组合。
	limit	int	否	10	检索结果数量，最大5000个。
	outputFields	list<string>	否		过滤字段，指定要返回的标量或向量字段列表。 outputFields 不传时，返回所有的标量字段，不返回向量字段。 outputFields 为空列表时，不返回 fields 字段。 outputFields 格式错误或者过滤字段不是 collection 里的字段时, 接口返回错误。如果索引的距离方式为cosine，向量字段返回的向量是归一化后的向量。
	partition	string/int	否	"default"	子索引名称，类型与 partitionBy 的 fieldType 一致，字段值对应 partitionBy 的 fieldValue。 fieldType 为 int64，list<int64> 时，partition 输入类型为 int64。 fieldType 为 string，list<string> 时，partition 输入类型为 string，格式要求 "^[a-zA-Z0-9._]+$"。
	dense_weight	float	否	0.5	对于混合检索，dense_weight 用于控制稠密向量在检索中的权重。范围为[0.2，1]。仅在检索的索引为混合索引时有效。
	needInstruction	bool	否	由模型默认值决定，豆包系列模型默认为true，其他模型默认为false	用于多模态检索场景，对 query 做向量化时是否在 query 前增加 instruction。

示例

请求参数

// 获取指定索引，程序初始化时调用即可，无需重复调用
index, _ := service.GetIndex("go_text_new", "goIndex")

// 创建搜索选项，设置限制、文本、图片等参数 
searchOpt := vikingdb.NewSearchOptions().SetLimit(5). 
    SetText("这是一个测试").  // 设置文本查询内容
    SetImage("tos://{your_bucket}/{your_object}").  // 设置图片查询路径 
    SetNeedInstruction(false). 
    SetRetry(true)  // 启用重试机制 
    
// 执行多模态搜索 
datas, err := index.SearchWithMultiModal(searchOpt) 
if err != nil{ 
    // 错误处理 
    panic(err)
} 
    
// 输出查询结果的字段和得分 
for _, data := range datas { 
    fmt.Println(data.Fields, data.Score) 
}

返回值

Go 调用执行上面的任务，返回 Data 结构体地址构成的列表（[]*Data）。Data 结构体包含的属性如下表所示。

属性	说明
Id	主键 id。
Fields	请求返回中的 fields 字段，是具体的数据，map 类型。
Score	表示找到的向量和输入的向量的匹配程度。
Text	文本非结构化检索时返回。