You need to enable JavaScript to run this app.
导航
检索测试知识库
最近更新时间:2024.12.03 20:45:09首次发布时间:2024.10.12 19:00:06

本节将说明如何基于一个已创建的知识库做在线检索与基于大语言模型进行问答。

说明

  • 知识库创建完成、文档导入且处理完成后,即代表可以进行在线检索了。
  • 调用接口前请先完成“API参考-对接指南”页面的注册账号、实名认证、AK/SK 密钥获取和签名获取。

知识库检索测试

入口一:在知识库列表页选择对应的知识库,进入详情页并点击「检索测试」按钮进入检索测试界面。
Image
入口二:在知识库列表页找到对应的知识库,通过知识库右上角的 ··· ,进入检索测试页面。
Image
检索测试详情页如下
Image

参数说明

左侧为检索测试的参数设置,右侧为检索和对话的界面。下表为各个参数的详细信息:

参数

作用

取值范围

返回文本片数量

控制最终检索返回的文本片数量。
如果没有若打开重排模型,则表示检索返回重排后的 TopN 文本片数量;如果
若打开了重排模型,则表示模型排序后的结果的前 K 个文本片,K 为返回的文本片数量。

如果没有打开重排模型:[1, 200]
如果打开了重排模型:[1, Top K]

启用重排模型

控制是否使用重排模型对检索到的文本片进行重新排序。
打开重排模型则会获得更准确的问题-文本片相似性的评分,提升检索效果。
打开后检索的时间会略有增长,且与召回文本数量成正比,建议合理设置召回文本数量。

默认模型:m3-v2-rerank,轻量小模型,推理速度更快

召回数量(Top K)

召回是指从海量的候选文本片中找出与问题最相关的 K 个文本片的过程。仅在打开了重排模型的时候可设置此项。建议设置召回数量略大于返回文本片数量,可提高检索性能。

[1, 200]

更多参数-Dense Weight

在创建知识库时,如果选择的向量化模型和索引算法支持混合检索,则检索时系统会同时考虑问题与候选文本片的语义相关性和字面上的匹配程度,获得更准确的检索结果。
Dense Weight 参数用于控制检索时语义相似程度的重要性权重,越偏向 1 表示越倾向于语义检索,越偏向 0 则表示越偏向于关键词匹配检索。

[0.2, 1]

更多参数-按标签过滤文档范围

标签过滤文档范围未配置时,表示不做过滤。
如希望按照标签过滤文档,可在添加条件中的下拉列表中选择需要过滤的标签名称,并选择对应的过滤条件。
过滤条件包括六种:包含、不包含、大于、小于、大于等于、小于等于。条件关系包括两种:且、或。

--

大模型回答

控制是否使用大模型总结背景知识回答问题。
关闭则返回检索到的文本片,打开则返回基于文本片和 prompt 组装后模型的回答。

--

拼接邻近文本片数量

取该值作为召回重排后拼接邻近文本片的数量,若召回重排后文本片数为k,该值为p,则最终返回数量范围为[k,k+2kp]

[0, 5]

编写 prompt

当打开「使用大语言模型生成回答」时可设置。
prompt 编排允许您设置传入大语言模型时如何组装用户问题和检索到的文本片,以及其他的回复要求。
prompt 编排必须包含两个变量,使用两个花括号+变量名作为占位符:

  • {{ .retrieved_chunks }}:检索返回的文本片
  • {{ .user_query }}:用户提出的问题

在组织 prompt 时,您可以给大语言模型一些指示。以贴合您的使用场景。例如,让大语言模型使用检索到的文本作为背景信息回答问题,并在检索到的信息不能回答用户问题时转接人工客服,等等。

--

API 调用

保存设置后,您可以点击「API 调用」按钮获得 API 调用的请求体,便于您将调试好的设置嵌入您的应用当中。

--

切片检索

在检索与对话界面,您可以提出您要检索的问题,如果没有打开「使用大语言模型生成回答」,则系统会返回与问题最相关的若干个文本片:
Image

大模型回答

如果打开了「使用大语言模型生成回答」,模型会将检索到的文本片组装到 prompt 编排区域的 prompt 中,再输入大语言模型,由大语言模型根据检索到的背景信息回答问题。
Image
在编写 pormpt 的部分,提供了几个核心场景的 prompt 模板,点击应用即可进行对原本 prompt 的覆盖
Image
对话框下方显示参考文本片的来源文档。点击「召回详情」按钮可以查看检索到的文本片的召回分数和重排分数,切换可以看到 prompt 组装后最终的完整 prompt。
Image
检索测试支持多轮对话,可以基于上下文对当前轮输入的问题进行改写,从而得到更准确的问题回复。点击「清空对话」可以清空上下文。
Image

说明

  • 开启使用大语言模型时,拼接邻近文本片后,平台会按照文本片的 doc_id字段聚合相同来源的文本片,相同来源的文本片按照 chunk_id 顺序排列。
  • 大语言模型的输入字符数量有限制,为了避免超出限制,系统在组装 prompt 时会截断过长的文本片。请根据选用的大语言模型的输入窗口大小设置合理的返回文本片数量。

接口详细说明请参考:search接口说明