本节将介绍如何利用大语言模型,基于已创建的知识库实现问答功能。知识问答适用于智能客服、领域咨询、辅助销售和文案生成等场景。
说明
在知识库列表页选择对应的知识库,进入详情页并点击「知识问答」按钮进入测试界面。
测试页面中,左侧为知识问答测试的参数设置模块,右侧为对话的界面。下表为各个参数的详细信息:
参数 | 作用 | 取值范围 |
---|---|---|
返回文本片数量 | 控制最终检索返回的文本片数量。 | 如果没有打开重排模型:[1, 200] |
问题改写 | 启用后,将基于历史对话对本轮问题进行改写,使其具备更完整的语义信息,检索更准确。 | 默认关闭 |
启用重排模型 | 控制是否使用重排模型对检索到的文本片进行重新排序。 | 默认模型:m3-v2-rerank,轻量小模型,推理速度更快 |
召回数量(Top K) | 召回是指从海量的候选文本片中找出与问题最相关的 K 个文本片的过程。仅在打开了重排模型的时候可设置此项。建议设置召回数量略大于返回文本片数量,可提高生成准确性。 | [1, 200] |
更多参数-Dense Weight | 在创建知识库时,如果选择的向量化模型和索引算法支持混合检索,则检索时系统会同时考虑问题与候选文本片的语义相关性和字面上的匹配程度,获得更准确的检索结果。 | [0.2, 1] |
更多参数-按标签过滤文档范围 | 标签过滤文档范围未配置时,表示不做过滤。 | -- |
文档聚合排序 | 启用后,将按照原始文档顺序,对召回的切片进行排序聚合,以保证语序和语义正确。 | 默认开启 |
大模型回答 | 控制是否使用大模型总结背景知识回答问题。 | -- |
拼接邻近文本片数量 | 取该值作为召回重排后拼接邻近文本片的数量,若召回重排后文本片数为k,该值为p,则最终返回数量范围为[k,k+2kp] | [0, 5] |
编写 prompt | 当打开「使用大模型模型生成回答」时可设置。
平台也提供了几个核心场景的 prompt 模板并支持一键引用。 | -- |
API 调用 | 保存设置后,您可以点击「API 调用」按钮获得 API 调用的请求体,便于您将调试好的设置嵌入您的应用当中。 | -- |
模型将检索到的文本片组装到 prompt 编排区域的 prompt 中,再输入大模型模型,由大模型模型根据检索到的背景信息回答问题。
在编写 prompt 的部分,提供了几个核心场景的 prompt 模板,点击应用即可进行对原本 prompt 的覆盖
对话框下方显示参考文本片的来源文档。点击「召回详情」按钮可以查看检索到的文本片的召回分数和重排分数。
切换可以看到 prompt 组装后最终的完整 prompt。
检索测试支持多轮对话,可以基于上下文对当前轮输入的问题进行改写,从而得到更准确的问题回复。点击「清空对话」可以清空上下文。
说明
doc_id
字段聚合相同来源的文本片,相同来源的文本片按照 chunk_id
顺序排列。