add--向量数据库VikingDB-火山引擎

文档中心

立即注册

导航

add

最近更新时间：2024.09.10 20:32:42首次发布时间：2024.04.17 14:21:10

概述

/api/knowledge/doc/add 接口用于向已创建的知识库导入文档。

说明

文档类型限制参考支持文档格式说明

前提条件

完成“对接指南“页面的注册账号、实名认证、AK/SK 密钥获取和签名获取后，可调用 API 接口实现知识库的创建功能。

请求接口

URI	/api/knowledge/doc/add	统一资源标识符
请求方法	POST	客户端对向量数据库服务器请求的操作类型
请求头	Content-Type: application/json	请求消息类型
请求头	Authorization: HMAC-SHA256 ***	鉴权

请求参数

参数	子参数	类型	是否必选	默认值	参数说明
collection_name	--	string	否	--	知识库名称只能使用英文字母、数字、下划线_，并以英文字母开头，不能为空长度要求：[1, 64]
project	--	string	否	default	知识库所属项目即在【访问控制】-【资源管理】-【项目】中创建的项目
resource_id	--	string	否	--	知识库唯一 id 可选择直接传 resource_id，或同时传 name 和 project 作为知识库的唯一标识
add_type	--	string	是	--	文档添加的方式，可为以下枚举值： url ：提供了可以直接下载的 url 链接 tos ：tos 的已授权目录，目前只支持华北区域
doc_id	--	string	否	--	知识库下的文档唯一标识只能使用英文字母、数字、下划线_，并以英文字母开头，不能为空长度要求：[1, 128] 注：多次上传，重复的 doc_id 会进行覆盖（新上传的覆盖旧的） "add_type" == "url" 时，该字段必传 "add_type" == "tos" 时，该字段无效，系统会自动从 tos 文件的 meta 中获取知识库常见问题
doc_name	--	string	否	--	文档名称长度要求：[1, 256] "add_type" == "url" 时，该字段必传 "add_type" == "tos" 时，该字段无效，系统会自动从 tos 中获取
doc_type	--	string	否	--	上传文档的类型，非结构化文档支持类型：txt, doc, docx, pdf, markdown/md, faq.xlsx, pptx ；结构化文档支持类型：xlsx, csv, jsonl 注： add_type 为 url 时，该字段必传。 add_type 为 tos 时，该字段无效，系统会自动从 tos 文件的扩展名中获取。【对于faq格式的说明】上传文档时，需要通过特殊的后缀 .faq 进行标识，格式为：文档名.faq.xlsx；文档固定格式为一列问题、一列答案，示例：Q&A问答对示例解析限制说明：支持解析多个 sheet，不超过 50 个；多个 sheet 总行数上限为 1万，超过文档处理失败；对于问题或答案为空的行会跳过不做处理。若 faq 包含问题和答案外的其他信息，建议创建非结构化知识库
tos_path	--	string	否	--	已授权的 tos 目录（注意需要以/结尾）或指定文件路径 "add_type" == "url" 时，该字段无效 "add_type" == "tos" 时，该字段必传系统会自动生成 doc_id，若需手动指定，可参考知识库常见问题，在 tos 元信息中定义元数据信息上除 doc_id 外的其他信息会被当做文件的 doc_meta 信息保存注：导入目录下的文档是一次性的，后续目录下的文档变更不会被自动同步到知识库 tos 目录下文档的 doc_id 取值若重复，最终导入知识库只会保留最后一个上传的文档，即 doc_id 唯一如果目录下文件内容的变更需求，有以下两种方式：通过 url 方式导入，并指定要替换文档的 doc_id （相对比较快）通过 tos 方式导入，这种方式会对目录下所有的文档做变更检查，并将新文档替换旧文档。由于需要做文件校验，这种方式耗时较长导入目录时只会扫描目录下的文件，而不会递归查看子目录
url	--	string	否	--	上传文档的 url 链接对应 url 链接的文档不超过 20 MB "add_type" == "url" 时，该字段必传，字段长度范围是[1,1024] add_type 为其他值时，该字段无效
meta		array 或 array 对应的json 字符串	否	--	meta 信息 "add_type" == "url" 时，该字段有效 add_type 为其他值时，该字段无效
	field_name	string	否	--	字段名不能为 “doc_id” 使用英文字母，数字，下划线，并以英文字母开头，长度不得超过 128 存在于 collection 的 fields 中的 field_name 可以用于在检索时的字段筛选，不存在的只能用于信息展示(注意类型需要保持一致）
	field_type	string	否	--	字段类型支持 "int64"，"float32"，"string"，"bool"，"list<string>" 类型，限制参考VikingDB的field_type规则和说明
	field_value	与 field_type指定类型一致	否	--	字段值

响应消息

参数	参数说明
code	状态码
message	返回信息
request_id	标识每个请求的唯一标识符

状态码说明

状态码	http状态码	返回信息	状态码说明
0	200	success	成功
1000001	401	unauthorized	鉴权失败
1000002	403	no permission	权限不足
1000003	400	invalid request：%s	非法参数
1000005	400	collection not exist	collection不存在
1001010	400	doc num is exceed 10000	doc数量已满

完整示例

请求消息

curl -i -X POST \
  -H 'Content-Type: application/json' \
  -H 'Authorization: HMAC-SHA256 ***' \
  https://api-knowledgebase.mlp.cn-beijing.volces.com/api/knowledge/doc/add \
  -d '{
    "collection_name": "test_collection_name",
    "project": "",
    "add_type": "url",
    "doc_id": "test0123",
    "doc_name": "张某某盗窃案",
    "doc_type": "pdf",
    "url": "https://fwh-my-test-bucket.tos-cn-beijing.volces.com/%E6%96%B0%E6%A9%99%E7%A7%91%E6%8A%80/%E5%91%A8%E6%9D%A8%E7%9B%97%E7%AA%83%E6%A1%88.pdf?X-Tos-Algorithm=TOS4-HMAC-SHA256&X-Tos-Content-Sha256=UNSIGNED-PAYLOAD&X-Tos-Credential=AKTP0UZNtgnE7Lfth5eB2z0Z9qy2gyewikK9nbStjHp0OY%2F20240325%2Fcn-beijing%2Ftos%2Frequest&X-Tos-Date=20240325T114024Z&X-Tos-Expires=3600&X-Tos-SignedHeaders=host&X-Tos-Security-Token=nCgdqdEROend3.ChsKBzNzX056d3cSEGBgA9av-UtVs7ClfMkXS4oQk8WFsAYYo-GFsAYgle7V6QcoAjCSkLEJOhx6aGFpeXVqaWEuMDMyMkBieXRlZGFuY2UuY29tQgN0b3NSHHpoYWl5dWppYS4wMzIyQGJ5dGVkYW5jZS5jb21YBGAB.Nur_XCwZ_1LHmSsfeWGjDUn8SEOo3c6op5hx3lUgLZuxtHN_sqs-Kd0KbKw-51CT6wXKQo3AbmidScqVTu6gLQ&X-Tos-Signature=5c3dff2f8cd67daae99476d54188033cc32932d87f1ff85f4f1afd5862fa35cd",
    "meta":[
    {"field_name":"行业","field_type":"string", "field_value":"企业服务"},
    {"field_name":"是否公开","field_type":"bool", "field_value":True},
    ]
}'

响应消息

执行成功返回：

HTTP/1.1 200 OK
Content-Length: 43
Content-Type: application/json
 
{"code":0,"message":"success","request_id":"021695029537650fd001de666660000000000000000000230da93"}

执行失败返回：

HTTP/1.1 400 OK
Content-Length: 43
Content-Type: application/json
 
{"code":1000003, "message":"invalid request：%s", "request_id": "021695029757920fd001de6666600000000000000000002569b8f"}