本文介绍了如何为自定义模型(基于 Triton 推理框架)创建一个版本。
模型版本定义了相应的模型文件。创建模型版本时,您需要将模型文件上传到边缘智能控制台。当模型版本发布后,您才可以使用相应的模型文件来部署一个模型服务。
ONNX 模型支持模型文件加密上传功能。您可以将使用密钥加密的模型文件上传到边缘智能控制台,而将对应的密钥保管在您的边缘节点(无需上传到边缘智能平台)。模型文件只能通过边缘智能提供的加密工具进行加密。更多信息,请参见使用 ONNX 模型加密功能。
为模型创建版本前,您必须先准备好模型文件。
基于 Triton 推理框架的模型文件仅能通过文件夹上传。文件夹以及文件夹内文件的格式必须满足以下要求:
<version_number>
),必须是一个正整数。如 1
、11
等。模型框架 | 模型文件要求 | 示例 |
---|---|---|
TensorFlow | 必须包含文件 | |
Pytorch | 必须包含文件 | |
TensorRT | 必须包含文件 | |
ONNX | 必须包含文件 | |
OpenVINO | 必须包含文件 | |
Python | 必须包含文件 | |
Bytenn | 必须包含文件 | |
PaddlePaddle | 必须包含文件 | |
TensorRT LLM | 必须包含文件 |
登录边缘智能控制台。
在左侧导航栏顶部的 我的项目 区域,选择您的项目。
在左侧导航栏,选择 边缘推理 > 模型管理。
在 自定义模型 列表,找到您的模型,单击模型名称。
单击 版本管理 页签。
单击 模型版本 页签,然后单击 创建版本。
在 新建版本 对话框,根据以下配置说明完成模型版本的配置,然后单击 完成。
配置项 | 说明 |
---|---|
名称 | 为版本设置名称。您可以使用以下字符:汉字、英文字母、数字、下划线(_)、连字符(-)、半角句号(.)。请注意以下规则:
|
描述 | 为版本添加描述。长度不超过 128 个字符。 |
根据创建模型时选择的 模型框架 不同,需要完成的参数配置不同。 | |
文件 | 上传对应的模型文件。可选择的方式包括:
关于模型文件的具体要求,请参见准备工作。 |
是否为加密模型 | 该配置项的值默认为 否。如果选择 是,表示您将上传经过加密的 ONNX 模型文件。关于如何为 ONNX 模型文件加密,请参见 使用 ONNX 模型加密功能。 说明 只有当 模型框架 是 ONNX 时,该配置项允许修改。 |
分支配置(2):当 模型框架 是 Ensemble 时,需要配置 添加模型。 | |
添加模型 | 从模型版本下拉列表,选择 Ensemble 模型中包含的子模型的版本。您可以单击 添加模型,添加多个版本。 |
完成以上操作后,您可以在 版本管理 列表看到刚刚创建的版本。此处,版本的状态是 草稿,您可以编辑此版本。当您确认不再对版本内容进行修改时,可以发布版本。只有当模型下存在发布的版本时,相应模型才可用于部署模型服务。