You need to enable JavaScript to run this app.
导航
创建一个版本
最近更新时间:2024.09.05 20:36:31首次发布时间:2022.11.03 20:11:05

本文介绍了如何为自定义模型(基于 Triton 推理框架)创建一个版本。

背景信息

模型版本定义了相应的模型文件。创建模型版本时,您需要将模型文件上传到边缘智能控制台。当模型版本发布后,您才可以使用相应的模型文件来部署一个模型服务。

ONNX 模型文件加密上传

ONNX 模型支持模型文件加密上传功能。您可以将使用密钥加密的模型文件上传到边缘智能控制台,而将对应的密钥保管在您的边缘节点(无需上传到边缘智能平台)。模型文件只能通过边缘智能提供的加密工具进行加密。更多信息,请参见使用 ONNX 模型加密功能

准备工作

为模型创建版本前,您必须先准备好模型文件。
基于 Triton 推理框架的模型文件仅能通过文件夹上传。文件夹以及文件夹内文件的格式必须满足以下要求:

  • 文件夹的名称表示模型的版本号(<version_number>),必须是一个正整数。如 111 等。
  • 不同模型框架下,只允许上传特定格式的模型文件。具体说明如下。

模型框架

模型文件要求

示例

TensorFlow

必须包含文件model.graphdef,或者包含文件夹model.savedmodel/<model_files>

图片

Pytorch

必须包含文件model.pt

图片

TensorRT

必须包含文件model.plan

图片

ONNX

必须包含文件model.onnx,或者包含文件夹model.onnx/<model_files>
您可以上传经过加密的model.onnx文件。关于为 ONNX 模型文件加密的方法,请参见使用 ONNX 模型加密功能

图片

OpenVINO

必须包含文件model.binmodel.xml

图片

Python

必须包含文件model.py

图片

Bytenn

必须包含文件model.bytenn

图片

PaddlePaddle

必须包含文件model.pdmodelmodel.pdiparams

图片

TensorRT LLM

必须包含文件.engine

图片

前提条件

  • 您已经创建了自定义模型,并且自定义模型的 推理框架Triton框架。相关操作,请参见创建自定义模型
  • 您已经准备好模型文件。模型文件需要满足准备工作中的要求。

操作步骤

  1. 登录边缘智能控制台

  2. 在左侧导航栏顶部的 我的项目 区域,选择您的项目。

  3. 在左侧导航栏,选择 边缘推理 > 模型管理

  4. 自定义模型 列表,找到您的模型,单击模型名称。

  5. 单击 版本管理 页签。

  6. 单击 模型版本 页签,然后单击 创建版本

  7. 新建版本 对话框,根据以下配置说明完成模型版本的配置,然后单击 完成
    图片

    配置项

    说明

    名称

    为版本设置名称。您可以使用以下字符:汉字、英文字母、数字、下划线(_)、连字符(-)、半角句号(.)。请注意以下规则:

    • 长度不超过 32 个字符。
    • 下划线、连字符和半角句号不能用在开头和结尾,也不能连续使用。

    描述

    为版本添加描述。长度不超过 128 个字符。

    根据创建模型时选择的 模型框架 不同,需要完成的参数配置不同。
    分支配置(1):当 模型框架Ensemble 以外时,需要配置 文件是否为加密模型

    文件

    上传对应的模型文件。可选择的方式包括:

    • 单击 + 按钮,然后从本地文件中选择模型文件所在文件夹。
    • 直接将包含模型文件的文件夹拖放到文件上传区域。

    关于模型文件的具体要求,请参见准备工作
    选择文件夹后,请根据界面提示,确认上传。上传完成后,系统将自动读取上传的文件并显示。

    是否为加密模型

    该配置项的值默认为 。如果选择 ,表示您将上传经过加密的 ONNX 模型文件。关于如何为 ONNX 模型文件加密,请参见 使用 ONNX 模型加密功能

    说明

    只有当 模型框架ONNX 时,该配置项允许修改。

    分支配置(2):当 模型框架Ensemble 时,需要配置 添加模型

    添加模型

    从模型版本下拉列表,选择 Ensemble 模型中包含的子模型的版本。您可以单击 添加模型,添加多个版本。

完成以上操作后,您可以在 版本管理 列表看到刚刚创建的版本。此处,版本的状态是 草稿,您可以编辑此版本。当您确认不再对版本内容进行修改时,可以发布版本。只有当模型下存在发布的版本时,相应模型才可用于部署模型服务。

后续操作

发布版本