You need to enable JavaScript to run this app.
导航
管理模型服务
最近更新时间:2024.09.05 20:01:20首次发布时间:2022.11.03 20:11:05

本文描述了如何管理模型服务,具体包含以下操作:编辑模型服务、删除模型服务、下载调用示例、复制部署配置。

前提条件

您已经部署了模型服务。相关操作,请参见部署模型服务 - Triton 框架部署模型服务 - 自定义框架

访问模型服务页面

  1. 登录边缘智能控制台

  2. 在左侧导航栏顶部的 我的项目 区域,选择您的项目。

  3. 在左侧导航栏,选择 边缘推理 > 模型服务

  4. 模型服务 列表,通过页签选择推理引擎类型(Triton框架自定义框架)。
    列表展示了使用对应推理引擎的模型服务。您可以在该页面管理已部署的模型服务。支持的操作包括:

操作说明

编辑模型服务

通过编辑模型服务,您可以修改模型服务的参数配置。模型服务配置修改并保存后,系统将重新部署该模型服务。

说明

只有当部署了模型服务的边缘节点在线时,您才可以编辑模型服务。

  1. 模型服务 页面,找到要编辑的模型服务,单击 操作 列的 编辑
  2. 编辑模型服务 页面,修改模型服务的参数配置,然后单击 确认

删除模型服务

如果您不再需要边缘节点运行某个模型服务,可以删除模型服务。

注意

  • 删除模型服务会导致边缘节点上已部署的模型服务被删除。请谨慎操作。
  • 不允许删除被数据流实例引用的模型服务。
  1. 模型服务 页面,找到要删除的模型服务,单击 操作 列的 删除
  2. 在弹出的对话框,单击 删除

下载调用示例

说明

该操作仅适用于使用 Triton框架 的模型服务。

当模型服务处于 运行中 状态时,您可以通过下载调用示例,获取调用此模型服务的 Python 代码示例。代码示例可用于验证模型服务是否正常服务。您也可以在代码示例基础上编写符合业务需求的代码。

说明

只有当模型的输入和输出都不为空时,您才可以下载相应的模型服务调用示例。

  1. 模型服务 页面,找到您的模型服务,单击 操作 列的 ... 图标,然后单击 调用示例
    一个 main.py 代码示例文件将被自动下载到浏览器的默认存储路径。
  2. 打开代码示例文件,参照文件中的说明,在 Python 环境中运行调用命令,检查模型服务是否正常服务。

复制部署配置

说明

该操作仅适用于使用 Triton框架 的模型服务。

复制部署配置表示复制某个已有模型服务的部署配置,来快速部署一个新的模型服务。

  1. 模型服务 页面,找到要复制的模型服务,单击 操作 列的 ... 图标,然后单击 复制部署配置
  2. 部署模型服务 页面,选择 节点 来部署新的模型服务,并根据需要修改模型服务的参数配置,然后单击 确认
    关于参数的说明,请参见部署模型服务