本文介绍了如何为自定义模型(基于 Triton 推理框架)创建一个前后处理版本。
前后处理版本定义了模型前处理和后处理的相关配置。
通过创建前后处理版本,您可以提前定义好前处理和后处理的相关配置,这样方便您更灵活地在数据流中配置模型服务算子。在部署模型服务时,您可以选择同时部署一个前后处理版本。这样前后处理版本所携带的配置将和模型文件一起部署到边缘节点。后续您在数据流实例中配置模型服务算子时,无需再通过算子的控制参数来指定配置文件(config-file-path
)、标签文件(labelfile_path
)。
前后处理版本只适用于 图像分类 和 物体检测 类型的模型。
您已经创建了自定义模型,并且自定义模型的 推理框架 是 Triton框架。相关操作,请参见创建自定义模型。
登录边缘智能控制台。
在左侧导航栏顶部的 我的项目 区域,选择您的项目。
在左侧导航栏,选择 边缘推理 > 模型管理。
在 自定义模型 列表,找到您的模型,单击模型名称。
单击 版本管理 页签。
单击 前后处理版本 页签,然后单击 创建版本。
在 创建版本 面板,根据以下配置说明完成配置向导。
步骤 | 配置项 | 说明 |
---|---|---|
① 基本配置 | 前后处理版本名称 | 为版本设置名称。您可以使用以下字符:汉字、英文字母、数字、下划线(_)、连字符(-)和半角句号(.)。请注意以下规则:
|
前后处理版本描述 | 为版本添加描述。长度不超过 128 个字符。 | |
② 模型前处理配置 | 输入图像格式 | 选择模型输入图像的色彩空间格式。可选项:RGB、BGR、GRAY。 |
Tensor输入顺序 | 选择模型输入 Tensor 的维度顺序。可选项:NCHW、NHWC、None。其中,N 表示 Batch,C 表示 Channel,H 表示 Height,W 表示 Width。 | |
图像等比缩放 | 选择对模型输入图像缩放时,是否保持原始的长宽比例。 | |
图像缩放填充方式 | 设置在图像等比缩放过程中处理图像尺寸不匹配的方式。可选项:
说明 只有当 图像等比缩放 为 是 时,该配置项才会显示。 | |
图像缩放算法 | 设置对模型输入图片进行缩放的算法。可选项:Bilinear双线性插值、Nearest最近邻插值。 | |
正则化均值 和 | 对输入图像进行正则化操作。均值分别为 3 个 channel 对应的浮点数值,如 [0, 0, 0]。缩放因子为一个浮点数值,如 0.003921569790691137。 | |
③ 模型后处理配置 | 模型类型 | 从以下两种模型类别中选择该版本适用的类别: 说明 根据选择的模型类别,需要完成的后处理参数配置不同。 |
标签分类 | 图像分类/物体检测模型输出的类别标签列表。多个类别标签以半角分号(;)分隔。示例: | |
分支配置(1):当 模型类型 是 图像分类 时,需要配置 置信度阈值。 | ||
置信度阈值 | 设置图像分类模型的置信度阈值。只有当推理结果大于置信度阈值,才判定为对应类别。示例: | |
分支配置(2):当 模型类型 是 物体检测 时,需要配置 分类阈值、输出格式、输出聚类方式、TopK、IOU阈值、置信度阈值。 | ||
分类阈值 | 设置物体检测模型的分类阈值。只有当推理结果大于对应类别的分类阈值,才判定为对应类别。您可以为每个类别标签分别设置分类阈值。 | |
输出格式 | 设置物体检测模型的后处理格式。可选项:
| |
输出聚类方式 | 设置物体检测框的聚类方式。仅支持 NMS(Non-Maximum Suppression)算法。 | |
TopK | 设置 NMS 算法输出的检测框数量。示例:20,表示只输出前 20 个概率最大的检测框。 | |
IOU阈值 | 设置 NMS 算法中的 IOU(Intersection over Union)阈值。在目标检测任务中,通常将 IOU 阈值设置为一个固定值,如 0.5 或 0.7,用于判断算法输出的边界框是否与真实标注的边界框重叠,从而评估算法的准确性。 | |
置信度阈值 | 设置 NMS 算法中的置信度阈值。只有当检测框的推理结果大于置信度阈值,才判定其为满足条件的检测框。 |
完成以上操作后,您可以在 版本管理 列表看到刚刚创建的前后处理版本。
使用前后处理版本所属模型来部署模型服务时,您可以选用相应的前后处理版本。通过这种方式,您可以将前后处理版本中预定义的配置下发到边缘节点。更多信息,请参见部署模型服务 - Triton 框架。