边缘智能提供云边一体的边缘推理模块，允许您在云端进行模型的统一管理，并将模型部署到边缘节点进行边缘推理。
功能说明
功能 | 说明 |
|---|
模型管理 | 使用版本来统一管理您的模型。您能够创建和编辑自定义模型，并创建、编辑、删除和发布模型版本。自定义模型可以基于以下推理框架： - Triton 推理框架（默认）：支持管理通过主流框架训练的模型。详情参见支持的模型框架。
- 自定义推理框架：支持管理任意自定义模型。
|
官方模型 | 边缘智能提供了一系列官方模型方便直接使用。详情参见官方模型概览。 |
模型服务 | 使用模型文件，向边缘节点部署一个模型服务，实现在边缘侧进行推理。 说明 通过搭配数据处理模块，您还可以对模型服务的推理结果进行多样的处理并通过多种渠道进行输出。关于数据处理的详细介绍，请参见数据流概述。 |
使用概述
如果官方模型满足您的业务需要，您可以直接将官方模型部署到边缘节点进行使用。此外，您也可以创建自定义模型，将您的模型文件上传到边缘智能控制台，然后再部署到边缘节点进行使用。自定义模型可以基于 Triton 推理框架（默认），也可以基于自定义推理框架。
下表介绍了不同场景下的使用流程。
支持的模型框架
Triton 推理框架兼容以下模型训练框架：
- TensorRT：适用于 NVIDIA GPU 平台的，用来加速深度学习模型的运行。TensorRT 可以将模型优化以获得更高的吞吐量和较低的延迟。特别适用于Jetson Nano 或 Xavier 这样的设备。
- ONNX：是一个开放的模型格式，支持许多不同的深度学习框架，如 PyTorch、TensorFlow、Caffe 等。ONNX 可以让这些框架互相转化模型，提供了一种跨框架、跨平台部署模型的方案。
- TensorFlow：Google 开发的深度学习框架，内置有高效的数值运算能力，众多的预训练模型和丰富的 API，支持跨平台部署。
- OpenVINO：Intel 开发的一个用于加速计算机视觉的框架。OpenVINO 可以优化模型运行，提供高性能的视觉应用。特别地，OpenVINO 对于在 Intel 硬件上运行的模型能够提供很好的支持。
- PyTorch：由 Facebook 开发的一个动态图深度学习框架，使用 Python 作为开发语言，因其灵活、直观用途广泛，被学术界广泛使用。
- ByteNN：由字节跳动开发的、面向移动设备的机器学习框架。ByteNN 融合了深度学习与移动设备的优势，为实现更轻量、更高效的人工智能而生。尤其在创建具有硬件加速能力的移动设备上的神经网络模型方面表现优秀。
- PaddlePaddle：是百度开发的深度学习框架，使用 Python 编程语言并以动态图为主要特性，同时支持静态图训练和预测。它提供了丰富的 API 供用户使用，并且设计了可以自动选择硬件执行库的机制。PaddlePaddle 在对模型进行服务和推理时速度较快，引擎运行稳定。
- TensorRT-LLM：为用户提供了一个易于使用的 Python API，用于定义大型语言模型（LLMs）并构建经过优化的 TensorRT 引擎，以便在 NVIDIA GPU 上高效执行推理。更多信息，请参见GitHub - NVIDIA/TensorRT-LLM。
此外，边缘推理还支持 Ensemble 方法（即模型组合），允许您将多个模型进行组合使用。在 Ensemble 方法中，您可以基于 Python 语言编写脚本，对模型处理后的结果进行自定义处理。