本文介绍了使用转换工具将 ONNX 模型文件转换成 TensorRT 模型文件的方法。

准备工作

• 准备一台安装了 docker 和 nvidia docker runtime 的计算机。安装步骤，请参考 NVIDIA 文档：Installing the NVIDIA Container Toolkit。
• 将 ONNX 模型文件存放在计算机上，并记录模型文件的存放位置。

操作步骤

步骤1：启动转换工具

本文用到的转换工具由边缘智能提供，支持以下版本：arm 架构版、amd 架构版。以下是不同版本对应的示例启动命令。根据您的计算机类型，选择相应启动命令。
运行命令前， 您需要将/path/to/your/onnx/file 替换为 .onnx 文件在本地计算机上的路径。

• arm 架构

  docker run -it \
  --name onnx2trt \
  --runtime nvidia \
  --gpus all \
  --entrypoint bash \
  -v /path/to/your/onnx/file:/data \
  nvcr.io/nvidia/deepstream-l4t:6.1.1-triton
  

• amd 架构

  docker run -it \
  --name onnx2trt \
  --gpus all \
  --entrypoint bash \
  -v /path/to/your/onnx/file:/data \
  nvcr.io/nvidia/tensorrt:22.07-py3
  

步骤2：执行格式转换

以下是格式转换的示例命令。运行命令前，做以下设置：

• --onnx：设置要转换的源文件（.onnx）的位置。
• --saveEngine：设置转换后的目标文件（.plan）的位置。

/usr/src/tensorrt/bin/trtexec \
--onnx=/data/model.onnx \
--saveEngine=/data/model.plan \
--fp16

trtexec 是 TensorRT 提供的命令行包装器。关于 trtexec 命令的更多信息，请参考 TensorRT Command-Line Wrapper: trtexec。

操作结果

在 --saveEngine 指定的路径下找到转换得到的模型文件。