来源于 HuggingFace 的 Qwen-VL-Chat 模型文件。访问 Qwen/Qwen-VL-Chat · Hugging Face 了解关于此模型的更多信息。

模型基本信息

您可以在边缘智能控制台的 官方模型 列表访问本模型。下图展示了本模型的基本信息。

推理引擎

本模型基于自定义推理框架（即推理引擎）。
要部署本模型，您必须自行准备一个满足模型安装要求的推理引擎镜像。关于模型的安装要求，请参见安装要求。
LMDeploy 是一个用于压缩、部署和服务 LLM 的工具包。LMDeploy 支持的模型中包含 Qwen-VL。我们提供了一个基于 LMDeploy 官方镜像制作的推理引擎镜像，方便您测试使用。关于 LMDeploy 的更多信息，请参见 Serving LLM with OpenAI Compatible Server — lmdeploy。

模型版本

本模型提供一个可部署版本。

模型部署示例

参考 部署模型服务进行模型服务的部署。在 部署模型服务 参数配置页面，修改以下配置：