来源于 HuggingFace 的 Qwen-VL-Chat 模型文件。访问 Qwen/Qwen-VL-Chat · Hugging Face 了解关于此模型的更多信息。
您可以在边缘智能控制台的 官方模型 列表访问本模型。下图展示了本模型的基本信息。
本模型基于自定义推理框架(即推理引擎)。
要部署本模型,您必须自行准备一个满足模型安装要求的推理引擎镜像。关于模型的安装要求,请参见安装要求。
LMDeploy 是一个用于压缩、部署和服务 LLM 的工具包。LMDeploy 支持的模型中包含 Qwen-VL。边缘智能提供了一个基于 LMDeploy 官方镜像制作的推理引擎镜像,方便您测试使用。关于 LMDeploy 的更多信息,请参见预置推理框架镜像。
本模型提供一个可部署版本。
参考部署模型服务 - 自定义框架进行模型服务的部署。在 部署模型服务 参数配置页面,修改以下配置:
说明
下表中未包含的配置项无需修改,建议使用默认值。
配置项 | 说明 |
---|---|
节点 | 选择一个边缘节点。 注意 必须选择 x86 架构的边缘节点。 |
服务名称 | 设置一个服务名称。该名称不能与节点上其他服务的名称重复。 |
模型 | 选择 Qwen-VL-Chat-HF。 |
模型版本 | 选择 v1。 |
镜像来源 | 选择 平台预置镜像。 |
镜像选择 | 选择 openmmlab/lmdeploy。 |
启动命令 | 设置成 |
端口 | 设置以下映射规则:
说明 如果边缘节点上的 14323 端口已被其他服务占用,请使用其他空闲的端口。 |