You need to enable JavaScript to run this app.
导航
Qwen-VL-Chat-HF
最近更新时间:2024.09.18 14:23:25首次发布时间:2024.08.07 11:18:28

来源于 HuggingFace 的 Qwen-VL-Chat 模型文件。访问 Qwen/Qwen-VL-Chat · Hugging Face 了解关于此模型的更多信息。

模型基本信息

您可以在边缘智能控制台的 官方模型 列表访问本模型。下图展示了本模型的基本信息。
图片

推理引擎

本模型基于自定义推理框架(即推理引擎)。
要部署本模型,您必须自行准备一个满足模型安装要求的推理引擎镜像。关于模型的安装要求,请参见安装要求
LMDeploy 是一个用于压缩、部署和服务 LLM 的工具包。LMDeploy 支持的模型中包含 Qwen-VL。边缘智能提供了一个基于 LMDeploy 官方镜像制作的推理引擎镜像,方便您测试使用。关于 LMDeploy 的更多信息,请参见预置推理框架镜像

模型版本

本模型提供一个可部署版本。
图片

模型部署示例

参考部署模型服务 - 自定义框架进行模型服务的部署。在 部署模型服务 参数配置页面,修改以下配置:
图片

说明

下表中未包含的配置项无需修改,建议使用默认值。

配置项

说明

节点

选择一个边缘节点。

注意

必须选择 x86 架构的边缘节点。

服务名称

设置一个服务名称。该名称不能与节点上其他服务的名称重复。

模型

选择 Qwen-VL-Chat-HF

模型版本

选择 v1

镜像来源

选择 平台预置镜像

镜像选择

选择 openmmlab/lmdeploy

启动命令

设置成lmdeploy serve api_server /models/m-official-40/Qwen-VL-Chat --server-port 80

端口

设置以下映射规则:

  • 容器端口:80,宿主机端口:14323

说明

如果边缘节点上的 14323 端口已被其他服务占用,请使用其他空闲的端口。