AI 应用是针对大模型在线推理场景推出的一站式开发部署运维平台。本文为您介绍如何通过模板快速部署一个 LLaMA Factory 服务，用于大语言模型微调。

应用介绍

LLaMA Factory 是一个开源的 LLMs 微调的框架，支持通过 Web UI 界面微调大模型。它提供了一套完整的工具和接口，旨在简化大型语言模型的微调过程，使得用户能够轻松地对预训练的模型进行定制化的训练和调整，以适应特定的应用场景。

• 支持多种模型，包括 LLaMA、BLOOM、Mistral、Baichuan、Qwen 和 ChatGLM 等，这些模型涵盖了自然语言处理领域的多个应用场景。

• 支持多种微调技术，包括增量预训练、指令监督微调、奖励模型训练、PPO 训练、DPO 训练和 ORPO 训练等。

• 支持多种精度调整，如 32 比特全参数微调、16 比特冻结微调、16 比特 LoRA 微调和基于 AQLM/AWQ/GPTQ/LLM.int8 的 2/4/8 比特 QLoRA 微调。

• 集成了多种先进算法，如 GaLore、DoRA、LongLoRA、LLaMA Pro、LoRA+、LoftQ 和 Agent 微调等。

前提条件

• 容器服务 VKE

  • 已创建 VKE 集群，具体操作可参见 创建集群。
  • （可选）如需挂载对象存储 TOS，请提前安装 csi-tos 组件。具体操作请参见 安装组件。
  • （可选）如需以弹性容器实例方式部署，仅适用于网络模型为 VPC-CNI 的 VKE 集群，且集群中需提前安装 vci-virtual-kubelet 组件。具体操作请参见 安装组件。
  • （可选）如需使用 GPU 资源，请提前安装 nvidia-device-plugin 组件。具体操作请参见 安装组件。

• 持续交付 CP

  • 已创建工作区，具体操作请参见 创建工作区。
  • 已接入部署资源。部署资源必须为容器服务 VKE 集群。具体操作请参见 接入部署资源。

• （可选）如需挂载模型文件，请完成以下准备工作，任选一种存储即可。

  • 对象存储 TOS
    • 已将模型上传至 TOS Bucket 存储。具体操作请参见 对象存储快速入门。
    • 已获取当前账号的访问密钥 AK & SK。建议使用最小化授权的 IAM 用户的访问密钥，要求已授权对应文件的访问权限。具体操作请参见 AI 仓库挂载和存储加速。
  • 文件存储 NAS
    • 已将模型上传至 NAS 存储，要求 NAS 与待部署的 VKE 集群处于相同的 VPC。具体操作请参见 文件存储快速入门。
  • 制品仓库
    • 已将模型上传至制品仓库存储。具体操作请参见 上传和下载 AI 格式制品快速入门。
    • 已获取当前账号的访问密钥 AK & SK。建议使用最小化授权的 IAM 用户的访问密钥，要求该 IAM 用户已授权仓库挂载权限。

• （可选）如需配置外部访问方式，请完成以下准备工作，任选一种方式即可。

  • API 网关：已创建网关实例，要求网关实例与待部署的 VKE 集群处于相同的 VPC。具体操作请参见 创建实例。
  • 负载均衡 CLB：已创建负载均衡实例，要求负载均衡实例与待部署的 VKE 集群处于相同的 VPC。具体操作请参见 创建负载均衡实例。

操作步骤

1. 登录应用管理页面。

   1. 登录 持续交付控制台。

   2. 在左侧导航栏选择 工作区。

   3. 单击目标工作区名称，进入当前工作区。

   4. 在左侧导航栏选择 应用交付 > 应用管理。

2. 在应用管理页面，单击 创建应用。

3. 在创建应用页面，选择 AI 应用。

4. 选择 LLaMA Factory 大语言模型微调 模板，并单击 下一步：应用配置。

5. 按要求填写应用的相关配置信息。配置完成后单击 确定，应用将开始创建并部署。

基本信息

部署集群

模型配置

服务规格

• 勾选 以弹性容器实例方式部署

  配置项	说明
  实例数	根据业务规模，设置应用的副本数。
  弹性容器实例	保持勾选 以弹性容器实例方式部署。使用该方式部署应用，无需管理底层云服务器等基础设施，只需提供镜像即可运行容器，并为实际消耗的资源付费。计费详情，请参见 弹性容器计费说明。 说明 如果您在 VCI 侧申请了 镜像缓存 的邀测功能，AI 应用创建时将默认开启镜像缓存，加速镜像拉取。
  日志采集	是否通过火山引擎日志服务 TLS 采集 VCI 容器日志，对日志进行持久化存储。 勾选，开启日志采集。 不勾选，不开启日志采集。 注意 开启日志采集后，请确保已在 VKE 集群的日志中心中完成相关日志采集规则的配置，保证日志可正常投递至您配置的项目和主题中。具体操作请参见 采集容器日志。
  资源配置类型	根据业务需求选择要使用的实例规格。不同计算规格提供的虚拟化能力不同，详情请参见 VCI 实例规格介绍。 通用型：搭配多种 vCPU、内存配比的通用型规格族。 GPU 计算型：基于多种 NVIDIA Tesla 显卡提供的 GPU 计算型实例规格族。
  系统盘	设置系统盘容量。系统盘主要用于缓存镜像，容量必须大于镜像大小。 说明 如果您在 VCI 侧 申请 了手动指定系统盘大小的邀测功能，支持在此处自定义系统盘的容量。

• 不勾选 以弹性容器实例方式部署

  配置项	说明
  实例数	根据业务规模，设置应用的副本数。
  资源配置类型	CPU：定义每个实例的 CPU 规格。其中，CPU 请求 ≤ CPU 上限。 内存：定义每个实例的内存规格。其中，内存请求 ≤ 内存上限。 GPU 资源类型：是否使用 GPU 资源。 不开启：使用传统 CPU 计算资源。 开启：使用 GPU 计算资源，当前提供 Nvdia 卡型，支持自定义 GPU 算力。

访问配置（可选）

配置 AI 应用的访问方式。详细内容可参见 访问设置。

结果验证

1. 验证应用是否部署成功
   在应用的 基本信息 > 资源配置 页签，查看应用的部署进度。支持通过实例的 运行状态、实时日志 和 事件，查看应用详细的启动和运行信息。
   

   • 查看实时日志：单击 实时日志，可查看应用的运行信息，方便运维和排障。
   • 查看事件：单击 事件，可查看应用的启动信息。最多可查看最近 1 小时内发生的事件信息。

2. 访问 LLaMA Factory
   应用部署成功后，可在 访问设置 区域复制应用的访问地址。通过该地址去访问 LLaMA Factory Web UI。

3. 配置参数，开始模型微调。