GPU-使用Llama.cpp量化Llama2模型--GPU云服务器-火山引擎

文档中心

导航

GPU-使用Llama.cpp量化Llama2模型

最近更新时间：2024.02.22 11:22:45首次发布时间：2023.12.12 17:47:16

本文以搭载了一张V100显卡的ecs.g1ve.2xlarge实例，介绍如何在云服务器上利用Llama.cpp执行Llama2-7B模型的量化，并对比基于CPU的推理和基于GPU的推理速度。

背景信息

Llama.cpp简介

Llama.cpp是使用C++语言编写的大模型量化工具，同时也提供了部署和运行量化后模型的demo。它基于GGML（一种机器学习张量库），实现了对Llama模型的量化、推理部署功能。旨在实现开源大模型运行于相对低配置或廉价的硬件之上，它能支持将Llama模型推理部署至CPU、MacBook，甚至Android系统之上。

Llama2模型简介

Llama模型是Meta公司开源的大语言模型，对标OpenAI的GPT 3，模型参数量从7B到65B，功能上可生成创意文本，求解数学定理，预测蛋白质结构，回答阅读理解的问题等。

Llama2模型是在Llama模型之上的升级。Llama2训练语料相比Llama多40%，context长度由2048提升至4096，可以理解和生成更长的文本内容。

环境要求

NVIDIA驱动：
- GPU驱动：用来驱动NVIDIA GPU卡的程序。本文以535.86.10为例。
- CUDA：使GPU能够解决复杂计算问题的计算平台。本文以CUDA 12.2为例。
- CUDNN：深度神经网络库，用于实现高性能GPU加速。本文以8.5.0.96为例。
运行环境：
- Transformers：一种神经网络架构，用于语言建模、文本生成和机器翻译等任务。深度学习框架。本文以4.30.2为例。
- Pytorch：开源的Python机器学习库，实现强大的GPU加速的同时还支持动态神经网络。本文以2.0.1为例。
- Python：执行Llama.cpp的某些脚本所需的版本。本文以Python 3.8为例。

使用说明

下载本文所需软件需要访问国外网站，建议您增加网络代理（例如FlexGW）以提高访问速度。您也可以将所需软件下载到本地，再上传到GPU实例中，具体请参考本地数据上传。

操作步骤

步骤一：准备环境

创建GPU计算型实例。
请参考通过向导购买实例创建一台符合以下条件的实例：
- 基础配置：
  - 计算规格：ecs.g1ve.2xlarge
  - 镜像：Ubuntu 20.04，不勾选“后台自动安装GPU驱动”。
  - 存储：云盘容量在200 GiB以上。
- 网络配置：勾选“分配弹性公网IP”。
安装GPU驱动和CUDA工具包。
1. 登录实例。
2. 执行以下命令，下载CUDA Toolkit。
  CUDA Toolkit大小约4G，其中已经包含了GPU驱动和CUDA，安装过程相对耗时，请耐心等待。
```
wget https://developer.download.nvidia.com/compute/cuda/12.2.1/local_installers/cuda_12.2.1_535.86.10_linux.run	
```
3. 执行以下命令，安装GPU驱动和CUDA。
```
sh cuda_12.2.1_535.86.10_linux.run
```
  1. 输入"accept"确认信息。
  2. 按键盘上下键选中【Install】，回车确认，开始安装。
4. 安装完成后，执行以下命令进行验证。
```
nvidia-smi
```
  回显如下，说明驱动安装成功。
安装git工具。
1. 执行如下命令，安装git。
```
apt-get update
apt-get install git
```
2. 执行如下命令，验证git是否安装成功。
```
git --version
```
  回显如下，表明已安装。
安装Python3.8和相关依赖。
1. 执行如下命令，安装Python 3.8和pip工具。
```
apt-get install python3.8
apt-get install pip
```
2. 执行如下命令，使用pip安装相关依赖。
```
pip3 install numpy
pip3 install sentencepiece
```

步骤二：下载Llama2-7B模型

安装Llama.cpp工具。
1. 执行以下命令，下载llama.cpp包。
```
git clone https://github.com/ggerganov/llama.cpp
```
  或者直接从github中下载master分支的包：
```
wget https://github.com/ggerganov/llama.cpp/archive/refs/heads/master.zip  # 下载master分支的repo包
unzip master.zip  	# 解压
```
2. 下载完成之后，执行如下命令，对llama.cpp项目进行编译，得到后续用于量化和运行模型的可执行文件 ./quantize和./main。
```
cd llama.cpp
make
```
下载Llama2-7B模型。
说明
- Llama官方模型是不提供chat能力的，并且其配套的分词文件和配置文件格式也非通用，需将其转化成HF格式才能被Llama.cpp正常使用。您可以直接在一些模型网站上下载HF格式的Llama2-7B模型。
- 由于Llama模型的使用受Meta官方的约束，您需要申请License才能获取到模型。
1. 执行如下命令，通过git-lfs下载Llama2-7B模型。
```
apt-get install git-lfs
git clone https://huggingface.co/meta-llama/Llama-2-7b-hf
```
  执行如下命令查看下载的模型目录结构，如下图所示。
```
cd Llama-2-7b-hf
lf -F
```
2. 执行如下命令，将模型目录Llama-2-7b-hf整体移动到llama.cpp下的models目录。
```
mv Llama-2-7b-hf llama.cpp/models/
```

步骤三：使用Llama.cpp量化Llama2-7B模型

在llama.cpp的主目录下，找到convert.py文件，使用python3.8执行该文件将原llama2-7B模型转换成gguf格式。
```
cd llama.cpp
python3.8 convert.py models/Llama-2-7b-hf/
```
转换成功后回显如下，会生成一个ggml-model-f16.gguf的模型文件，存放在llama.cpp/models/Llama-2-7b-hf目录下。
执行如下命令，量化转换后的模型。
llama.cpp 目录下提供了做量化的可执行文件quantize，此处选择较为常见的量化算法q4_0，即将模型的权重量化到4bit整型。
```
./quantize models/Llama-2-7b-hf/ggml-model-f16.gguf models/ggml-model-q4_0.gguf q4_0		
```
生成量化后的模型文件ggml-model-q4_0.gguf，存放在llama.cpp/models目录下。

步骤四：运行量化后的Llama2-7B模型

在CPU上运行模型

执行如下命令，使用步骤二编译得到的可执行文件./main运行量化后的模型，体验对话机器人效果。
```
./main -m models/ggml-model-q4_0.gguf --color -f ./prompts/alpaca.txt -ins -n 2048
```
说明
指令参数解释：
- --color：将输入和输出分别使用不同颜色，用以区分。
- -f：指定prompt模板，达到类ChatGPT的效果。
- -ins：交互模式。
- -n：推理的最大输出长度。
按ctrl+c可以退出交互模式，退出时可以查看基于CPU推理的性能指标。

在GPU上运行模型

llama.cpp量化后的模型，支持通过./main运行在GPU之上，且llama.cpp支持将模型的一些层卸载到GPU中，这样可以加速推理。

执行如下命令，重新编译llama.cpp。
在编译时加入对GPU的支持选项，本文选择使用CUDA做加速。
```
make LLAMA_CUBLAS=1 PATH="/usr/local/cuda/bin/:$PATH"
```
说明
指令参数解释：
- LLAMA_CUBLAS=1：表示将使用CUDA核心提供BLAS加速能力。
- PATH：编译时可能会有nvcc找不到的报错，需要指定安装的CUDA路径。
完成编译后，同样以交互模式运行main程序（增加-ngl选项）。
```
./main -m models/ggml-model-q4_0.gguf --color -f ./prompts/alpaca.txt -ins -n 2048 -ngl 40
```
说明
指令参数解释：
-ngl：需要卸载到GPU上的层数，如果模型过大，指定的层数过多，可能导致GPU显存不足报错。
按ctrl+c可以退出交互模式，退出时可以查看基于GPU推理的性能指标。