You need to enable JavaScript to run this app.
导航
GPU云服务器
  • 文档首页
    • /GPU云服务器/GPU云服务器/最佳实践/构建模型/GPU-部署ChatGLM-6B模型
GPU-部署ChatGLM-6B模型
最近更新时间：2023.12.07 17:10:25首次发布时间：2023.10.17 11:07:04
我的收藏

本文以搭载了一张A10显卡的ecs.gni2.3xlarge实例为例，介绍如何在GPU云服务器上部署ChatGLM-6B大语言模型。

背景信息

ChatGLM-6B是一个具有62亿参数的、支持中英双语问答的对话语言模型，基于General Language Model（GLM）架构，结合模型量化技术，支持在消费级的显卡上进行本地部署（INT4量化级别下最低只需6GB显存）。ChatGLM-6B使用了和ChatGLM相同的技术，针对中文问答和对话进行了优化。经过约1T标识符的中英双语训练，辅以监督微调、反馈自助、人类反馈强化学习等技术的加持，62亿参数的ChatGLM-6B已经能生成相当符合人类偏好的回答。

软件要求

注意

部署ChatGLM-6B语言模型时，需保证CUDA版本 ≥ 11.4。

  • NVIDIA驱动：
    • GPU驱动：用来驱动NVIDIA GPU卡的程序。本文以535.86.10为例。
    • CUDA：使GPU能够解决复杂计算问题的计算平台。本文以CUDA 12.2为例。
    • CUDNN：深度神经网络库，用于实现高性能GPU加速。本文以8.5.0.96为例。
  • 运行环境：
    • Transformers：一种神经网络架构，用于语言建模、文本生成和机器翻译等任务。本文以4.30.2为例。
    • Pytorch：开源的Python机器学习库，实现强大的GPU加速的同时还支持动态神经网络。本文以2.0.1为例。
    • Anaconda：获取包且对包能够进行管理的工具，包含了Conda、Python在内的超过180个科学包及其依赖项，用于创建Python虚拟环境。本文以Anaconda 3和Python 3.10为例。

    Pytorch使用CUDA进行GPU加速时，在CUDA、GPU驱动已经安装的情况下，依然不能使用，很可能是版本不匹配的问题，请严格关注以上软件的版本匹配情况。

使用说明

下载本文所需软件需要访问国外网站，建议您增加网络代理（例如FlexGW）以提高访问速度。您也可以将所需软件下载到本地，参考本地数据上传到GPU实例中。

操作步骤

步骤一：创建GPU计算型实例

请参考通过向导购买实例创建一台符合以下条件的实例：

  • 基础配置：
    • 计算规格：ecs.gni2.3xlarge
    • 镜像：Ubuntu 20.04，不勾选“后台自动安装GPU驱动”。
    • 存储：云盘容量在100 GiB以上。
      alt
  • 网络配置：勾选“分配弹性公网IP”。

步骤二：安装GPU驱动和CUDA工具包

  1. 登录实例。

  2. 执行以下命令，下载CUDA Toolkit。

    CUDA Toolkit大小约4G，其中已经包含了GPU驱动和CUDA，安装过程相对耗时，请耐心等待。

    wget https://developer.download.nvidia.com/compute/cuda/12.2.1/local_installers/cuda_12.2.1_535.86.10_linux.run

  3. 执行以下命令，安装GPU驱动和CUDA。
    sh cuda_12.2.1_535.86.10_linux.run

    1. 输入"accept"确认信息。
      alt
    2. 按键盘上下键选中【Install】，回车确认，开始安装。
      alt

  4. 安装完成后，执行以下命令进行验证。
    nvidia-smi
    回显如下，说明驱动安装成功。
    alt

步骤三：创建虚拟环境

  1. 执行以下命令，下载Anaconda安装包。
    wget https://repo.anaconda.com/archive/Anaconda3-2023.07-2-Linux-x86_64.sh

  2. 执行以下命令，安装Anaconda。
    bash Anaconda3-2023.07-2-Linux-x86_64.sh

    1. 持续按“Enter”键进行安装。
      alt
    2. 输入“yes”确认信息。
      alt
    3. Anaconda的安装路径/root/anaconda3，请按“Enter”确认安装。
      alt
    4. 输入“yes”确定初始化Anaconda。
      alt

  3. 执行以下命令使配置文件生效。
    source ~/.bashrc
    回显如下，表示配置成功，进入base环境。
    alt

  4. 创建一个名为“ChatGLMtest”的虚拟环境，并指定该环境中的python版本为3.10。

    1. 执行conda create -n ChatGLMtest python=3.10命令。
    2. 回显Proceed ([y]/n)?时输入“y”确认。
    3. 执行以下命令，激活虚拟环境。
      conda activate ChatGLMtest
      回显如下，表示激活成功。
      alt

步骤四：部署模型并验证

  1. 依次执行以下命令，安装Git。

    apt-get update  # 更新安装包列表
apt-get install git  # 安装git
apt-get install git-lfs  # 安装git-lfs

  2. 执行以下命令初始化Git LFS。
    git lfs install
    回显如下，表示初始化完成。
    alt

  3. 执行以下命令，下载ChatGLM2-6B大模型的权重文件。
    git clone https://huggingface.co/THUDM/chatglm2-6b

  4. 执行以下命令，下载官方示例代码。
    git clone https://github.com/THUDM/ChatGLM2-6B

  5. 依次执行以下命令，安装相应的依赖包。

    cd /root/ChatGLM2-6B  # 工作目录切换到示例代码的路径
pip install -r requirements.txt  	# 安装ChatGLM依赖

  6. 修改示例代码路径，加载本地ChatGLM2-6B模型。

    1. 执行vim cli_demo.py打开demo文件。
    2. 按i进入编辑模式，将文件中的/THUDM/chatglm2-6b替换为本地文件夹的路径/root/chatglm2-6b。
      alt
    3. 按esc退出编辑模式，输入:wq并按Enter键，保存并退出文件。

  7. 执行以下命令，运行示例代码中的“cli_demo.py”。
    python cli_demo.py

    如下图，程序会在命令行中进行交互式对话，在命令行中输入指示并回车即可生成回复，输入clear可以清空对话历史，输入stop终止程序。
    alt