本文主要介绍在云服务器实例中部署meta-llama/Llama-2-7b-hf模型并使用CPU进行推理，以及通过Intel xFasterTransformer实现推理过程加速的方案。

背景信息

Llama-2-7b-hf模型

Llama 2是Meta公司开源的一个预训练和微调的生成文本模型集合，规模从70亿 ~ 700亿参数不等。本实践使用该模型集合中的7b（70亿）参数规模，且转换为HF格式的模型。更多详情，可查看meta-llama/Llama-2-7b-hf。

xFasterTransformer

Intel xFasterTransformer 是Intel^®开发的一个加速库，旨在为大语言模型（LLM）在CPU X86平台上的部署提供了一种深度优化的解决方案。支持多CPU节点之间的分布式部署方案，使得超大模型在CPU上的部署成为可能。此外，xFasterTransformer提供了C++和Python两种API接口，涵盖了从上层到底层的接口调用，易于用户使用并将xFasterTransformer集成到自有业务框架中。更多信息，可查看xFasterTransformer。

oneCCL

oneCCL（One Collective Communication Library）是Intel^®推出的一种集体通信库，旨在为分布式深度学习训练提供高性能的通信支持。它提供了一组优化的通信算法和数据结构，可用于在分布式环境中实现高效的通信操作。

oneDNN

oneDNN（oneAPI Deep Neural Network Library）是Intel^®开发的一个深度学习加速库，旨在优化和加速深度学习模型的推理和训练。它提供了一系列高效的算法和优化，用于在英特尔处理器（CPU）、图形处理器（GPU）和其他硬件加速器上执行深度学习任务。

操作步骤

步骤一：环境准备

1. 创建搭载了第5代英特尔®至强®可扩展处理器（Emerald Rapids，EMR）的云服务器实例，详细操作请参见购买云服务器。
   创建实例时，请注意以下配置：
   • 实例规格：本文选择通用型g3i（ecs.g3i.8xlarge）规格。
   • 云盘：推荐云盘容量不低于80GiB。
   • 镜像：本文选择Ubuntu 22.04 LTS 64位。
   • 网络：需要绑定公网IP，操作详情可查看绑定公网IP。
2. 为目标实例安装依赖工具、软件。

   1. 登录目标实例。

   2. 执行如下命令，为目标实例安装Git、Python及pip。

      apt install -y git python3 python3-pip
      

   3. 执行如下命令，检查实例GCC版本。

      gcc --version
      

      • 若版本不低于10，请继续后续步骤。
        
      • 若版本低于10，请执行如下命令，升级GCC版本。

        注意

        升级GCC可能会影响到系统中依赖于旧版本GCC的软件。确保在升级前备份重要数据，并确保新版本的GCC不会对系统的稳定性和已安装的软件产生不良影响。

        sudo apt update
        sudo apt install -y gcc			  
        

   4. 执行如下命令，安装oneCCL。

      git clone https://github.com/oneapi-src/oneCCL.git /tmp/oneCCL \
          && cd /tmp/oneCCL \
          && git checkout 2021.9 \
          && sed -i 's/cpu_gpu_dpcpp/./g' cmake/templates/oneCCLConfig.cmake.in \
          && mkdir build \
          && cd build \
          && cmake .. -DCMAKE_INSTALL_PREFIX=/usr/local/oneCCL \
          && make -j install \
          && cd ~ \
          && rm -rf /tmp/oneCCL \
          && echo "source /usr/local/oneCCL/env/setvars.sh" >> ~/.bashrc
      

      成功安装示例
      

   5. 安装oneDNN。

      1. 执行如下命令，安装oneDNN。

         cd /usr/local
         wget https://github.com/oneapi-src/oneDNN/releases/download/v0.21/mklml_lnx_2019.0.5.20190502.tgz \
              && tar -xzf mklml_lnx_2019.0.5.20190502.tgz \
              && rm -f mklml_lnx_2019.0.5.20190502.tgz \
              && echo 'export
         LD_LIBRARY_PATH=/usr/local/mklml_lnx_2019.0.5.20190502/lib:$LD_LIBRARY_PATH' >> ~/.bashrc
         

      2. 执行如下命令，验证是否完成安装。

         cat ~/.bashrc | grep '/usr/local/mklml_lnx_2019.0.5.20190502/lib:$LD_LIBRARY_PATH'
         

      • 成功安装示例
        
      • 若未成功安装，请重新执行安装命令进行安装。

   6. 执行如下命令，安装xFasterTransformer。

      pip install torch==2.0.1+cpu --index-url https://download.pytorch.org/whl/cpu
      pip install cmake==3.26.1 transformers==4.30.0 sentencepiece==0.1.99 tokenizers==0.13.3 accelerate==0.23.0
      pip install xfastertransformer
      pip install gradio
      

      • 成功安装示例
        
      • 若未成功安装，请重新执行安装命令进行安装。