Qwen-7B 是一个官方模型组，它包含 3 个独立模型和 1 个 Ensemble 模型。Ensemble 模型将 3 个独立模型封装为一个工作流。本模型组允许您向一体机私有化部署 Qwen-7B 大模型，在边缘侧获取大模型服务。
Qwen-7B 是 Alibaba Cloud 推出的大型语言模型系列 Qwen（通义千问）的 7B 参数版本。Qwen-7B 是基于 Transformer 架构的语言模型，预训练数据包括大量的网络文本、书籍、代码等，覆盖了广泛的领域。这个模型已经开源，可以在多个平台上使用。更多信息，可以参考以下链接：

• Hugging Face 上的 Qwen-7B
• GitHub 上的 Qwen-7B

模型组基本信息

模型列表

本模型组包含 4 个模型。其中，Ensemble 模型中封装了其他模型，定义了模型组的整体工作流。使用过程中，您只需部署 Ensemble 模型，无需关注中间的处理过程。
下表罗列了本模型组包含的所有模型。您可以在边缘智能控制台的 官方模型 列表访问这些模型。

Ensemble 模型输入

Ensemble 模型输出

Ensemble 模型版本

本模型提供一个可部署版本。

部署模型服务

参考 部署模型服务进行模型服务的部署。在 部署模型服务 参数配置页面，修改以下配置：

验证

完成模型服务部署后，您可以使用客户端脚本进行模型的调用。
以下是 Client 脚本的示例：

• 直接调用

  import requests
  import json
  
  server = "<server_ip:port>" # 修改为模型服务的服务地址（可从模型服务详情中获取）
  model = "<model_service_name>" # 修改为模型服务的名称（可从模型服务详情中获取）
  
  url = "http://%s/v2/models/%s/generate" % (server, model)
  
  data = {
      "messages": json.dumps([
        {
          "role": "system",
          "content": [
            {
              "type": "text",
              "text": "You are a helpful assistant."
            }
          ]
        },
        {
          "role": "user",
          "content": [
            {
              "type": "text",
              "text": "请你说'是'"
            },
          ]
        }
      ]),
      "max_tokens": 500, # 设置最大输出 tokens 数量
      "top_p": 0.8, # 设置 top_p
  }
  
  response = requests.post(url, json=data)
  print(response.json())
  

• 使用 OpenAI SDK 调用

  import argparse
  from openai import OpenAI
  
  def main():
      # 设置命令行参数解析
      parser = argparse.ArgumentParser(description='Connect to an OpenAI server with specified base URL.')
      parser.add_argument('--server', type=str, required=True, help='Server IP and port in the format ip:port')
      parser.add_argument('--apikey', type=str, default="apikey", help='Your Api Key')
  
      # 解析命令行参数
      args = parser.parse_args()
  
      # 构建完整的URL
      base_url = f"http://{args.server}/v1"
      
      # 创建OpenAI客户端实例
      client = OpenAI(
          base_url=base_url,
          api_key=args.apikey,
      )
      
      response = client.chat.completions.create(
          messages=[
              {
                  "role": "user",
                  "content": "天空为什么是蓝色?",
              }
          ],
          model="model",
          max_tokens=1000,
      )
  
      print(response)
  
  if __name__ == '__main__':
      main()