You need to enable JavaScript to run this app.
导航
AI 数据加速
最近更新时间:2024.09.14 17:59:30首次发布时间:2024.09.14 17:59:30

AI 套件支持以预加载方式实现模型的缓存加速。加速了算力端加载模型的时间,全面提升了大模型应用的运行效率。

说明

该功能目前处于 公测 阶段。

背景信息

AI 大模型领域的模型文件通常都比较大,几个 GiB 甚至几十个 GiB 规格的模型文件非常常见。用户微调、部署这些模型时,需要加载大量的数据,耗时较多,大大影响推理服务的启动以及模型切换的效率,从而造成用户体验低下的问题。

针对上述问题,云原生 AI 套件基于数据缓存加速技术,提供 AI 数据加速能力,将数据从存储位置缓存到算力近端,加速了算力端加载模型的时间,大幅提升大模型应用的运行效率。

前提条件

  • 已开通云原生 AI 套件服务,并在开通服务时安装了相关组件。详细操作,请参见 开通 AI 套件
  • 集群已安装 Helm 应用模板 fluid。详细操作,请参见 应用模板
  • (可选)如果使用制品仓库作为数据来源,请确保已开通制品仓库,创建制品仓库实例和 AI 仓库。详细操作,请参见 创建基础版实例

    说明

    制品仓库中 AI 仓库 目前属于 邀测 功能。如需使用,请在制品仓库侧 提交工单 或联系客户经理申请。

  • (可选)如果使用对象存储(TOS)作为数据来源,请确保已开通对象存储并创建存储桶。详细操作,请参见 创建存储桶
  • (可选)如果使用存储卷声明(PVC)作为数据来源,请确保已创建 PVC。详细操作,请参见 存储管理

操作步骤

  1. 登录 容器服务控制台
  2. 在左侧导航栏中单击 集群
  3. 在集群列表页面,单击目标集群。
  4. 在集群管理页面的左侧导航栏中,选择 云原生 AI > 数据加速,然后单击 创建加速数据集
  5. 在 创建数据集 页面,配置数据集相关参数。
    配置项说明
    基本信息
    数据集名称根据系统提示,配置数据集名称。在同一个命名空间下,名称必须唯一。
    命名空间选择数据集所属的命名空间,支持选择自定义创建的命名空间或 Kubernetes 自建的命名空间。Kubernetes 自建命名空间的说明,请参见 命名空间概述
    标签分类数据集的标签分类,系统提供 训练样本模型代码其他 四种分类。不支持自定义标签分类。
    数据集权限目前仅支持 只读 权限,不可配置其他权限。
    数据源端

    数据来源

    数据集的数据来源,目前支持如下三种来源:

    • 制品仓库:使用火山引擎制品仓库产品中的制品,作为数据来源。
      • 制品库:选择 前提条件 中已创建的制品仓库相关地域、实例和 AI 仓库。
      • 模型名称:选择 AI 仓库下的目标制品。
      • 访问密钥:制品仓库的访问密钥(Secret)。若无可用的密钥,单击 创建密钥,根据系统提示,配置密钥参数,创建新的访问密钥。
    • PVC:使用容器服务中已创建存储卷声明,作为数据来源。
      • PVC:选择目标存储卷声明。
      • 相对路径:PVC 下的具体路径。
    • TOS:使用火山引擎对象存储服务存储桶(Bucket)中的数据,作为数据来源。
      • 地域:选择 TOS 存储桶所在的地域(Region)。
      • Bucket:选择目标存储桶。
      • 子目录:输入存储桶下的子目录,默认为根目录(/)。
      • 访问密钥:存储桶的访问密钥。 若无可用的密钥,单击 创建密钥,根据系统提示,配置密钥参数,创建新的访问密钥。
    数据集目的端
    目的端数据集的缓存目的端,目前仅支持 VKE,不可配置其他目的端。
    集群AI 业务所在的当前集群,不可配置。
    节点选择数据集缓存目的端所使用的节点。
    数据集副本数输入数据集副本数,取值范围为:1~100。

    存储类型

    数据集的存储类型,有如下两种:

    • SSD:缓存写入节点上的系统盘,数据盘,本地盘。选择 SSD 后还需要配置 存储目录
    • MEM:缓存写入节点的内存。
    单节点缓存空间大小自定义输入单节点缓存空间大小。大小不能超过已选单节点的自身容量。
    立即预热勾选后表示立刻将数据加载到缓存中。
  6. 单击 确认,创建完成数据集。
    云原生 AI > 数据加速 页面查看数据集的状态,状态为 可用,表示数据集已成功创建。

    说明

    若创建不成功或状态为 不可用异常 时,请 提交工单 获取技术支持。