You need to enable JavaScript to run this app.
导航
VKE 目的端数据加速
最近更新时间:2024.12.13 19:44:17首次发布时间:2024.12.13 19:44:17

AI 数据加速能力以容器服务(VKE)为数据集目的端时,支持对象存储(TOS)、制品仓库、存储卷声明(PVC)作为数据来源。本文主要介绍上述 AI 数据加速场景下的数据集创建方法。

说明

邀测·申请试用】:以 VKE 为数据集目的端的数据加速能力,目前处于邀测状态,如需使用,请提交申请。

前提条件

  • 已开通云原生 AI 套件服务,并在开通服务时安装了相关组件。详细操作,请参见 开通 AI 套件
  • 集群已安装 Helm 应用模板 fluid。详细操作,请参见 应用模板
  • 集群中已存在云服务器(ECS)类型的节点,作为缓存目的端使用的载体。详细操作,请参见 新增节点添加已有节点

数据来源为 TOS

下文主要描述将 TOS 中的数据作为数据来源,发送到 VKE 端进行数据加速的操作步骤。

步骤一:准备数据来源

开通对象存储并创建存储桶。详细操作,请参见 创建存储桶

步骤二:创建数据集

  1. 登录 容器服务控制台
  2. 在左侧导航栏中单击 集群
  3. 在集群列表页面,单击目标集群。
  4. 在集群管理页面的左侧导航栏中,选择 云原生 AI > 数据加速,然后单击 创建加速数据集
  5. 在 创建数据集 页面,配置数据集相关参数。
    配置项说明
    基本信息
    数据集名称根据系统提示,配置数据集名称。在同一个命名空间下,名称必须唯一。
    命名空间选择数据集所属的命名空间,支持选择自定义创建的命名空间或 Kubernetes 自建的命名空间。Kubernetes 自建命名空间的说明,请参见 命名空间概述
    标签分类数据集的标签分类,系统提供 训练样本模型代码其他 四种分类。不支持自定义标签分类。
    数据集目的端
    目的端数据集的缓存目的端,当前场景选择 容器集群(VKE)
    集群AI 业务所在的当前集群,不可配置。
    节点选择数据集缓存目的端所使用的节点。即 前提条件 中准备的 ECS 类型节点。
    数据源端
    数据来源数据集的数据来源,本场景选择 TOS
    地域选择 步骤一 中准备的 TOS 存储桶所在的地域(Region)。
    Bucket选择目标存储桶。
    子目录输入存储桶下的子目录,默认为根目录(/)。
    访问密钥存储桶的访问密钥,即使用此处指定的访问密钥,授权容器服务访问存储桶。若无可用的密钥,单击 创建密钥,并根据系统提示配置密钥参数,创建新的访问密钥。
    数据集配置
    数据集副本数输入数据集的副本数量,取值范围为:1~100。

    存储类型

    数据集的存储类型,有如下两种:

    • SSD:缓存写入节点上的系统盘,数据盘,本地盘。选择 SSD 后还需要配置 存储目录
    • MEM:缓存写入节点的内存。
    单节点缓存空间大小数据集目的端所使用的单节点缓存空间大小。大小不能超过已选单节点的自身容量。
    立即预热勾选 启用 后表示立刻将数据加载到缓存中。
    数据集权限目前仅支持 只读 权限,不可配置其他权限。
  6. 单击 确认,创建完成数据集。

数据来源为制品仓库

下文主要描述将制品仓库(Artifacts)中的数据作为数据来源,发送到 VKE 端进行数据加速的操作步骤。

步骤一:准备数据来源

开通制品仓库,创建制品仓库实例和 AI 仓库。详细操作,请参见 创建基础版实例

说明

制品仓库中 AI 仓库 目前属于该服务的 邀测 功能,请在制品仓库侧 提交工单 或联系客户经理申请试用功能,并获取相关文档的查看权限。

步骤二:创建数据集

  1. 登录 容器服务控制台
  2. 在左侧导航栏中单击 集群
  3. 在集群列表页面,单击目标集群。
  4. 在集群管理页面的左侧导航栏中,选择 云原生 AI > 数据加速,然后单击 创建加速数据集
  5. 在 创建数据集 页面,配置数据集相关参数。
    配置项说明
    基本信息
    数据集名称根据系统提示,配置数据集名称。在同一个命名空间下,名称必须唯一。
    命名空间选择数据集所属的命名空间,支持选择自定义创建的命名空间或 Kubernetes 自建的命名空间。Kubernetes 自建命名空间的说明,请参见 命名空间概述
    标签分类数据集的标签分类,系统提供 训练样本模型代码其他 四种分类。不支持自定义标签分类。
    数据集目的端
    目的端数据集的缓存目的端,当前场景选择 容器集群(VKE)
    集群AI 业务所在的当前集群,不可配置。
    节点选择数据集缓存目的端所使用的节点。
    数据源端
    数据来源数据集的数据来源,本场景选择 制品仓库
    制品库选择 步骤一 中已创建的制品仓库相关 地域实例仓库(AI 仓库)。
    模型名称选择 AI 仓库下的目标制品。
    访问密钥制品仓库的访问密钥(Secret),即使用此处指定的访问密钥,授权容器服务访问制品仓库。若无可用的密钥,单击 创建密钥,并根据系统提示配置密钥参数,创建新的访问密钥。
    数据集配置
    数据集副本数输入数据集的副本数量,取值范围为:1~100。

    存储类型

    数据集的存储类型,有如下两种:

    • SSD:缓存写入节点上的系统盘,数据盘,本地盘。选择 SSD 后还需要配置 存储目录
    • MEM:缓存写入节点的内存。
    单节点缓存空间大小数据集目的端所使用的单节点缓存空间大小。大小不能超过已选单节点的自身容量。
    立即预热勾选 启用 后表示立刻将数据加载到缓存中。
    数据集权限目前仅支持 只读 权限,不可配置其他权限。
  6. 单击 确认,创建完成数据集。

数据来源为 PVC

下文主要描述将 VKE 集群内 PVC 中的数据作为数据来源,进行数据加速的操作步骤。

步骤一:准备数据来源

容器服务支持创建多种存储类型的 PVC,请根据您的实际需求,创建作为数据来源的 PVC。详细操作,请参见:

步骤二:创建数据集

  1. 登录 容器服务控制台
  2. 在左侧导航栏中单击 集群
  3. 在集群列表页面,单击目标集群。
  4. 在集群管理页面的左侧导航栏中,选择 云原生 AI > 数据加速,然后单击 创建加速数据集
  5. 在 创建数据集 页面,配置数据集相关参数。
    配置项说明
    基本信息
    数据集名称根据系统提示,配置数据集名称。在同一个命名空间下,名称必须唯一。
    命名空间选择数据集所属的命名空间,支持选择自定义创建的命名空间或 Kubernetes 自建的命名空间。Kubernetes 自建命名空间的说明,请参见 命名空间概述
    标签分类数据集的标签分类,系统提供 训练样本模型代码其他 四种分类。不支持自定义标签分类。
    数据集目的端
    目的端数据集的缓存目的端,当前场景选择 容器集群(VKE)
    集群AI 业务所在的当前集群,不可配置。
    节点选择数据集缓存目的端所使用的节点。
    数据源端
    数据来源数据集的数据来源,本场景选择 PVC
    PVC选择 步骤一 中已创建的 PVC。
    相对路径设置 PVC 下的具体路径。
    数据集配置
    数据集副本数输入数据集的副本数量,取值范围为:1~100。

    存储类型

    数据集的存储类型,有如下两种:

    • SSD:缓存写入节点上的系统盘,数据盘,本地盘。选择 SSD 后还需要配置 存储目录
    • MEM:缓存写入节点的内存。
    单节点缓存空间大小数据集目的端所使用的单节点缓存空间大小。大小不能超过已选单节点的自身容量。
    立即预热勾选 启用 后表示立刻将数据加载到缓存中。
    数据集权限目前仅支持 只读 权限,不可配置其他权限。
  6. 单击 确认,创建完成数据集。

验证结果

在 容器服务控制台云原生 AI > 数据加速 页面查看数据集的状态,状态为 可用,表示数据集已成功创建。

说明

若创建不成功或状态为 不可用异常 时,请 提交工单 获取技术支持。