AI 数据加速能力以容器服务(VKE)为数据集目的端时,支持对象存储(TOS)、制品仓库、存储卷声明(PVC)作为数据来源。本文主要介绍上述 AI 数据加速场景下的数据集创建方法。
说明
【邀测·申请试用】:以 VKE 为数据集目的端的数据加速能力,目前处于邀测状态,如需使用,请提交申请。
下文主要描述将 TOS 中的数据作为数据来源,发送到 VKE 端进行数据加速的操作步骤。
开通对象存储并创建存储桶。详细操作,请参见 创建存储桶。
配置项 | 说明 |
---|---|
基本信息 | |
数据集名称 | 根据系统提示,配置数据集名称。在同一个命名空间下,名称必须唯一。 |
命名空间 | 选择数据集所属的命名空间,支持选择自定义创建的命名空间或 Kubernetes 自建的命名空间。Kubernetes 自建命名空间的说明,请参见 命名空间概述。 |
标签分类 | 数据集的标签分类,系统提供 训练样本、模型、代码、其他 四种分类。不支持自定义标签分类。 |
数据集目的端 | |
目的端 | 数据集的缓存目的端,当前场景选择 容器集群(VKE)。 |
集群 | AI 业务所在的当前集群,不可配置。 |
节点 | 选择数据集缓存目的端所使用的节点。即 前提条件 中准备的 ECS 类型节点。 |
数据源端 | |
数据来源 | 数据集的数据来源,本场景选择 TOS。 |
地域 | 选择 步骤一 中准备的 TOS 存储桶所在的地域(Region)。 |
Bucket | 选择目标存储桶。 |
子目录 | 输入存储桶下的子目录,默认为根目录(/ )。 |
访问密钥 | 存储桶的访问密钥,即使用此处指定的访问密钥,授权容器服务访问存储桶。若无可用的密钥,单击 创建密钥,并根据系统提示配置密钥参数,创建新的访问密钥。 |
数据集配置 | |
数据集副本数 | 输入数据集的副本数量,取值范围为:1~100。 |
存储类型 | 数据集的存储类型,有如下两种:
|
单节点缓存空间大小 | 数据集目的端所使用的单节点缓存空间大小。大小不能超过已选单节点的自身容量。 |
立即预热 | 勾选 启用 后表示立刻将数据加载到缓存中。 |
数据集权限 | 目前仅支持 只读 权限,不可配置其他权限。 |
下文主要描述将制品仓库(Artifacts)中的数据作为数据来源,发送到 VKE 端进行数据加速的操作步骤。
开通制品仓库,创建制品仓库实例和 AI 仓库。详细操作,请参见 创建基础版实例。
说明
制品仓库中 AI 仓库 目前属于该服务的 邀测 功能,请在制品仓库侧 提交工单 或联系客户经理申请试用功能,并获取相关文档的查看权限。
配置项 | 说明 |
---|---|
基本信息 | |
数据集名称 | 根据系统提示,配置数据集名称。在同一个命名空间下,名称必须唯一。 |
命名空间 | 选择数据集所属的命名空间,支持选择自定义创建的命名空间或 Kubernetes 自建的命名空间。Kubernetes 自建命名空间的说明,请参见 命名空间概述。 |
标签分类 | 数据集的标签分类,系统提供 训练样本、模型、代码、其他 四种分类。不支持自定义标签分类。 |
数据集目的端 | |
目的端 | 数据集的缓存目的端,当前场景选择 容器集群(VKE)。 |
集群 | AI 业务所在的当前集群,不可配置。 |
节点 | 选择数据集缓存目的端所使用的节点。 |
数据源端 | |
数据来源 | 数据集的数据来源,本场景选择 制品仓库。 |
制品库 | 选择 步骤一 中已创建的制品仓库相关 地域、实例 和 仓库(AI 仓库)。 |
模型名称 | 选择 AI 仓库下的目标制品。 |
访问密钥 | 制品仓库的访问密钥(Secret),即使用此处指定的访问密钥,授权容器服务访问制品仓库。若无可用的密钥,单击 创建密钥,并根据系统提示配置密钥参数,创建新的访问密钥。 |
数据集配置 | |
数据集副本数 | 输入数据集的副本数量,取值范围为:1~100。 |
存储类型 | 数据集的存储类型,有如下两种:
|
单节点缓存空间大小 | 数据集目的端所使用的单节点缓存空间大小。大小不能超过已选单节点的自身容量。 |
立即预热 | 勾选 启用 后表示立刻将数据加载到缓存中。 |
数据集权限 | 目前仅支持 只读 权限,不可配置其他权限。 |
下文主要描述将 VKE 集群内 PVC 中的数据作为数据来源,进行数据加速的操作步骤。
容器服务支持创建多种存储类型的 PVC,请根据您的实际需求,创建作为数据来源的 PVC。详细操作,请参见:
配置项 | 说明 |
---|---|
基本信息 | |
数据集名称 | 根据系统提示,配置数据集名称。在同一个命名空间下,名称必须唯一。 |
命名空间 | 选择数据集所属的命名空间,支持选择自定义创建的命名空间或 Kubernetes 自建的命名空间。Kubernetes 自建命名空间的说明,请参见 命名空间概述。 |
标签分类 | 数据集的标签分类,系统提供 训练样本、模型、代码、其他 四种分类。不支持自定义标签分类。 |
数据集目的端 | |
目的端 | 数据集的缓存目的端,当前场景选择 容器集群(VKE)。 |
集群 | AI 业务所在的当前集群,不可配置。 |
节点 | 选择数据集缓存目的端所使用的节点。 |
数据源端 | |
数据来源 | 数据集的数据来源,本场景选择 PVC。 |
PVC | 选择 步骤一 中已创建的 PVC。 |
相对路径 | 设置 PVC 下的具体路径。 |
数据集配置 | |
数据集副本数 | 输入数据集的副本数量,取值范围为:1~100。 |
存储类型 | 数据集的存储类型,有如下两种:
|
单节点缓存空间大小 | 数据集目的端所使用的单节点缓存空间大小。大小不能超过已选单节点的自身容量。 |
立即预热 | 勾选 启用 后表示立刻将数据加载到缓存中。 |
数据集权限 | 目前仅支持 只读 权限,不可配置其他权限。 |
在 容器服务控制台 的 云原生 AI > 数据加速 页面查看数据集的状态,状态为 可用,表示数据集已成功创建。
说明
若创建不成功或状态为 不可用、异常 时,请 提交工单 获取技术支持。