AI 套件支持以预加载方式实现模型的缓存加速。加速了算力端加载模型的时间,全面提升了大模型应用的运行效率。
说明
该功能目前处于 公测 阶段。
AI 大模型领域的模型文件通常都比较大,几个 GiB 甚至几十个 GiB 规格的模型文件非常常见。用户微调、部署这些模型时,需要加载大量的数据,耗时较多,大大影响推理服务的启动以及模型切换的效率,从而造成用户体验低下的问题。
针对上述问题,云原生 AI 套件基于数据缓存加速技术,提供 AI 数据加速能力,将数据从存储位置缓存到算力近端,加速了算力端加载模型的时间,大幅提升大模型应用的运行效率。
说明
制品仓库中 AI 仓库 目前属于 邀测 功能。如需使用,请在制品仓库侧 提交工单 或联系客户经理申请。
配置项 | 说明 |
---|---|
基本信息 | |
数据集名称 | 根据系统提示,配置数据集名称。在同一个命名空间下,名称必须唯一。 |
命名空间 | 选择数据集所属的命名空间,支持选择自定义创建的命名空间或 Kubernetes 自建的命名空间。Kubernetes 自建命名空间的说明,请参见 命名空间概述。 |
标签分类 | 数据集的标签分类,系统提供 训练样本、模型、代码、其他 四种分类。不支持自定义标签分类。 |
数据集权限 | 目前仅支持 只读 权限,不可配置其他权限。 |
数据源端 | |
数据来源 | 数据集的数据来源,目前支持如下三种来源:
|
数据集目的端 | |
目的端 | 数据集的缓存目的端,目前仅支持 VKE,不可配置其他目的端。 |
集群 | AI 业务所在的当前集群,不可配置。 |
节点 | 选择数据集缓存目的端所使用的节点。 |
数据集副本数 | 输入数据集副本数,取值范围为:1~100。 |
存储类型 | 数据集的存储类型,有如下两种:
|
单节点缓存空间大小 | 自定义输入单节点缓存空间大小。大小不能超过已选单节点的自身容量。 |
立即预热 | 勾选后表示立刻将数据加载到缓存中。 |
说明
若创建不成功或状态为 不可用、异常 时,请 提交工单 获取技术支持。