.png)
GPU云服务器
提供GPU算力的弹性计算服务。
大数据文件存储
CloudFS提供AI训练推理场景的文件加速服务。
对象存储
提供海量安全低成本高可用的分布式云存储服务。
云服务器
提供安全稳定、可弹性伸缩的云计算服务。
产品优势
产品功能
应用场景
产品优势
立即咨询
性能卓越
支持多网络协议
EIC支持TCP 、RDMA和GPUDirect RDMA等多种访问方式，能够支持不同的推理场景及性能需求。
极致成本
半托管融合部署
数据节点部署在GPU本地，统一纳管空闲的内存及SSD资源，提供加速服务，降低存储成本。
灵活易用
智能数据流动
基于Namespace能力做缓存空间的切分，并支持Namespace级别的数据沉降、数据回热及数据驱逐能力。
生态兼容
兼容推理框架
兼容火山引擎及其他开源的LLM框架，提供C++ 、Python等多语言SDK，适配推理环节中对KVCache的多样化访问需求。
产品功能
立即咨询
.svg)
数据分类
支持基于Namespace级别切分缓存空间，可根据不同场景特点建立差异化的数据沉降、回热、驱逐等治理策略。
.svg)
多级缓存
支持以半托管模式部署在GPU本地，纳管多台GPU节点的内存及SSD资源，突破单GPU的内存墙限制，提供高性能大容量的KVCache服务。
.svg)
数据流动
支持智能数据流动策略，在内存和SSD之间通过数据沉降降低内存依赖，通过数据回热支持数据极速摄取，通过数据驱逐淘汰低频数据。
.svg)
生态接口
支持mset 、mget等读写接口，提供Common Key、Hash Key等多种数据结构，用于大模型推理Prefix Cache、Session Cache等场景。
数据分类
支持基于Namespace级别切分缓存空间，可根据不同场景特点建立差异化的数据沉降、回热、驱逐等治理策略。
多级缓存
支持以半托管模式部署在GPU本地，纳管多台GPU节点的内存及SSD资源，突破单GPU的内存墙限制，提供高性能大容量的KVCache服务。
数据流动
支持智能数据流动策略，在内存和SSD之间通过数据沉降降低内存依赖，通过数据回热支持数据极速摄取，通过数据驱逐淘汰低频数据。
生态接口
支持mset 、mget等读写接口，提供Common Key、Hash Key等多种数据结构，用于大模型推理Prefix Cache、Session Cache等场景。
应用场景
大模型文生文推理
EIC提供高性能可扩展的缓存空间，应对Prefill及Decode环节海量KVCache的存储需要，减少文生文推理中相同token的重复计算，降低推理GPU资源消耗。
相关产品:
大模型多模态推理
EIC提供高性能可扩展的缓存空间，在文生图/文生视频等多模态推理场景，应对批量生成多张图片或处理长序列视频帧数据时的高并发负载需求。
相关产品:
.png)
.png)
