功能简介
客户在使用火山VKE或者是云上自建Docker/K8S的时候,通过对接ENI trunking,单个GPU规格切分之后,可以支持更高密度的容器,并实现灵活的安全组配置和容器间的流量隔离,以提供更适合小型业务的更安全的GPU资源。
适用场景
推理场景:有些小型推理场景没有把显存和算力使用到极致存在浪费现象,通过ENI trunking可根据各任务的资源消耗特点来对接多个推理任务以优化资源的利用。
训推一体:训练和推理场景在不同时间复用相同GPU资源,在推理时把高算力高显存的训练卡分给多个业务应用以提高卡利用率和推理效率。
开发机场景:开发机提供运行、调试代码的基础环境,对GPU资源没有极致的性能要求,把多个研发同学的容器开发机部署到同一实例上可节约GPU资源。
使用说明
使用该功能需要开启openAPI白名单。Trunk ENI从接口创建完成后挂载到GPU实例上,Branch ENI由辅助ENI挂载Trunk ENI后得到通信能力,容器的出向流量通过Branch ENI即可“中继”到对应的Trunk ENI。
支持的GPU规格
目前已支持以下规格族
高性能计算GPU型hpcpni2
高性能计算GPU型ebmhpcpni2
高性能计算GPU型ebmhpchfpni2
高性能计算GPU型hpcpni2l
高性能计算GPU型ebmhpcpni2l
GPU计算型pni2
GPU计算型g1ve
GPU计算型ini2