基于火山引擎可信隐私计算平台,为客户构筑安全、可信的大模型训练和推理一体化解决方案,主要包含基于可信执行环境的大模型安全解决方案和基于联邦学习的联邦精调解决方案。
•基于机密容器提供云原生可信能力
•结合Kata Container和TEE能力,保护云服务全流程安全
•运行时安全:轻量化虚拟机+TEE;运行状态可证明
•镜像安全:算法代码加密签名;镜像使用控制
•存储安全:透明加解密;数据使用控制
•提供机密向量数据库全密态的安全防护
•数据分析安全:分析过程/查询请求加密保护
•数据存储安全:全密文落盘/加解密透明
•基于机密GPU构建异构高安全可信环境
•硬件机制:机密计算模式;异构远程证明
•软硬融合:降险沙箱;GPU算力节点安全管控
•大语言模型定制化服务
•预训练模型(PLM)需在下游任务数据上精调以提高可用性;
•客户缺乏大模型精调相应技术与计算资源;
•传统集中式精调方案的局限性
•数据隐私问题:客户需将原始数据披露给服务提供商;
•模型隐私问题:服务商需披露耗费大量资源训练得到的预训练模型;
联邦精调解决方案可实现:
•提供预训练模型、计算资源、核心功能;
•通过一站式模型即服务(MaaS)精调、部署并调用定制化的大语言模型;
•保证训练数据不离开客户本地,预训练模型主体不披露;