面对一些复杂的生成式AI任务,端上LLM可能无法满足用户的特定需求。当端侧借助云上LLM进行推理时,可借助火山引擎Jeddak PCC来实现端侧用户隐私数据保护前提下的端云协作推理。
面对端侧用户的个性化需求,厂商需要借助端侧用户数据为其提供精调后的LLM服务,让用户获取更佳的AI服务体验。当端侧发起LLM精调请求时,可借助Jeddak PCC来实现端侧用户隐私数据保护前提下的端云协作精调。
当端侧发起知识库的创建需求时,可借助Jeddak PCC实现端侧数据在云上向量数据库的密文存储;在端侧发起推理请求时,Jeddak PCC将查询条件做向量加密,基于密态向量知识库,实现密文空间上的向量检索。