基于火山引擎隐私计算互联互通解决方案,打通异构隐私计算平台的数据流通难题,助力数据要素的充分共享。
方案总览
- 遵循行业共识,互联互通方案分为“管理面”和“数据面”两层;
- 各平台的管理面和数据面的具体实现不做限制,保持独立和自治;
- 仅实现管理面互通、数据面底座(算法组件)互通;不实现算法互通、算子互通;
- 节点组网模式采用去中心化模式,多方对等连接,可以直接互相访问,没有中心协调角色。
方案详情
管理面
- 管理面需提供节点互联、数据&模型&组件等资源管理、任务管理三大类;
- 管理面的服务通过节点互联协议建立连接,类似登录验证的过程,验证通过后双方均可主动访问对方;
- 资源管理模块提供平台间资源的元信息交互、使用授权功能等;
- 任务管理提供任务创建功能,协商输入输出、算法参数等,最终产出任务描述,将任务描述下发到数据面执行。
数据面
- 数据面抽象为底座、算法组件两个部分,算法组件和底座交互遵循算法组件协议,确保不同平台间的兼容性;
- 底座提供算法组件的运行环境,包含任务调度、计算资源调度、存储引擎、分布式计算引擎、日志管理、存证、通信等主要功能模块;
- 算法组件使用容器方式打包和运行,便于传播以及实现异构环境的兼容;
- 底座的计算资源调度模块负责加载和运行算法组件,不限制底层技术平台,可以自由选用 k8s、docker-compose、私有/公有云平台等技术方案。
互联互通协议
管理协议
约定节点互通、资源互通、任务互通的 API,连接两个平台的管理服务。
任务描述协议
约定任务名称、算法组件信息、输入输出、算法参数、流程等任务信息的组织和呈现,连接管理面和数据面。
任务调度协议
约定任务生命周期管理(执行、终止等)、状态同步等 API。
算法组件协议
约定算法组件的静态文件格式、命名规则、组件和底座的交互接口,包括数据 IO、日志上报、状态上报等,连接算法组件和底座。