数据服务 帮助您将数据快速服务化,包括服务创建、管理、运维和共享等全生命周期管理能力。帮助搭建统一的数据服务出口,实现数据应用价值最大化。
业务通常期望使用接口方式来使用数据,而非数据表,这会更加灵活、解耦、高效。
因此,数据开发工程师需要建立对应的数据服务,一般会有以下两个要求:
要求数据开发不仅仅是开发出数据表,还需要将数据表包装成一个独立的、灵活的、高可用的、安全的数据服务。
要求数据开发工程师,除了具备基本的业务需求捕获、数据建模、SQL 开发等能力外,还要具备开发高可用、高性能的数据服务能力(包括 java 开发、微服务等)。
而目前常见的业务问题有以下 4 个:
不同的存储介质需求 :
为保障数据的查询速度,符合业务使用要求,需要引入中间存储。根据不同的数据量和应用场景可能会使用不同的存储,而不同的中间存储提供的接口不同,需要我们独立开发和维护各类数据迁移任务与数据接口。
权限与可用性问题:
开发完数据服务后,需要考虑权限问题,确保数据资源能被安全的访问;此外还需要考虑可用性问题,要以多种手段保障数据访问的稳定性。
运维问题:
数据服务本身涉及多种运维问题,如扩容、迁移、下线、接口变更、服务报警等。
重复建设同质化服务接口:
数据同步和微服务通常有很多共同之处,重复烟囱式的开发意味要重复开发数据服务,造成了人力资源和数据存储资源浪费。
这些问题导致我们通常会面临如下痛点:
数据接入效率低
管理及运维成本高
接口质量不高
为了解决常见的业务痛点问题,在数据服务体系下,我们提供步骤式、灵活脚本、原生 SQL 三种模式,从而降低开发门槛、提高开发效率、统一代码质量,方便管理变更等。
数据服务产品价值能力,概括为:
服务创建能力:
面向数据库表的向导式和脚本式 Query。提供低代码快速构建 API,同时提供自定义的脚本模式创建 API,可以自助定义复杂的查询条件、聚合函数、判断逻辑等。
API 管理与运维能力:
支持 API 版本管理、鉴权、资产转移等完善的服务管理能力;支持 API 超时、失败等告警,服务调用成功失败率、请求次数等监控。
统一接口标准:提供统一的数据接口标准和服务元信息,为开发者屏蔽不同的中间存储,减少下游应用对接工作量,提升数据接入效率低。
收敛数据计算逻辑,保障多应用数据一致性:将数据计算逻辑沉淀至数据平台,实现应用逻辑与数据逻辑解耦,减少数据计算在应用侧发生,实现指标、标签等数据资产一处存储多处使用,跨应用的数据一致。
降低计算和存储资源:将数据存储和计算资源收敛到数据平台侧,使用接口统一查询,降低数据二次计算与各应用系统重复存储成本。
数据安全与合规保障 :减少大量明细、敏感数据在应用侧的存储和暴露。使用统一平台数据安全管控策略,同时通过 API 审核发布、鉴权流控等手段,降低数据安全管控成本。
您可以通过数据服务平台来创建数据服务接口、运维服务、调用服务。
平台秉承“配置即服务”的理念,即数据开发工程师不再需要手写数据服务,只需要在平台系统上进行简单配置,便可自动生产和部署数据服务,从而提升效率。