系统提供30+种数据连接方式,方便企业将一方数据接入CDP系统中使用,包括但不限于关系型数据库(如:MySql、Oracle、SQL Server、DB2等),大数据平台(如:Hive,Impala、Clickhouse等),MPP数据库(Postgre等),流式数据库(Kafka等)、文本数据(Excel、CSV)、API接口等。不仅能够对接客户内部各业务公司客户数据和业务数据接入(如:会员系统、会员中台系统等),还可以对接官方网站、APP、公众号、小程序、服务号等数据源。
为了尽可能多的接入用户相关数据,建设更准确完善的数据画像,CDP系统支持企业接入三方数据。三方数据可能来源于不同的平台和渠道,此时可以发挥系统文本数据接入和API数据接入的能力,通过文本数据导入功能,能够通过界面直接导入Excel和Csv数据,并将这部分数据在平台中存储下来。用户可以自定义导入数据的生命周期和更新周期。同时,系统还提供巨量引擎、巨量千川、抖店、内容平台等数据的接入能力,进一步丰富企业数据。
数据源名称 | 支持连接方式 | 支持环境 | |
---|---|---|---|
关系型数据库 | MySQL | 抽取 | SaaS、私有化部署 |
IBM DB2 | 抽取 | SaaS、私有化部署 | |
Oracle | 抽取 | SaaS、私有化部署 | |
PostgreSQL | 抽取 | SaaS、私有化部署 | |
SQL Server | 抽取 | SaaS、私有化部署 | |
Teradata | 抽取 | SaaS、私有化部署 | |
Doris | 抽取 | SaaS、私有化部署 | |
达梦 | 抽取 | SaaS、私有化部署 | |
OceanBase MySQL | 抽取 | SaaS、私有化部署 | |
OceanBase Oracle | 抽取 | SaaS、私有化部署 | |
OpenGauss | 抽取 | SaaS、私有化部署 | |
流式数据 | Kafka | 抽取 | 私有化部署 |
Pulsar | 抽取 | 私有化部署 | |
OLAP | AnalyticDB for MySQL 2.0 | 抽取 | SaaS、私有化部署 |
AnalyticDB for MySQL 3.0 | 抽取 | SaaS、私有化部署 | |
Greenplum | 抽取 | SaaS、私有化部署 | |
SAP HANA | 抽取 | SaaS、私有化部署 | |
Impala | 抽取 | SaaS、私有化部署 | |
Clickhouse | 抽取 | SaaS、私有化部署 | |
HBase Phoenix | 抽取 | SaaS、私有化部署 | |
Vertica | 抽取 | SaaS、私有化部署 | |
Amazon Athena | 抽取 | SaaS、私有化部署 | |
Amazon redshift | 抽取 | SaaS、私有化部署 | |
ByteHouse CE | 抽取 | SaaS、私有化部署 | |
ByteHouse CDW | 抽取 | SaaS、私有化部署 | |
Presto | 抽取 | SaaS、私有化部署 | |
Databricks | 抽取 | SaaS、私有化部署 | |
本地文件 | Excel/CSV文件 | 抽取 | SaaS、私有化部署 |
Access | 抽取 | 私有化部署 | |
RestfulAPI | REST API | 抽取 | SaaS、私有化部署 |
列式数据库 | HBase | 抽取 | SaaS、私有化部署 |
数据仓库 | Hive | 抽取 | SaaS、私有化部署 |
MaxCompute | 抽取 | SaaS、私有化部署 | |
LAS(SaaS/私有化部署版) | 抽取 | SaaS、私有化部署 | |
星环 inceptor | 抽取 | SaaS、私有化部署 | |
StarRocks | 抽取 | SaaS、私有化部署 | |
文档数据库 | MongoDB | 抽取 | SaaS、私有化部署 |
火山引擎矩阵 | 内容平台 | 抽取 | SaaS、私有化部署 |
DataFinder | 抽取 | SaaS、私有化部署 | |
广告 | 巨量引擎/巨量千川 | 抽取 | SaaS、私有化部署 |
抖音生态 | 抖音生态数据 | 抽取 | SaaS、私有化部署 |
微信生态 | 微信公众号 | 抽取 | SaaS、私有化部署 |
企业微信 | 抽取 | SaaS、私有化部署 | |
公共数据 | 星座数据 | 抽取 | SaaS、私有化部署 |
日历数据 | 抽取 | SaaS、私有化部署 |
以MySQL数据连接为例,操作步骤如下:
1.点击 数据融合 > 数据连接 。
2.在数据连接目录左上角,点击 新建数据连接 按钮。
3.在添加数据连接的页面中,选择并点击 MySQL 。
4.在添加MySQL数据源页面,配置对应参数。如:
名称 | 描述 | 示例值 |
---|---|---|
数据连接名称 | 数据源配置列表的显示名称。 | Demo数据源 |
服务器 | 填写IP地址。 | 10.225.34.22 |
密码 | 数据库对应密码。 | cdp_password123 |
端口 | 填写正确的端口号。 | 3306 |
用户名 | 数据库对应的用户名。 | cdp_admin |
5.单击 连接测试 ,进行数据源连通性测试。
6.测试成功后,单击 确定 即可。
7.创建成功的数据连接页面可查看其 基本信息 及 血缘视图
概念 | 解释 |
---|---|
离线抽取 | 将数据离线抽取到VeCDP内置高性能存储计算引擎中。 应用场景包括:覆盖数据源面广:抽取模式支持以上所有数据源类型建模能力强:支持跨数据源多表join、多表合并查询性能快:支持超大数据量多维查询,内置计算引擎性能好,能够支撑满足大数据量的快速分析 |
实时抽取 | 将数据实时抽取到引擎中存储,仅支持Kafka数据源 |
直接 | 直接连接数据库,目前仅支持MySQL、ClickHouse、本地文件数据。 |