You need to enable JavaScript to run this app.
导航
概述
最近更新时间:2024.07.11 17:32:50首次发布时间:2023.03.17 14:39:44

1. 产品概述

系统提供30+种数据连接方式,方便企业将一方数据接入CDP系统中使用,包括但不限于关系型数据库(如:MySql、Oracle、SQL Server、DB2等),大数据平台(如:Hive,Impala、Clickhouse等),MPP数据库(Postgre等),流式数据库(Kafka等)、文本数据(Excel、CSV)、API接口等。不仅能够对接客户内部各业务公司客户数据和业务数据接入(如:会员系统、会员中台系统等),还可以对接官方网站、APP、公众号、小程序、服务号等数据源。
图片
为了尽可能多的接入用户相关数据,建设更准确完善的数据画像,CDP系统支持企业接入三方数据。三方数据可能来源于不同的平台和渠道,此时可以发挥系统文本数据接入和API数据接入的能力,通过文本数据导入功能,能够通过界面直接导入Excel和Csv数据,并将这部分数据在平台中存储下来。用户可以自定义导入数据的生命周期和更新周期。同时,系统还提供巨量引擎、巨量千川、抖店、内容平台等数据的接入能力,进一步丰富企业数据。
图片

2. 使用限制
  1. 需项目管理员在 项目中心-权限 中,给对应用户开启 元数据管理 模块的权限,及 项目编辑或管理 权限。
  2. 集团管理员 可以构建及编辑ID图谱
  3. 使用该功能时请确保您的网络环境处于外网环境

3. 支持的数据源清单

数据源名称

支持连接方式

支持环境

关系型数据库

MySQL

抽取

SaaS、私有化部署

IBM DB2

抽取

SaaS、私有化部署

Oracle

抽取

SaaS、私有化部署

PostgreSQL

抽取

SaaS、私有化部署

SQL Server

抽取

SaaS、私有化部署

Teradata

抽取

SaaS、私有化部署

Doris

抽取

SaaS、私有化部署

达梦

抽取

SaaS、私有化部署

OceanBase MySQL

抽取

SaaS、私有化部署

OceanBase Oracle

抽取

SaaS、私有化部署

OpenGauss

抽取

SaaS、私有化部署

流式数据

Kafka

抽取

私有化部署

Pulsar

抽取

私有化部署

OLAP

AnalyticDB for MySQL 2.0

抽取

SaaS、私有化部署

AnalyticDB for MySQL 3.0

抽取

SaaS、私有化部署

Greenplum

抽取

SaaS、私有化部署

SAP HANA

抽取

SaaS、私有化部署

Impala

抽取

SaaS、私有化部署

Clickhouse

抽取

SaaS、私有化部署

HBase Phoenix

抽取

SaaS、私有化部署

Vertica

抽取

SaaS、私有化部署

Amazon Athena

抽取

SaaS、私有化部署

Amazon redshift

抽取

SaaS、私有化部署

ByteHouse CE

抽取

SaaS、私有化部署

ByteHouse CDW

抽取

SaaS、私有化部署

Presto

抽取

SaaS、私有化部署

Databricks

抽取

SaaS、私有化部署

本地文件

Excel/CSV文件

抽取

SaaS、私有化部署

Access

抽取

私有化部署

RestfulAPI

REST API

抽取

SaaS、私有化部署

列式数据库

HBase

抽取

SaaS、私有化部署

数据仓库

Hive

抽取

SaaS、私有化部署

MaxCompute

抽取

SaaS、私有化部署

LAS(SaaS/私有化部署版)

抽取

SaaS、私有化部署

星环 inceptor

抽取

SaaS、私有化部署

StarRocks

抽取

SaaS、私有化部署

文档数据库

MongoDB

抽取

SaaS、私有化部署

火山引擎矩阵

内容平台

抽取

SaaS、私有化部署

DataFinder

抽取

SaaS、私有化部署

广告

巨量引擎/巨量千川

抽取

SaaS、私有化部署

抖音生态

抖音生态数据

抽取

SaaS、私有化部署

微信生态

微信公众号

抽取

SaaS、私有化部署

企业微信

抽取

SaaS、私有化部署

公共数据

星座数据

抽取

SaaS、私有化部署

日历数据

抽取

SaaS、私有化部署

4. 操作步骤

以MySQL数据连接为例,操作步骤如下:
1.点击 数据融合 > 数据连接
2.在数据连接目录左上角,点击 新建数据连接 按钮。
图片
3.在添加数据连接的页面中,选择并点击 MySQL
图片
4.在添加MySQL数据源页面,配置对应参数。如:

名称

描述

示例值

数据连接名称

数据源配置列表的显示名称。

Demo数据源

服务器

填写IP地址。

10.225.34.22

密码

数据库对应密码。

cdp_password123

端口

填写正确的端口号。

3306

用户名

数据库对应的用户名。

cdp_admin

图片
5.单击 连接测试 ,进行数据源连通性测试。
6.测试成功后,单击 确定 即可。
7.创建成功的数据连接页面可查看其 基本信息血缘视图
图片
图片

5. 常见问题

Q:数据源支持连接方式中的离线抽取、实时抽取、直连是什么意思?使用上有什么需要注意的?

概念

解释

离线抽取

将数据离线抽取到VeCDP内置高性能存储计算引擎中。 应用场景包括:覆盖数据源面广:抽取模式支持以上所有数据源类型建模能力强:支持跨数据源多表join、多表合并查询性能快:支持超大数据量多维查询,内置计算引擎性能好,能够支撑满足大数据量的快速分析
*使用限制:数据缺乏实时性,需要设置同步周期,数据会在用户选定的同步节点内进行同步

实时抽取

将数据实时抽取到引擎中存储,仅支持Kafka数据源

直接

直接连接数据库,目前仅支持MySQL、ClickHouse、本地文件数据。
*使用限制:查询性能一般:由于直接连接用户数据库,受数据连接和数据库引擎性能限制,查询性能可能受到影响。仅支持单表直连查询