You need to enable JavaScript to run this app.
导航
数据连接概述
最近更新时间:2024.11.18 16:25:01首次发布时间:2021.02.23 10:42:01

1. 概述

数据连接,也可以称之为数据源接入,是完成与数据库对接的第一步,完成之后可以创建数据集作为数据可视化查询分析的输入;也可以作为数据可视化建模的输入。
智能数据洞察产品支持用户做私有化部署,或者直接使用火山引擎 SaaS 版本。对于 SaaS 版本,用户需将下列 IP 设置为白名单,180.184.64.81180.184.87.232180.184.102.141,设置成功后即可在 SaaS 环境接入数据。

2. 支持数据库清单

智能数据洞察支持接入的数据源类型,不仅包含本地文件上传,还包含:FTP连接、在线表格、流式数据库、OLAP数据库、关系型数据库、其他数据仓库、火山引擎矩阵数据源、系统元数据、抖音生态数据、API连接、内容管理平台、微信公众号、星座数据,以及日历数据等。

  • 连接方式的区别直接查看抽取与直连介绍
  • 有的数据库存在版本区分,以下列出产品支持的版本号
  • 产品有私有化部署版本和在线的 SaaS 版本,数据源在环境支持上也存在差异,在下方表格列出
  • 数据库的接入方法快速了解可查看快速入门

下方表格为您列出以数据库为主的数据源58个,供您快速预览:

数据源名称

支持连接方式

支持数据库版本

支持环境

支持环境版本

是否支持创建
自定义 SQL 数据集

接入方法

Excel/CSV 文件

离线抽取、直连

--

SaaS、私有化部署

--

不支持

本地 Excel/CSV

Access

离线抽取

--

私有化部署

--

不支持

Access

Kafka

实时抽取

0.8.x 版本以上

私有化部署

--

不支持

Kafka 数据接入

Pulsar

实时抽取

2.8.3
2.10.1

私有化部署

--

不支持

Pulsar

GreenPlum

离线抽取

6.8.0

SaaS、私有化部署

--

支持

GreenPlum

SAP HANA

离线抽取

2.x

SaaS、私有化部署

--

支持

SAP HANA

Impala

离线抽取、直连

2.12.0-cdh5.15.1
3.x
4.x

SaaS、私有化部署

--

支持

Impala

ClickHouse 社区版

离线抽取、直连

19
20
21
22

SaaS、私有化部署

--

支持

ClickHouse

HBase Phoenix

离线抽取

Phoenix 4.14 / Hbase 1.3

SaaS、私有化部署

--

支持

HBase Phoenix

HBase

离线抽取

1.x
2.x

SaaS、私有化部署

--

不支持

HBase

Vertica

离线抽取

7.1.1-0

SaaS、私有化部署

--

不支持

Vertica

Amazon Athena

离线抽取

--

SaaS、私有化部署

V2.44.0

支持

Amazon Athena

Amazon Redshift

离线抽取

8.0.2

SaaS、私有化部署

--

支持

Amazon Redshift

ByteHouse CDW

离线抽取、直连

--

SaaS、私有化部署

V2.44.0

支持

ByteHouse CDW

ByteHouse CE

离线抽取、直连

2.1

SaaS、私有化部署

--

支持

ByteHouse CE

Presto

离线抽取、直连(V2.50.0 版本及之后支持)

--

SaaS、私有化部署

--

支持

Presto

Databricks

离线抽取

2.48

SaaS、私有化部署

--

支持

Databricks

AnalyticDB for MySQL 2.0

离线抽取

--

SaaS、私有化部署

--

支持

AnalyticDB for MySQL 2.0

AnalyticDB for MySQL 3.0

离线抽取

--

SaaS、私有化部署

--

支持

AnalyticDB for MySQL 3.0

Hologres

离线抽取、直连

--

SaaS、私有化部署

--

支持

Hologres

MySQL

离线抽取、直连

5.5
5.6
5.7
8.0

SaaS、私有化部署

--

支持

MySQL

IBM DB2

离线抽取

11.5.4.0

SaaS、私有化部署

--

支持

IBM DB2

Oracle

离线抽取

11g Enterprise Edition Release
11.2.0.1.0
12
18
19

SaaS、私有化部署

--

支持

Oracle

PostgreSQL

离线抽取、直连

8
9
10
11
12
13
14
15

SaaS、私有化部署

--

支持

PostgreSQL

OpenGauss

离线抽取

--

SaaS、私有化部署

--

支持

OpenGauss

SQL Server

离线抽取

2012
2014
2016
2017
2019

SaaS、私有化部署

--

支持

SQL Server

Teradata

离线抽取

--

SaaS、私有化部署

--

支持

Teradata

Doris

离线抽取、直连

--

SaaS、私有化部署

--

支持

Doris

达梦

离线抽取

--

SaaS、私有化部署

--

支持

达梦

TiDB

离线抽取

--

SaaS、私有化部署

--

支持

TiDB

GoldenDB

离线抽取

--

SaaS、私有化部署

--

支持

GoldenDB

OceanBase MySQL

离线抽取

--

SaaS、私有化部署

--

支持

OceanBase MySQL

OceanBase Oracle

离线抽取

--

SaaS、私有化部署

--

支持

OceanBase Oracle

Hive

离线抽取

1.x
2.x
3.x
2.1.1-cdh6.3.2

SaaS、私有化部署

--

支持

Hive

MaxCompute

离线抽取

1.0
2.0

SaaS、私有化部署

--

支持

MaxCompute

星环 Inceptor

离线抽取

--

SaaS、私有化部署

--

--

星环 Inceptor

StarRocks

离线抽取、直连

--

SaaS、私有化部署

--

支持

StarRocks

华为 FusionInsight

离线抽取

--

SaaS、私有化部署

V2.56.1

支持

华为 FusionInsight

腾讯云 DLC

离线抽取

--

SaaS、私有化部署

--

支持

腾讯云 DLC

DataFinder

直连

--

SaaS、私有化部署

私有化部署
Finder 需 V4.3.0;
DataWind 需 V2.50.0
SaaS:
Finder 需为云原生版本

不支持

DataFinder

LAS(公有云版)

离线抽取

--

SaaS、私有化部署

--

支持

LAS

智能外呼

离线抽取

智能外呼 需2022年12月及以后的版本

SaaS、私有化部署

智能外呼:2022.12以后的版本;
DataWind:V2.54.0版本

--

智能外呼

元数据连接与应用

--

--

私有化部署

--

--

元数据连接与应用

抖音生态类数据

离线抽取

--

SaaS、私有化部署

SaaS云托管:2024.4.11后
私有化部署:V2.68.0

不支持

抖音生态数据

巨量引擎/巨量千川

离线抽取

--

SaaS、私有化部署

--

不支持

巨量引擎/巨量千川

REST API

离线抽取

--

SaaS、私有化部署

--

不支持

API 数据连接

内容平台

离线抽取

--

SaaS、私有化部署

V2.44.0

不支持

内容管理平台

MongoDB

离线抽取

4.4.4
5.0.9

SaaS、私有化部署

--

支持

MongoDB

微信公众号

离线抽取

--

SaaS、私有化部署

SaaS云托管:2024.4.11后
私有化部署:V2.68.0

不支持

微信公众号

星座数据

直连

--

SaaS、私有化部署

SaaS云托管:2024.4.11后
私有化部署:V2.68.0

不支持

星座数据

日历数据

直连

--

SaaS、私有化部署

SaaS云托管:2024.4.11后
私有化部署:V2.68.0

不支持

日历数据

飞书电子表格

离线抽取

--

SaaS、私有化部署

--

不支持

飞书表格

飞书多维表格

离线抽取

--

SaaS、私有化部署

--

不支持

飞书多维表格

飞书项目(Meego)数据

离线抽取

--

SaaS、私有化部署

V2.72.0

不支持

飞书项目(Meego)数据

阿里云 OSS

离线抽取

--

SaaS、私有化部署

V2.74.0

不支持

阿里云 OSS

腾讯云COS

离线抽取

--

SaaS、私有化部署

V2.74.0

不支持

腾讯云COS

火山云 TOS

离线抽取

--

SaaS、私有化部署

V2.74.0

不支持

火山云 TOS

3. 快速入门

(1)进入火山引擎智能数据洞察产品,点击进入到某个具体项目下,点击数据准备,在下拉列表找到数据连接,点击数据连接。
Image
(2)选择要连接的数据源类型。
Image
(3)配置对应参数,可以参考如下 MySQL 的 DEMO 库信息。
Image

名称

描述

示例值

数据连接名称

数据源配置列表的显示名称。

Demo 数据源

服务器

填写 IP 地址。

10.225.34.22

端口

填写正确的端口号。

3306

数据库

连接数据库名称。

DataWind_online_demo

用户名

数据库对应的用户名。

DataWind_admin

密码

数据库对应密码。

DataWind_password123

  • 单击连接测试,进行数据源连通性测试。

Image

  • 测试成功后,确定保存即可。

(4)查找已创建的数据连接
在数据连接目录(左侧列表),您可以依据自己所拥有的权限进行筛选查找。(此功能于2.54.0及以上版本支持)
Image

4. 抽取与直连

4.1 离线抽取

将数据离线抽取到 DataWind 内置高性能存储计算引擎中,目前支持的大部分数据库都默认支持离线抽取
应用场景

  • 覆盖数据源面广:抽取模式支持以上所有数据源类型
  • 建模能力强:支持跨数据源多表 join、多表合并
  • 查询性能快:支持超大数据量多维查询,内置计算引擎性能好,能够支撑满足大数据量的快速分析

使用限制

  • 数据缺乏实时性:需要设置同步周期,数据会在用户选定的同步节点内进行同步

4.2 实时抽取

将数据实时抽取到引擎中存储,仅支持 Kafka、Pulsar 数据源等

4.3 直连

直接连接数据库,利用数据库的性能
应用场景

  • 支持实时数据功能,可以直接连接用户的数据库,不需要数据更新,满足用户对数据实时性的要求

使用限制

  • 查询性能受数据库性能影响大:由于直接连接用户数据库,受数据连接和数据库引擎性能限制,查询性能可能受到影响
  • 在 V2.50.0 版本之前仅支持单表直连查询
  • 从 V2.50.0 版本及之后,除 finder 数据连接仅支持单表外,其他直连数据源可支持多表 Union、Join、自定义 SQL,多表不可跨数据源、跨数据连接使用,比如来自 A 数据连接的表 A 和来自 B 数据连接的表 B,不能进行union/join,或者在自定义 SQL 中同时存在表 A、B 的操作