1 简介

JDBC是Java DataBase Connectivity的缩写，它是Java程序访问数据库的标准接口，EMR Serverless Spark支持使用JDBC来提交任务，您可以使用标准JDBC接口来访问EMR Serverless Spark，还可以与市面上常见的BI软件进行结合。

2 连接 EMR Serverless Spark

2.1 示例代码

Class.forName("org.volcano.serverless.spark.jdbc.EMRServerlessSparkDriver");
Properties properties = new Properties();
properties.setProperty("user", "Ax");
properties.setProperty("password", "xx");
Connection conn = DriverManager.getConnection("jdbc:emr-serverless-spark://serverless-spark-jdbc.emr.cn-beijing.volces.com:10009/;queue_name=test_sparkjar", properties);
Statement statement = conn.createStatement();
String sql = "select 1";
ResultSet resultSet = statement.executeQuery(sql);
System.out.println(resultSet.getString(1));

2.2 代码解释

1. 环境准备

依赖：JDK 1.8
JDBC 下载地址：emr-serverless-spark-jdbc-driver.jar

2. 加载 EMR Serverless Spark JDBC 驱动

Class.forName("org.volcano.serverless.spark.jdbc.EMRServerlessSparkDriver");

3. 通过 DriverManager EMR Serverless Spark Connection

Connection conn = DriverManager.getConnection("jdbc:emr-serverless-spark://xx:10009/;queue_name=test_sparkjar", properties);

4. 创建Statement，并执行SQL，获取结果

Statement statement = conn.createStatement();
String sql = "select 1";
ResultSet resultSet = statement.executeQuery(sql);
System.out.println(resultSet.getString(1));

2.3 JDBC 链接串参数说明

jdbc:emr-serverless-spark://${endpoint}:10009/;queue_name=${queueName}&user=${AccessKey}&password=${SecretKey}

3 生态链接

通过JDBC，您可以在任意支持Hive/Spark/自定义 JDBC连接的BI软件上使用EMR Serverless Spark，下述是一些场景BI软件的连接示例

3.1 使用IDEA连接EMR Serverless Spark

1. IDEA 数据库连接中，新建一个JDBC连接Driver

• 点击左上角的+号，添加自定义连接Driver
• 在Driver Files中，添加EMR Serverless Spark的Driver Jar包
• Class选择：org.volcano.serverless.spark.jdbc.EMRServerlessSparkDriver

2. 创建数据源，并选择刚刚我们创建Driver

3. 填写相关信息

其中：

• Authentication 选择User&Password
• 用户名以及密码填写您账户的ak/sk
• URL可以参考JDBC连接串参数说明

4. 点击Test connection，如果通过，则说明设置成功

5. 打开数据库连接console，编写sql，即可开始您的sql分析