You need to enable JavaScript to run this app.
导航
DolphinScheduler 使用 Proton
最近更新时间:2025.03.14 15:49:21首次发布时间:2025.03.14 15:49:21
我的收藏
有用
有用
无用
无用

DolphinScheduler 的资源中心用于管理和存储工作流中使用的各类资源文件,支持使用 HDFS 等作为远端存储,若希望使用 TOS 存储,则可以借助 Proton 实现。

自建 DolphinScheduler 集群

下载依赖

请参考Proton 发行版本中的版本信息,选择您对应的 Proton 版本,下载对应的 Proton 包,解压后将plugins/hadoop3/proton-hadoop3-bundle-*.jar 分别放入 api-server、master-server、worker-server 的 libs 目录下,如果是 standalone 模式部署的 DolphinScheduler,则放入 standalone-server 的libs 目录下。

配置 DolphinScheduler

修改common.properties

修改 api-server、master-server、worker-server 的 conf 目录下的 common.properties。如果是 standalone 模式部署,则修改 standalone-server 的 conf 目录下 common.properties。

resource.storage.type=HDFS
resource.hdfs.fs.defaultFS=tos://<TOS-bucket-name>
resource.storage.upload.base.path=/dolphinscheduler

修改core-site.xml

修改 api-server、master-server、worker-server 的 conf 目录下的 core-site.xml。如果是 standalone 模式部署,则修改 standalone-server 的 conf 目录下 core-site.xml。如果相应目录下没有该文件,则创建。详细配置可参考 Hadoop 使用 Proton - 配置修改

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
  <property>
    <name>fs.AbstractFileSystem.tos.impl</name>
    <value>io.proton.fs.ProtonFS</value>
  </property>
  <property>
    <name>fs.tos.impl</name>
    <value>io.proton.fs.ProtonFileSystem</value>
  </property>
  <property>
    <name>fs.tos.endpoint</name>
    <value>http://tos-{region}.ivolces.com</value>
  </property>
  <property>
    <name>fs.tos.credentials.provider</name>
    <value>io.proton.common.object.tos.auth.SimpleCredentialsProvider</value>
  </property>
  <property>
    <name>fs.tos.access-key-id</name>
    <value>{your-access-key}</value>
  </property>
  <property>
    <name>fs.tos.secret-access-key</name>
    <value>{your-secret-key}</value>
  </property>
</configuration>

验证

以上修改完成后,重启 api-server、master-server、worker-server 使修改生效。
在资源中心尝试上传文件。