DolphinScheduler 的资源中心用于管理和存储工作流中使用的各类资源文件,支持使用 HDFS 等作为远端存储,若希望使用 TOS 存储,则可以借助 Proton 实现。
请参考Proton 发行版本中的版本信息,选择您对应的 Proton 版本,下载对应的 Proton 包,解压后将plugins/hadoop3/proton-hadoop3-bundle-*.jar 分别放入 api-server、master-server、worker-server 的 libs 目录下,如果是 standalone 模式部署的 DolphinScheduler,则放入 standalone-server 的libs 目录下。
修改 api-server、master-server、worker-server 的 conf 目录下的 common.properties。如果是 standalone 模式部署,则修改 standalone-server 的 conf 目录下 common.properties。
resource.storage.type=HDFS resource.hdfs.fs.defaultFS=tos://<TOS-bucket-name> resource.storage.upload.base.path=/dolphinscheduler
修改 api-server、master-server、worker-server 的 conf 目录下的 core-site.xml。如果是 standalone 模式部署,则修改 standalone-server 的 conf 目录下 core-site.xml。如果相应目录下没有该文件,则创建。详细配置可参考 Hadoop 使用 Proton - 配置修改。
<?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <configuration> <property> <name>fs.AbstractFileSystem.tos.impl</name> <value>io.proton.fs.ProtonFS</value> </property> <property> <name>fs.tos.impl</name> <value>io.proton.fs.ProtonFileSystem</value> </property> <property> <name>fs.tos.endpoint</name> <value>http://tos-{region}.ivolces.com</value> </property> <property> <name>fs.tos.credentials.provider</name> <value>io.proton.common.object.tos.auth.SimpleCredentialsProvider</value> </property> <property> <name>fs.tos.access-key-id</name> <value>{your-access-key}</value> </property> <property> <name>fs.tos.secret-access-key</name> <value>{your-secret-key}</value> </property> </configuration>
以上修改完成后,重启 api-server、master-server、worker-server 使修改生效。
在资源中心尝试上传文件。