流式计算 Flink 提供了多种常用内置连接器,如果内置连接器仍不满足需求,您可以选择自定义连接器。目前 Flink 控制台支持通过添加依赖文件的方式,在任务运行时动态加载并调用您的自定义连接器。
您在开发自定义连接器时需要遵循社区定义的连接器标准,自定义连接器才可以被 Flink 识别并使用,因此您需要明确连接器 Meta 文件和声明 Factory 类。自定义连接器开发更多信息,请参见User-defined Sources & Sinks。
建议您参考内置连接器项目,修改pom.xml
配置文件并引入相关依赖包,然后通过 Maven 构建 JAR 包。
说明
为了避免您构建的自定义连接器 JAR 包与 Flink 平台产生类冲突,建议您将依赖采用 Shade 方式打包。Shade打包详情,请参见Apache Maven Shade Plugin。
当您完成自定义连接器 JAR 包的构建后,您可以将 JAR 包上传到 Flink 平台的资源库进行统一管理。
在目标任务的 Flink 参数中,可以将自定义连接器的 JAR 包添加为依赖文件,后续任务在运行时将会动态加载并调用。