You need to enable JavaScript to run this app.
导航
Flink 访问 PrivateLink 域名解析(EMR 等服务)
最近更新时间:2024.04.10 16:49:42首次发布时间:2024.04.10 16:49:42
我的收藏
有用
有用
无用
无用

在特定场景下,需要 Flink 通过 Private Link 访问外部服务。比如 Flink 访问 EMR 等服务提供的 Priavte Link 域名。 本文为您介绍如何实现 Flink 通过 Private Link 访问指定服务。
Serverless Flink 默认不会解析 Private Link 中的域名,需要增加两个 Flink 自定义参数将需要解析的域名注入到 Flink 运行时环境。

containerized.master.env.ENV_SEARCH_DOMAIN: 需要解析的 Private 域名后缀
containerized.taskmanager.env.ENV_SEARCH_DOMAIN: 需要解析的 Private 域名后缀

实践案例

访问 EMR 服务

  1. 在 Flink 任务没有特殊配置时无法正常访问 EMR 服务,报错无法解析到 EMR 节点域名对应的地址。
  1. 查看 EMR 中节点的 DNS 域名,提取下图中的 "cn-beijing.emr-volces.com",注意不同集群的域名不一样。
  1. 在 Flink 配置自定义参数中增加相关配置。
  1. 上线启动后,任务就可以正常解析到 EMR 的域名对应服务地址了。

如果其他服务提供了 PrivateLink 域名或者自行配置了 PrivateLink 域名,也需要类似于访问 EMR 服务,将对应的域名后缀增加到 Flink 的自定义参数中。