Flink 支持开发 Python 类型任务。您可以自行编写 Python 程序,并将 Python 文件上传到资源库,即可在平台上开发 Python 任务。
功能限制
目前仅 Flink 1.17-volcano 版本支持 Flink Python 任务。
创建 Flink Python 任务
- 登录流式计算 Flink 版控制台。
- 在顶部菜单栏选择目标地域。
- 在左侧导航栏选择项目管理,在搜索框中根据项目名称进行模糊搜索,然后单击项目区块进入项目。
- 在项目左侧导航栏选择作业开发 > 作业开发。
- 在作业开发页面单击加号按钮,创建任务。
您也可以选择目标文件夹,直接在该文件夹中创建任务;也可以直接单击引导页面下的 Flink Python 作业。 - 在创建作业对话框,设置作业名称、存储位置、引擎版本等关键参数,然后单击确定。
配置 | 说明 |
---|
作业名称 | 自定义设置任务的名称。
名称的字符长度限制在 1~48,支持数字、大小写英文字母、下划线(_)、短横线(-)和英文句号(.),且首尾只能是数字或字母。 |
作业类型 | 选择 作业类型 > Flink Python 。 |
存储位置 | 从下拉列表中选择目标文件夹。
系统默认存在一个数据开发文件夹,但为了更方便的管理任务,您可以自由创建文件夹。如何创建任务文件夹,请参见管理任务文件夹。 |
引擎版本 | 仅 Flink 1.17-volcano 版本支持 Flink Python 任务。 |
- 在任务配置区域,设置任务关键参数。
配置 | 说明 |
---|
任务名称 | 创建作业时设置的名称。 |
Python File URI | 从下拉列表中选择已上传的 Python 文件。如果您还没有上传文件,请参见资源文件管理。 |
Entry Module | 程序的入口类。 - 如果 Python 作业文件为
.py 文件,则该项不需要填写。 - 如果 Python 作业文件为
.zip 文件,则需要在此处输入您的 Entry Module,例如 kafka_test。
|
Entry Point Main Arguments | 业务程序 main 函数的args 参数,非必填项。请根据界面提示填写。 |
Python Libraries | 第三方 Python 包。
第三方 Python 包会被添加到 Python worker 进程的 PYTHONPATH 中,从而在 Python 自定义函数中可以直接访问。 |
- 任务开发和配置完成后,单击保存。
开发 Flink Batch Python 任务
- 登录流式计算 Flink 版控制台。
- 在顶部菜单栏选择目标地域。
- 在左侧导航栏选择项目管理,在搜索框中根据项目名称进行模糊搜索,然后单击项目区块进入项目。
- 在项目左侧导航栏选择作业开发 > 作业开发。
- 在作业开发页面单击加号按钮,创建任务。
您也可以选择目标文件夹,直接在该文件夹中创建任务;也可以直接单击引导界面下的 Flink Python。 - 在创建作业对话框,设置作业名称、存储位置、引擎版本等关键参数,然后单击确定。
配置 | 说明 |
---|
任务名称 | 自定义设置任务的名称。
名称的字符长度限制在 1~48,支持数字、大小写英文字母、下划线(_)、短横线(-)和英文句号(.),且首尾只能是数字或字母。 |
任务类型 | 选择 Flink 任务 > Flink Python 。 |
作业模板 | 选择批式任务的相关模板。 |
所属文件夹 | 从下拉列表中选择目标文件夹。
系统默认存在一个数据开发文件夹,但为了更方便的管理任务,您可以自由创建文件夹。如何创建任务文件夹,请参见管理任务文件夹。 |
引擎版本 | 仅 Flink 1.17-volcano 版本支持 Flink Python 任务。 |
- 在任务配置区域,设置任务关键参数。
配置 | 说明 |
---|
任务名称 | 创建任务时设置的名称。 |
Python File URI | 从下拉列表中选择已上传的 Python 文件。如果您还没有上传文件,请参见资源文件管理。 |
Entry Module | 程序的入口类。 - 如果 Python 作业文件为
.py 文件,则该项不需要填写。 - 如果 Python 作业文件为
.zip 文件,则需要在此处输入您的 Entry Module,例如 kafka_test。
|
Entry Point Main Arguments | 业务程序 main 函数的args 参数,非必填项。请根据界面提示填写。 |
Python Libraries | 第三方 Python 包。
第三方 Python 包会被添加到 Python worker 进程的 PYTHONPATH 中,从而在 Python 自定义函数中可以直接访问。 |
- 任务开发和配置完成后,单击保存。