You need to enable JavaScript to run this app.
导航
创建 Flow
最近更新时间:2024.07.18 16:53:23首次发布时间:2024.07.18 16:53:23

Flow 设计器是一个功能丰富且易于使用的工具,您可以通过拖拽和连接,轻松创建数据处理流程。

背景信息

Flow 设计器有助于更加高效地处理和集成数据,提高数据管理的可视性和控制性。

  • 可视化界面:利用拖拽和连接功能,轻松创建数据处理流程。即使没有编程经验也可以设计复杂的数据集成逻辑。
  • 快速实时处理:能够在几分钟内建立数据实时处理流程。有助于迅速处理数据和事件,支持实时业务。
  • 广泛集成能力:支持集成多种数据系统,提供了灵活的数据连接和交换选项。
  • 监控管理能力:通过统一的视图清晰地管理整个数据集成流程,了解每个处理节点的状态和性能。有助于实时监控和追踪数据流,以确保数据的高可靠性和完整性。
  1. 数据处理能力: Flow 设计器底层利用规则 SQL 和 Sink/Source,拥有强大的数据处理优势。您可以无需深入学习规则 SQL 语法,也能够利用 Flow 的数据处理能力。

Flow 节点介绍

Flow 描述了客户端消息与事件的处理流程,它包含数据来源、数据处理与过滤、数据流出三个流程。在创建 Flow 时,需要分别拖拽 Source、Processing 和 Sink 节点,然后配置并保存。
图片

Source

数据的输入,支持消息、事件,或者其他外部数据系统流入的消息。Flow 中至少包含一个 Source 节点,同一个 Flow 中可以同时支持多个数据输入节点。

  • 消息:通过主题与主题通配符指定消息来源。
  • 事件:支持 MQTT 内所有客户端的事件,包括连接建立、连接断开、会话订阅、会话取消订阅、消息已投递等多种事件。

说明

目前仅支持创建 Kafka 生产者连接器,所以在配置 Flow Source 节点时,仅支持选择消息事件类型,其他外部数据系统没有对应的连接器。

Processing

使用函数与过滤器来进行数据的处理和过滤。Processing 节点是可选的,同一个 Flow 至多支持一个函数以及一个过滤器。

  • 函数:支持所有规则引擎的内置函数。
  • 过滤器:支持对来自 Source 中的数据字段进行比较过滤,支持的比较操作有 >, <, <=, >=, <>, !=, =, =~

说明

  • 配置 Processing 节点时,支持在表单编辑SQL 编辑之间自由切换。
  • 过滤器节点只能连接在函数之后,即要求先进行处理、再过滤数据。

Sink

将数据来源以及处理结果输出到特定节点和外部数据系统中,同一个 Flow 中至少包含一个 Sink 节点。
目前支持使用的 Sink 节点如下:

  • 消息重发布:将消息发布到指定的 MQTT 主题中。
  • 控制台输出:将消息打印到日志中,用于调试输出。
  • Kafka 生产者:目前仅支持 Kafka 生产者这一种外部系统,本质上将消息发布到 BMQ 实例的 Topic。

新建 Flow

此处介绍 Flow 的创建流程,各节点的配置与创建规则时的参数配置相同,可参见创建规则

  1. 在 Dashboard 页面选择集成 > Flow 设计页,然后单击创建
  2. 在 Flow 设计页面左上角,单击编辑图标,设置 Flow 名称和描述语句。
  3. 按需拖拽 Source、Processing 和 Sink 节点,然后配置并保存。
  4. 根据数据处理流程,连接各个节点。
  5. 单击页面右上角的创建,创建一个 Flow。