You need to enable JavaScript to run this app.
导航
日志服务
最近更新时间:2024.09.27 14:10:48首次发布时间:2023.11.17 10:44:20

边缘智能基于火山引擎日志服务,向您提供针对边缘节点容器日志的采集、存储、分析、消费、告警等功能。

功能介绍

火山引擎日志服务能够处理海量日志数据,提供秒级查询分析和高效实时的日志处理工具,降低了日志类数据的使用门槛,有效提升运维能力及数据分析效率。
您可以利用日志服务来采集和存储节点的容器日志,并对采集到的日志数据进行查询分析。此外,日志服务还为日志数据提供了多种其他功能,如日志可视化、日志消费与投递、监控告警等。这些功能对于边缘智能的容器日志都是适用的。关于日志服务的详细介绍,请参见什么是日志服务

日志采集说明

日志服务可以采集节点上的容器日志。支持的采集方式包括:

  • 容器标准输出:容器标准输出是指将容器中的日志发送到容器的标准输出设备(Stdout)和标准错误设备(Stderr)。这两个标准输出设备,实际上就是容器的控制台终端。
  • 主机文件路径:除了容器标准输出设备,大部分应用会将应用日志写入固定路径下的 log 文件中。您可以通过指定容器内的日志文件路径,获取指定容器的日志。

日志计费说明

为节点启用日志采集会在火山引擎日志服务产品中产生费用。日志服务将根据实际采集和存储的日志的容量进行计费。计费方式为后付费。更多信息,请参见日志服务计费说明

注意

即使您在边缘智能中关闭了日志采集,在日志采集开启期间存储的日志仍可能继续产生费用。

为节点开启日志采集

  1. 登录边缘智能控制台

  2. 在左侧导航栏顶部的 我的项目 区域,选择您的项目。

  3. 在左侧导航栏,单击 节点管理

  4. 节点列表 标签页,找到您的节点,单击节点名称。

  5. 单击 日志服务 页签。

  6. 如果您还未开通日志服务,根据页面上的提示进行开通。

  7. 配置采集规则 任务中,配置以下参数:

    参数

    说明

    规则名称

    为采集规则设置一个名称。您可以使用以下字符:英文字母、数字、下划线(_)和连字符(-)。请注意以下规则:

    • 长度限制为 32 个字符以内。
    • 下划线和连字符不能用在开头或结尾,也不能连续使用。

    采集类型

    选择容器日志的采集模式。可选项:

    • 主机文件路径:从节点的日志文件采集日志。
    • 容器标准输出:从容器标准输出设备采集日志。

    采集源

    根据您选择的采集类型,配置要采集的日志的范围。

    • 采集类型主机文件路径 时,您需要设置 文件路径
      文件路径 表示日志文件在节点上的路径。
    • 采集类型容器标准输出 时,您需要指定容器。可选项:
      • 全部容器:采集节点上所有容器的日志。
      • 部分容器:只采集部分容器的日志。选择该选项后,您需要指定容器。最多允许指定 10 个容器。
  8. 在弹出的对话框,单击 确定

开启日志采集后,您可以在 日志服务 标签页查看日志采集规则及日志存储位置等信息。
图片

相关操作

日志服务 标签页,您可以执行以下相关操作:

  • 开启/关闭日志采集:单击 采集状态 开关,可以开启或关闭日志采集。

    注意

    如果将边缘节点从项目上解绑,那么该边缘节点的日志采集配置将被删除(日志采集会自动关闭)。后续若再次绑定该边缘节点,您可以重新为节点开启日志采集。

  • 编辑采集规则:单击 编辑采集规则,可以修改采集规则的配置。

日志存储位置说明

  • 日志项目
    您开启日志采集后,系统将自动在日志服务中创建一个日志项目,用于管理边缘智能的日志。该日志项目的名称是 vei,地域是“华东2(上海)”。关于日志项目的说明,请参见日志项目
    图片

  • 日志主题
    vei 日志项目下,系统自动创建了日志主题。日志主题是日志数据的采集和读写单元。
    一个边缘智能项目对应一个日志主题。日志主题的名称是“边缘智能项目的 ID”。关于日志主题的更多信息,请参见日志主题
    图片

  • 日志标签
    日志主题下包含边缘智能项目中多个节点的日志。节点的日志采用标签来区分。每个日志的 source 值中都包含日志所属的节点 ID。关于日志标签的更多信息,请参见标签概述
    图片

使用日志服务

在启动日志采集功能之后,您可以利用日志服务查看和使用来自边缘智能的日志数据。

  1. 登录边缘智能控制台

  2. 在左侧导航栏底部,单击 日志服务
    此操作会自动引导您到日志服务控制台主页。

  3. 在日志服务控制台的左侧导航栏,选择 日志服务 > 日志项目管理

  4. 在列表中找到边缘智能的日志项目,单击项目名称。
    请注意,边缘智能日志项目的默认名称为 vei。如果您在日志服务中修改了项目名称,请在此处单击您修改后的项目名称。

  5. 在日志项目内部,您有可以利用日志服务提供的多种功能。功能介绍如下。
    图片

    功能

    说明

    更多信息

    检索分析

    "检索"是指利用查询语句检索日志数据;"分析"则是指根据检索的结果生成分析图表。

    • 在检索日志时,您可以在左上角的 日志主题 下拉列表中选择边缘智能项目。
    • 每条日志数据中的 __source__ 属性值包含了日志所属的节点 ID。 __source__ 属性值的格式为:filebeat-<节点ID>-<日志采集容器的ID>

    图片

    仪表盘

    仪表盘是日志服务提供的一项可视化功能,它能将日志数据的分析及监控图表进行集中展示。您可以在仪表盘中查看同一个日志项目下所有现有的统计图表。

    创建仪表盘

    数据处理 > 数据加工

    "数据加工"包括清洗过滤采集到的日志数据、进行内容脱敏处理、数据分裂,以及数据分发等操作。

    数据加工概述

    数据处理 > 定时 SQL 分析

    "定时 SQL 分析"是指根据预设的时间窗口和调度周期,对特定范围的日志数据进行检索分析,并将分析结果保存到指定的日志主题中,以便于进行后续的数据分析、日志聚合,以及信息过滤等操作。

    定时 SQL 分析概述

    日志消费日志投递

    日志服务提供实时的数据消费与投递功能,支持将采集到的日志数据通过 SDK 工具投递到第三方系统中,或投递到火山引擎 TOS 等其他相关产品,以便于进行后续的日志处理和大数据计算分析等操作。

    消费与投递概述

    日志告警

    您可以基于日志数据创建告警策略,并对告警的通知渠道进行管理。

    告警概述