You need to enable JavaScript to run this app.
导航
日志分析
最近更新时间:2025.01.02 19:04:11首次发布时间:2022.12.15 23:27:41

TOS 支持日志分析功能,支持通过日志服务,检索分析您访问 TOS 过程中产生的访问日志。本文介绍日志分析功能相关的前提条件及操作步骤。

背景信息

关于日志服务的功能说明,请参见什么是日志服务

前提条件

使用日志分析功能前,请确保您已完成以下操作:

  • 已开通日志服务功能。
  • 已授权 TOS 访问火山引擎日志服务 TLS。如果您之前已授权 TOS 访问 TLS,则无需重复授权。

注意事项

  • 开启日志分析功能后,日志服务会自动创建日志项目及主题存放 TOS 的相关日志。
  • 您可以在日志服务中修改 TOS 日志管理功能创建的日志项目、主题及索引的相关配置。但请注意,修改后可能会导致日志管理功能异常,因此不建议您进行修改。

计费说明

  • 开启 TOS 日志分析功能后,将产生日志存储、索引存储、写流量、索引流量、服务请求次数、日志分区数量等费用,由日志服务单独收取。计费详情,请参见日志服务计费概述
  • 如果对 TOS 专属日志主题进行加工、投递、消费等操作,将产生内网读流量、公网读流量、数据加工流量、数据投递流量等费用,由日志服务单独收取。计费详情,请参见日志服务计费概述

访问日志字段说明

名称

示例

说明

LogType

tos_access_log

日志类型,固定为 tos_access_log

Time

2022-05-14T16:15:09+08:00

TOS 收到请求的时间。

RequestId

851301791455779965791455-ac147c52-1rDEov-LB-cb-1AZ-F-LFRZ-B-K2-1

请求 ID。

Bucket

test

TOS Bucket 名称。

Object

object1

请求的 Object Key。

ObjectSize

1164596

请求的 Object Size。 单位:字节。

VersionId

102332212244

请求的 Object 的版本号。

Operation

PutObject

访问的操作类型。

RemoteIp

192.168.0.1

请求来源 IP。

BucketLocation

cn-beijing

TOS Bucket所在的区域。

StorageClass

STANDARD

TOS Bucket的存储类型,取值说明如下:

  • STANDARD:标准存储。
  • IA: 低频存储。
  • ARCHIVE_FR:归档闪回存储。
  • ARCHIVE: 归档存储。
  • COLD_ARCHIVE:冷归档存储。
  • DEEP_COLD_ARCHIVE:深度冷归档存储。

Host

test.tos-cn-beijing.volces.com

请求访问域名。

HTTPMethod

PUT

HTTP 请求方法。

HTTPStatus

200

HTTP 请求返回的状态。

HTTPSchema

https

HTTP 请求协议,包括 HTTP 和 HTTPS。

RequestSize

1164596

请求头中 Content-Length 的值,单位:字节。

ResponseSize

0

响应头中 Content-Length 的值,单位:字节。

DeltaDataSize

1164596

请求对存储量的改变(Bytes),说明如下:

  • 正值:表示该请求增加了存储量。上传对象的操作将增加存储量。
  • 负值:表示该请求减少了存储量。彻底删除对象的操作将减少存储量。

HistoricalVersionDeltaSize

209351

请求对历史版本对象存储量的改变(Bytes),说明如下:

  • 正值:表示该请求增加了历史版本对象的存储量。开启版本控制情况下上传时覆盖对象、为对象添加删除标记操作会增加历史版本对象的存储量。
  • 负值:表示该请求减少了历史版本对象的存储量。在无最新版本对象的场景下删除对象的删除标记、彻底删除历史对象操作会减少历史版本对象的存储量。

说明

您可以通过 DeltaDataSize 和 HistoricalVersionDeltaSize 计算请求对最新版本对象存储存储量的改变,计算公式如下:
最新版本对象存储量的改变 = DeltaDataSize - HistoricalVersionDeltaSize

RequestUri

/fdgfdgsf?acl

HTTP 请求的 URI,包括 query-string

CostTime

12

TOS 服务器处理本次请求所花的时间,单位:毫秒。

UserAgent

curl/7.15.5

HTTP 的 User-Agent 头。

Referer

*.example.com

请求的 HTTP Referer

OwnerId

200000****

TOS Bucket 拥有者的账号 ID。

RequesterId

200000****

请求者的账号 ID,如果是匿名访问,则显示为短划线(-)。

AccessKeyId

AKTP07cMTfZg0nvA3R1I194IY8SVyUjl5Y****

请求者的 AccessKey ID。

RequesterUserName

user1

请求者的用户名。

RequestSourceType

cdn

同步请求类型 ,取值说明如下:

  • 短划线(-):一般请求。
  • cdn:CDN回源。
  • crr-sync:跨区域复制。
  • lifecycle:生命周期规则。
  • accelerate:传输加速。

ErrorCode

NoSuchBucket

TOS 返回的错误码。

ReservedFiled

-

保留字段,显示为 -。

MirrorSourceStatus

0

回源场景下源站返回的状态码。

ECCode

0010-00000021

EC错误码。

开启日志分析

本章节介绍为不同状态的存储桶开启日志分析的操作步骤。

创建存储桶时开启日志分析

  1. 登录对象存储控制台
  2. 在左侧导航栏单击桶列表,在桶列表页面左上方单击创建桶
  3. 创建存储桶页面,展开高级设置,打开日志分析开关。

    说明

    创建存储桶时的其他参数说明,请参见创建存储桶

  4. 单击确定

    说明

    开启日志分析后,您可以在日志管理页面的检索分析页签,检索分析对象存储相关访问日志,关于检索分析的详细说明,请参见检索分析

为已创建的存储桶开启日志管理

  1. 登录对象存储控制台
  2. 在左侧导航栏单击桶列表,单击目标桶名称。
  3. 在左侧导航栏单击日志管理,在日志管理页面,单击编辑
  4. 打开日志分析的开关,单击确定

    说明

    开启日志分析后,您可以在日志管理页面的检索分析页签,检索分析对象存储相关访问日志,关于检索分析的详细说明,请参见检索分析

关闭日志分析

当您不需要再查看 TOS 的日志信息时,您可以关闭日志分析功能。本章节介绍关闭日志分析功能的操作步骤。
操作步骤

  1. 登录对象存储控制台
  2. 在左侧导航栏单击桶列表,单击目标桶名称。
  3. 在左侧导航栏单击日志管理,在日志分析页面,单击关闭关联日志
  4. 在弹出的对话框中,单击确定

相关操作
关闭日志分析后,日志主题不会自动删除。您可以在关闭关联日志前,先在日志服务删除日志主题,以避免关闭关联日志后继续产生日志费用。
在日志管理页面进行关闭关联日志的操作时,会弹出对话框提示该存储桶对应的日志项目 ID 和主题 ID,您可以根据 ID 删除该存储桶对应的日志主题。具体操作,请参见删除日志主题删除日志项目

注意

由于同一地域下所有桶共用一个主题,删除某个桶的主题后,会同时删除同一地域下其他桶的历史日志记录,详细介绍,请参见为什么删除某个桶的日志 topic 后,无法正常使用其他桶的日志功能

设置日志保存时间

关于日志的计费详情,请参见计费说明。如果您需要延长日志的保存时间,您可以参考以下步骤设置。

  1. 登录对象存储控制台
  2. 在左侧导航栏单击桶列表,单击目标桶名称。
  3. 在左侧导航栏单击日志管理,在日志分析页面,单击设置日志保存时间
  4. 在弹出的对话框中,单击具体时间,单击确定

    说明

    自定义数据保存时间支持 1~3650 天。

使用案例

您可以通过日志统计一天内最新版本对象存储容量、历史版本对象存储容量和总存储容量的变化。

  1. 为 DeltaDataSize 和 HistoricalVersionDeltaSize 配置键值索引,并设置字段类型long,具体操作,请参见配置索引

    说明

    索引配置将仅应用于新写入的日志,已有数据不会生效,因此您只能查询索引配置后的数据。

  2. 登录对象存储控制台
  3. 在左侧导航栏单击桶列表,单击目标桶名称。
  4. 在左侧导航栏单击日志管理,在检索分析页签下设置时间范围为近1天
  5. 查询存储桶内一天内的存储容量变化。
    • 总存储量变化
      检索分析页签下输入 Bucket: <存储桶的名称> AND NOT Operation: "BatchDeleteDetails" | SELECT SUM(DeltaDataSize),单击搜索,在图标分析页签下会显示一天内存储桶内总存储容量的变化。
    • 历史版本对象存储容量变化
      检索分析页签下输入Bucket: <存储桶的名称> | SELECT SUM(HistoricalVersionDeltaSize),单击搜索,在图标分析页签下会显示一天内存储桶内总存储容量的变化。
    • 最新版本对象存储容量变化
      您可以通过总存储量变化和历史版本对象存储容量变化计算得出最新版本对象存储容量变化,计算公式如下:
      最新版本对象存储容量变化 = 总存储量变化 - 历史版本对象存储容量变化