本文档介绍火山引擎内容分发网络(CDN)提供的 "离线日志转存" 服务。"离线日志转存" 允许您配置 CDN 将按小时打包的离线日志转存到您指定对象存储服务中的一个存储桶。该存储桶可以来自火山引擎对象存储(TOS)、阿里云对象存储(OSS)、腾讯云对象存储(COS)、AWS S3 以及使用与 AWS S3 兼容的鉴权方式的任何对象存储服务。
说明
离线日志是相对于实时日志而言的。相对于实时日志,离线日志的延时较大。离线日志主要用于数据分析,实时日志主要用于指标监控。
如果离线日志包的转存涉及跨境数据传输,请确保离线日志包中的数据符合相关的法律法规。
要使用 "离线日志转存",请 提交工单。
当前,"离线日志转存" 服务是免费的。未来,CDN 会统计每个转存日志包中的日志条数,对日志条数计费。
在配置 "离线日志转存" 时,您需要创建转存任务。在转存任务中,您提供存储桶的访问设置,并指定 CDN 对哪些加速域名的离线日志包进行转存。
说明
CDN 转存的离线日志包与 日志下载 标签页中可查询到并下载的日志包是相同的。
关于离线日志的时效性、离线日志包的命名规则、日志字段的说明等信息,参见 日志下载。
登录 火山引擎内容分发网络控制台。
在左侧导航栏,点击 日志管理。
在 日志管理 页面,点击 离线日志转存 标签页。
在 离线日志转存 标签页,点击 新增 创建一个转存任务。
在 创建任务 页面,参照 配置说明 对 转存对象 和 关联方式 进行配置。
说明
如果您指定 转存对象 为 火山引擎对象存储(TOS),您需要先授权 CDN 访问 TOS,请按页面提示操作。如果您之前已授权 CDN 访问 TOS,服务授权 的状态会是 已授权。
任务配置完成后,点击 确认。
转存对象 为 火山引擎对象存储(TOS) | 转存对象 为 S3 协议对象存储 |
---|---|
|
|
关联方式 为 按域名关联 | 关联方式 为 按账号关联 |
---|---|
| 参见 相应的配置说明。 |
配置 | 说明 |
---|---|
对象存储桶 | 表示 TOS 中的一个存储桶的名称。存储桶列表中展示的是您账号下的所有存储桶,您需要从列表中选择一个存储桶。 |
对象存储目录 | 表示存储桶下的一个目录路径。离线日志包会被转存到该目录路径下。例如 |
私有桶访问 | 表示该存储桶是否是公开访问的。该配置默认是关闭。
|
备注信息 | 表示该任务的备注,长度为 3-45 个字符,可以包含汉字,字母,数字,但不能以下划线(_)开头或结尾。一个汉字占 3 个字符。 |
配置 | 说明 |
---|---|
访问域名 | 对于离线日志包转存到的存储桶,该配置表示该存储桶的兼容 AWS S3 的访问点(endpoint)。 |
访问地域 | 表示该存储桶所在地域(region code),例如 |
对象存储桶 | 表示该存储桶的名称(bucket name),长度不能超过 256 个字符。例如:mybucket 。 |
对象存储目录 | 表示存储桶下的一个目录路径。离线日志包会被转存到该目录路径下。例如 |
私有桶访问 | 表示该存储桶是否是公开访问的。该配置默认是关闭。
|
AccessKey ID | 对于 CDN 访问该存储桶所使用的凭证,该配置表示凭证中的 AccessKey ID。 |
AccessKey Secret | 对于 CDN 访问该存储桶所使用的凭证,该配置表示凭证中的 AccessKey Secret。 |
备注信息 | 表示该任务的备注,长度为 3-45 个字符,可以包含汉字,字母,数字,但不能以下划线(_)开头或结尾。一个汉字占 3 个字符。 |
在该配置中,您指定 CDN 对哪些加速域名的离线日志包进行转存。该配置有以下选项:
按域名关联:指定最多 200 个您账号下的加速域名。
按账号关联:表示您账号下所有的加速域名。
说明
一个加速域名只能包含在一个任务中。
如果已存在 关联方式 为 按域名关联 的任务,您就无法创建 关联方式 为 按账号关联 的任务,反之亦然。
转存任务列表中展示的是您创建的转存任务。
当您把鼠标悬停在任务的 转存信息 列上,页面会展示存储桶的详细信息,如下图所示:
当您把鼠标悬停在任务的 关联域名 列上,页面会展示与该任务关联的域名,如下图所示:
如果您想暂停一个任务,您可以在该任务的 操作 列上,点击 停用。任务停用后,CDN 停止转存该任务所关联的所有加速域名的离线日志包。之后,您可以随时点击 启用 使 CDN 继续转存这些加速域名的离线日志包。
在您配置存储桶信息时,如果任何配置不正确,转存任务会失败。另外,如果在转存任务的执行过程中,存储桶达到了某些限制,转存任务也会失败。
如果一个转存任务无法将离线日志包转存到目标存储桶,该任务左侧会出现一个橙色惊叹号。当您将鼠标悬停在该惊叹号上时,页面会显示最近一次转存失败的时间点和原因。您可以参考失败原因对问题进行排查。