最佳实践概述--对象存储-火山引擎

文档中心

导航

最佳实践概述

最近更新时间：2024.02.27 11:09:01首次发布时间：2024.02.27 11:09:01

本文介绍使用对象存储 TOS 的常见操作实践，帮助您解决常见问题，满足业务需求。

使用第三方工具访问 TOS

最佳实践	说明
使用 Rclone 访问 TOS	Rclone 是一款功能强大的开源命令行工具，支持对接各种云存储系统（包括兼容 S3 协议的对象存储），可用来执行数据上传、下载、同步、管理等操作。本文介绍安装和配置 Rclone 工具的操作步骤，以及使用 Rclone 访问 TOS 的常见命令。
使用 S3 Browser 管理 TOS 资源	S3 Browser 是一款免费的 Amazon S3 Windows 客户端工具，火山引擎 TOS 兼容 S3 协议，所以您可以使用 S3 Browser 来管理您的 TOS 资源。本文介绍安装和配置 S3 Browser 工具的操作步骤，以及使用 S3 Browser 访问 TOS 的常见命令。

临时访问授权

最佳实践	说明
使用临时鉴权 URL 实现数据安全下载	在视频监控、APP、Web 等应用情况下，通常有很多图片、文件、视频等信息需要上传到服务端，或者从服务端下载到本地进行使用。在这种业务场景下，TOS 提供了使用临时鉴权 URL 实现数据安全下载的解决方案，介绍生成临时 URL 下载对象和在客户端发送请求的操作步骤。
使用 STS 临时 AK/SK+Token 访问火山引擎 TOS	在移动 APP 或 PC 客户端直传文件到对象存储的场景中，出于安全考虑，不建议将永久 AK/SK 放到客户端代码中，此时可以由应用服务端通过 STS 机制获取临时 AK/SK，然后再将临时密钥下发给客户端。本文介绍使用 STS 临时 AK/SK 和 Token 访问火山引擎 TOS 的流程及步骤。

数据迁移

最佳实践	说明
基于业务无损的在线迁移	如果您的业务已在其他第三方服务运行，当您需要迁移至 TOS 时，需要保证业务的稳定，避免因为数据迁移导致业务受损。本文介绍在业务无损的情况下将第三方服务中的数据在线迁移到 TOS 的方案说明及操作步骤。
使用数据闪送迁移数据	数据闪送服务是指针对 TB 级数据提供的离线传输服务，您可以将需要迁移的数据写入硬盘或磁盘阵列等物理设备，然后把物理设备通过邮寄等形式运输到火山机房；让技术服务人员实现数据的离线迁移。本文介绍使用数据闪送迁移离线数据的流程及步骤。

挂载存储桶

最佳实践	说明
在 Windows 系统挂载 TOS 存储桶	如果您想在 Windows 系统中将对象存储 TOS 作为本地磁盘使用，您可以在 Windows 系统挂载 TOS 存储桶。本文介绍在 Windows 系统挂载 TOS 存储桶的操作步骤。
在 Linux 系统挂载 TOS 存储桶	如果您想在 Linux 系统中将对象存储 TOS 作为磁盘使用，您可以在 Linux 系统挂载 TOS 存储桶。本文介绍在 Linux 系统挂载 TOS 存储桶的操作步骤。

数据处理

最佳实践	说明
使用 veImageX 实时处理 TOS 中的图片数据	TOS 作为分布式对象存储产品，适合存放图片、视频等素材类文件。如果您需要在图片分发时，同步进行缩放、裁剪、水印、格式转换等处理操作，以提高图片在 APP 端的加载速度，并减少网络分发的流量，您可以组合使用 veImageX 产品。本文介绍组合使用 TOS 和 veImageX 的背景说明及操作步骤。
组合使用重定向回源和图片处理功能	业务迁移过程中，图片的下行分发已切换到 TOS，但是还有增量图片未迁移到 TOS。您可以使用 TOS 回源功能去源站拉取增量图片，将增量图片写入到 TOS 后，使用图片处理参数处理图片。本文介绍组合使用重定向回源和图片处理功能的注意事项和操作步骤。
组合使用 TOS 和视频点播实现多媒体数据处理	通过跨服务授权的方式，视频点播可以对存放在 TOS Bucket 中的文件进行多媒体数据处理，包括视频转码、低成本转码、倍速转码、极智超清、音频转码、截图、画质增强、水印贴片操作。经过处理后的视频文件将仍然存储在 TOS Bucket 中。本文介绍组合使用 TOS 和视频点播实现多媒体数据处理的操作步骤。

校验数据一致性

最佳实践	说明
校验上传对象的一致性	使用 TOS 进行数据上传的过程中，可能会因为公网传输过程中在 TOS 外部的网络劫持、数据缓存等原因，导致数据不一致等问题。TOS 提供了多种数据一致性相关的特性，您可以通过 Content-MD5、Content-SHA256 或 CRC64 确保数据上传的一致性。本文介绍介绍校验上传对象一致性的校验流程图及示例代码。
校验下载对象的一致性	使用 TOS 进行数据下载的过程中，可能会因为公网传输过程中在 TOS 外部的网络劫持、数据缓存等原因，导致数据不一致等问题。您可以通过 CRC64 实现下载对象的一致性校验。本文介绍校验下载对象一致性的方案及示例代码。

其他

最佳实践	说明
性能优化	如果您在一个桶内的对象命名规则中使用了顺序前缀（如时间顺序、字母顺序），可能会导致大量对象的请求访问集中在某个特定分区，造成分区访问热点。热点分区上的服务能力受限于存储介质的读写上限，可能会导致请求速率下降。您可以参考本文列举的方式，优化程序性能。本文介绍基于 TOS 的内部实现，使应用程序达到较高性能的最佳实践。
AWS S3 协议兼容性说明	对象存储 TOS 提供了对 AWS S3 协议的兼容性支持，因此将数据从任何兼容 S3 协议存储迁移到 TOS 后，可以将之前访问该兼容 S3 协议存储的应用几乎无缝地切换到 TOS。本文描述了该场景下的应用切换方案以及相关的注意事项，并提供了 TOS 兼容的 S3 协议接口详细说明，供您使用时参考。
使用 CDN 加速访问 TOS 资源	当您访问 TOS 资源时，您的访问速度会受到 TOS 带宽及地域的限制。为了提高访问速度，您可以通过 CDN 访问 TOS 资源。本文介绍通过 CDN 访问 TOS 资源的操作步骤。
从微信小程序直传数据到 TOS	微信小程序作为一个不需要下载即可使用的应用，吸引了越来越多的人进行开发和使用。如何将微信小程序上的文件上传到 TOS 成为开发者关心的一个问题。本文介绍在微信小程序环境下将文件直传到 TOS 的操作步骤。