批量处理--对象存储-火山引擎

文档中心

立即注册

导航

对象存储

批量处理

最近更新时间：2024.09.26 15:37:11首次发布时间：2023.03.15 18:35:42

如果您希望对存储桶中的对象批量执行某些操作，您可以使用 TOS 的批量处理功能。本文介绍批量处理的前提条件、功能说明及操作步骤。

前提条件

创建批量任务前，您需要先创建桶清单，获取桶内所有或指定对象的信息。创建桶清单的操作步骤，请参见桶清单。
创建批量任务前，您需要授权 TOS 向您的存储桶中读写文件，您可以根据控制台提示完成授权。如果您之前已授权，则无需重复授权。

支持的批量操作

创建批量任务后，TOS 会对桶清单中的对象逐一执行设置的操作，目前支持的批量操作及注意事项如下。

支持任务	说明	注意事项
批量数据复制	将桶清单中的对象批量复制到相同地域的其他存储桶，复制过程中可设置对象 ACL、对象元数据等信息。	所有待处理的对象需处于同一存储桶。在一个批处理任务中，仅可配置一个目标桶。需要有读清单的权限、读源对象的权限、写目标桶的权限。待复制的对象不能超过 5GiB。如果目标桶没有开启多版本，当存在同名对象时，将执行覆盖操作。清单中不指定版本的情况下，默认复制最新版本。
批量替换对象 ACL	批量更新桶清单中对象 ACL。	所有待处理的对象需处于同一存储桶。需要有读清单的权限，读源对象的权限，写目标桶的权限。如果是多版本的对象，默认操作最新版本。
批量处理对象标签	批量更新桶清单中对象的标签信息。
批量恢复归档型对象	批量恢复归档存储、冷归档存储以及深度冷归档存储对象。	所有待处理的对象应处于同一存储桶。批量恢复归档型对象需要有读清单的权限，读源对象的权限，写目标桶的权限。如果是多版本的对象，默认操作最新版本。批量恢复归档存储对象仅支持标准取回，批量恢复冷归档与深度冷归档对象支持标准取回和批量取回。批量恢复归档型对象时，如果目标存储桶包含已恢复对象的副本，则会更新该对象副本的有效期。批量恢复归档型对象功能仅对归档、冷归档以及深度冷归档对象生效，对其他存储类型对象不会进行任何操作，其他类型对象会显示失败。

批量任务说明

类别	说明
权限	创建批量任务前，您需要确保账号或者子账号拥有相应的 IAM 权限。例如您配置了批量数据复制的任务：您需要确保您的账号拥有源桶 `GetObject` 的权限及目标桶 `PutObject` 的权限。除了操作权限外，您还需要具备读取对象清单和写入批量处理报告的权限。 TOS 已内置了 IAM 角色，为您授予相应权限，您可以根据控制台提示完成相应授权。如果您希望为不同的账号授予不同的权限，详细信息，请参见 IAM 策略管理。
对象清单	对象清单用于存储您需要执行批量操作的对象。目前仅支持通过桶清单功能创建对象清单，详细步骤，请参见桶清单。
优先级	TOS 支持通过优先级标识批量任务的处理顺序，数值越大，优先级越高，但是优先级并不直接决定任务完成的先后顺序。如果您需要严格保证任务的执行顺序，您可以手动控制任务顺序，在上一任务结束后再启动下一任务，具体步骤，请参见其他操作。
批量处理报告	TOS 支持输出批量任务报告，您可以在配置任务参数时配置任务报告相关信息。建议您选择生成相应报告，否则将无法查看任务详情。
任务描述（可选）	您可以为创建的批量处理任务设置最多 256 字符的任务描述，帮助您跟踪和监控任务。TOS 会在控制台上展示任务描述的详细信息，方便您排列或筛选相应任务。您可以为相近的任务配置同一任务描述（例如，每周同步复制日志数据），以实现同类任务的管理。

操作步骤

登录对象存储控制台。
单击左侧导航栏的批量处理，在批量处理页面，单击创建任务。

在创建任务的地域及清单配置向导，设置如下参数。

参数	说明
任务地域	在下拉列表中选择批量任务执行的地域，需要和待操作对象所在存储桶的地域一致。
清单格式	默认为 TOS清单格式，不需要设置。
清单存储桶	在下拉列表中选择清单文件所在的存储桶。说明如果存储桶较多，您可以直接输入存储桶名称搜索相应桶。
清单文件路径	单击右侧的选择清单文件，在选择文件对话框，选择需要批量处理的文件清单，然后单击确定。注意清单必须为 `manifest.json` 的格式。如果您选择的存储桶中没有清单文件，您可以创建桶清单生成，具体步骤，请参见桶清单。
清单Etag	根据选择的清单文件自动生成，不需要设置。

单击下一步：操作配置，在操作配置向导，根据需要执行的任务类型，设置任务参数。

批量数据复制

参数	说明
任务类型	选择批量数据复制。
目的存储桶所在地	在下拉列表中，选择目的桶所在地域。注意 TOS 仅支持相同 Region 之间复制，请选择与源端相同的 Region。
目的存储桶	在下拉列表中，选择目的存储桶。说明如果下拉列表中存储桶较多，您可以在搜索框中输入桶名称，直接搜索目标桶。
前缀操作	您可以选择对复制后的对象进行添加、替换或者删除前缀。注意如果您选择了对前缀执行相应操作，前缀不可为空，不可大于 1024 字节。如果您希望设置目录前缀，请以斜杠 `/` 结尾。
存储类型	选择复制后对象的存储类型，支持标准存储、低频存储和归档闪回存储。关于存储类型的详细信息，请参见存储类型。
服务端加密	选择是否需要对复制后的对象执行服务端加密，目前支持不加密和 SSE_TOS 加密。关于加密的详细信息，请参见服务端加密概述。
访问权限	选择复制后对象的访问权限，支持的操作如下：复制所有权限：复制后的对象将继承源对象的相应权限。替换所有权限：为复制后的对象设置新的权限。添加新权限：在源对象权限的基础上添加新的权限。
对象元数据	选择复制后对象的元数据，支持的操作如下：复制所有元数据替换所有元数据添加新的元数据无关于元数据的详细信息，请参见管理对象元数据。
对象标签	选择复制后对象的标签，支持的操作如下：复制所有标签替换所有标签添加新标签无关于对象标签的详细信息，请参见管理对象标签。

批量替换对象ACL

参数	说明
任务类型	选择批量替换对象ACL。关于对象 ACL 的详细说明，请参见管理对象 ACL。

批量处理对象标签

参数	说明
任务类型	选择批量处理对象标签。
批量操作	选择需要批量处理的标签操作，支持的操作如下：替换所有对象标签：单击添加字段，设置需要替换的标签键值对。最多可添加10个标签。删除所有对象标签：此操作将删除清单中列出的每个对象上的所有标签，删除前，您需要勾选我了解，此操作将删除清单中列出的每个对象上的所有对象标签说明。

参数

说明

任务类型

选择批量处理对象标签。

批量操作

选择需要批量处理的标签操作，支持的操作如下：

替换所有对象标签：单击添加字段，设置需要替换的标签键值对。最多可添加10个标签。
删除所有对象标签：此操作将删除清单中列出的每个对象上的所有标签，删除前，您需要勾选我了解，此操作将删除清单中列出的每个对象上的所有对象标签说明。

批量恢复归档型对象

参数	说明
任务类型	选择批量恢复归档型对象。
副本有效期	设置副本的有效期。有效期需为正整数，取值范围为 1~365，单位为天。注意恢复文件后，将生成一个标准存储类型的临时副本文件供您访问操作。副本将在您设置的有效期后自动删除。在副本有效期内，将会收取副本的临时存储费用。详细说明，请参见临时存储容量费用。
恢复模式	设置文件的恢复模式，不同的恢复模式耗时不同，耗时越短，单价越高。说明如下：标准取回：归档存储一般在 1 分钟内完成恢复；冷归档一般在 2~5 小时内完成恢复。批量取回：仅冷归档支持批量取回，且一般在 5~12 小时内完成恢复。注意归档存储的对象仅支持标准取回。如果选择批量取回，恢复归档存储对象的操作会失败。恢复归档存储文件时会产生数据取回费用。恢复冷归档文件时会产生数据取回费用和取回请求次数费用。详细说明，请参见数据取回费用和请求次数费用。

参数

说明

任务类型

选择批量恢复归档型对象。

副本有效期

设置副本的有效期。有效期需为正整数，取值范围为 1~365，单位为天。

注意

恢复文件后，将生成一个标准存储类型的临时副本文件供您访问操作。副本将在您设置的有效期后自动删除。在副本有效期内，将会收取副本的临时存储费用。详细说明，请参见临时存储容量费用。

恢复模式

设置文件的恢复模式，不同的恢复模式耗时不同，耗时越短，单价越高。说明如下：

标准取回：归档存储一般在 1 分钟内完成恢复；冷归档一般在 2~5 小时内完成恢复。
批量取回：仅冷归档支持批量取回，且一般在 5~12 小时内完成恢复。

注意

归档存储的对象仅支持标准取回。如果选择批量取回，恢复归档存储对象的操作会失败。
恢复归档存储文件时会产生数据取回费用。恢复冷归档文件时会产生数据取回费用和取回请求次数费用。详细说明，请参见数据取回费用和请求次数费用。

单击下一步：其他配置，在其他配置向导，设置如下参数。

参数	说明
任务描述	设置任务描述信息，最多支持 256 个字符。
任务优先级	设置任务优先级，数值越大优先级越高，取值范围为 1~1073741824。注意优先级并不直接决定任务完成的先后顺序，如果您需要严格保证任务的执行顺序，您需要手动控制任务顺序，在上一任务结束后再启动下一任务，具体步骤，请参见其他操作。
任务报告	选择是否生成任务报告，支持操作如下：生成：选择任务报告范围、报告投递存储桶区域、报告投递存储桶及报告投递前缀参数。不生成：不生成任务报告。注意如果您选择不生成任务报告，将无法查看任务详细信息，请谨慎选择。
IAM角色	默认生成，不需要选择。

单击下一步：确认配置。
在确认配置向导，确认参数无误后，勾选勾选此项，任务创建完成后会直接启动，请确保上述配置信息正确，然后单击创建。
任务创建完成后，页面会自动跳转至批量处理任务列表，您可以在该页面执行查看任务详情、克隆或取消任务等操作，详细信息，请参见其他操作。

其他操作

查看任务详情：在任务列表单击目标任务名称，在弹出的面板中查看任务详情。
克隆任务：在任务列表单击目标任务操作列对应的克隆，即可进入创建任务向导，根据需求设置任务信息即可。
取消任务：在任务列表单击目标任务操作列对应的取消，即可取消任务。
删除任务：任务执行结束后，单击目标任务操作列对应的删除，在弹出的对话框中单击确定，即可删除任务。
启动任务：在任务列表单击目标任务操作列对应的启动，即可启动任务。