缓存加速 CLI 命令--大数据文件存储-火山引擎

文档中心

导航

缓存加速 CLI 命令

最近更新时间：2024.11.20 19:05:19首次发布时间：2023.10.16 14:23:46

如果 CloudFS 实例开启了缓存加速，支持使用 CLI 命令。本文介绍在缓存加速场景常用的 CLI 命令的使用方式。

部署CLI

执行以下命令，下载1.5.3.49版本的CloudfsSDK包。

wget https://cloudfs.tos-cn-beijing.volces.com/sdk/prod/cloudfs-client-1.5.3.49.tar.gz

执行以下命令，解压CloudfsSDK包。

tar -zxvf cloudfs-client-1.5.3.49.tar.gz

配置环境变量。

export LD_LIBRARY_PATH=${CLOUDFSSDK_HOME}/lib/

CLI配置文件

任意路径创建并配置cloudfs.conf配置文件

vim ${CLOUDFSSDK_HOME}/conf/cloudfs-fuse.conf

编辑配置文件cloudfs-fuse.conf

# CloudFS Client Configurations

# CloudFS endpoint, e.g. cfs://xxx.cfs-cn-beijing.ivolces.com
cfs.filesystem.uri=
cfs.filesystem.fs-mode=ACC

# IAM Auth info
cfs.access.key=
cfs.secret.key=

# Required settings for ACC mode
cfs.filesystem.ns-id=
cfs.filesystem.ufs-path=

参数	说明
cfs.filesystem.uri	文件存储实例的挂载点。设置时需要在挂载点前添加前缀 cfs://。如何获取，请参见查看文件存储实例。
cfs.access.key	创建文件存储实例时的账号的 Access Key ID，获取方式请参见密钥管理。
cfs.secret.key	创建文件存储实例时的账号的 Secret Access Key，获取方式请参见密钥管理。
cfs.filesystem.ns-id	文件存储实例挂载的存储桶的 Namespace ID（即 TosNamespace ID）。如何获取，请参见查看文件存储实例。
cfs.filesystem.ufs-path	文件存储实例挂载的存储桶的完整存储地址，格式为`tos://<存储桶名称>/<文件存储前缀>`。示例：`tos://bucket/prefix/`。

执行示例

执行以下命令获取文件列表

${CLOUDFSSDK_HOME}/bin/cfs ls tos://bucket/prefix/ --config-file ${CLOUDFSSDK_HOME}/conf/cloudfs-fuse.conf

命令列表

ls

CLI 列举文件，使CloudFS 同步TOS上的元数据。列举的path可以填写本地挂载路径的子路径，或者挂载TOS 的子路径。

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs ls [OPTION] <path>
    
DESCRIPTION
    -r, --recursive
            递归列举子目录
    -s, --skipSync
            不做元数据同步
        --persistStatus
            展示文件持久化状态
        --depth
            配合"-R"使用，表明list路径深度。"0"表示仅list当前路径，"1"表示list 当前路径及其子路径，以此类推。默认值为32767.
        --concurrency
            递归列举子目录最大并发量。默认值为100。
        --config-file
            配置文件路径

如果超过30s 没有打印list 结果，会打印当前一共list的文件数量，以示进度。示例如下

1327202 paths have been listed as of Dec 21 10:37:06

load

将底层文件系统的元数据或数据加载至CloudFS缓存

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs load [OPTION] <path>
    命令执行后会返回JOB ID，该JOB ID用于之后查询任务状态
    
DESCRIPTION
    -d, --data
            将数据从底层文件系统加载至CloudFS缓存
    -m, --metadata
            将元数据从底层文件系统加载至CloudFS缓存
    -r, --recursive
            递归加载数据或元数据
        --replica
            加载数据的副本数（默认为1）
        --config-file
            配置文件路径

free

释放CloudFS中的数据或元数据（不会影响底层文件系统的数据）

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs free [OPTION] <path>
    命令执行后会返回JOB ID，该JOB ID用于之后查询任务状态
    
DESCRIPTION
    -r, --recursive
            递归释放数据或元数据
        --config-file
            配置文件路径

lookup

查询任务状态

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs lookup <job ID>
 
DESCRIPTION  
        --config-file
            配置文件路径

cancel

取消任务

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs cancel <job ID>

DESCRIPTION
        --config-file
            配置文件路径

du

展示CloudFS 中路径缓存使用统计值

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs du [OPTION] <path>
    
DESCRIPTION
    -h, --human-readable      
    -s, --summarize
            对指定路径进行汇总显示
        --config-file
            配置文件路径

setPolicy

设置路径的读写策略

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs setPolicy [OPTION] <path>
    
DESCRIPTION
    -u, --uploadIntervalMs
        是否写回底层存储。当前仅支持0 (立即回写)、-1（不回写）
    --config-file
        配置文件路径

getPolicy

获取所有路径的读写策略

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs getPolicy [OPTION] <path>
    
DESCRIPTION
    --config-file
        配置文件路径

listPolicy

获取文件系统实例中所有路径的读写策略

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs listPolicy [OPTION]
    
DESCRIPTION
    --config-file
        配置文件路径

removePolicy

移除路径的读写策略

SYNOPSIS
    ${CLOUDFSSDK_HOME}/bin/cfs removePolicy [OPTION] <path>
    
DESCRIPTION
    -r, --replicaPolicy
        删除副本策略
    -u, --uploadPolicy
        删除回写策略
    --config-file
        配置文件路径