You need to enable JavaScript to run this app.
导航
挂载文件存储实例
最近更新时间:2024.11.06 11:34:56首次发布时间:2022.05.26 14:18:32

挂载点是文件存储实例在网络环境中的连接点,通过挂载点连接实例并实现数据传输。本文介绍如何挂载文件存储实例。

前提条件

  • 确保您已经创建文件存储实例并获取了挂载点。请参见创建文件存储实例查看实例详情
  • 本文选择在 ECS 实例上挂载文件存储实例,在挂载前,请先根据需要购买 ECS 实例。如何购买 ECS 实例,请参见购买云服务器
    • 购买的 ECS 实例所属的网络环境必须和需要挂载的文件存储实例保持一致,否则无法访问实例。
    • 挂载 HDFS 模式文件存储实例时,在购买的 ECS 实例上提前安装 Hadoop 客户端,且 Hadoop 版本不低于 2.6.0。
    • 挂载 ACC 模式文件存储实例时,需要购买 Debian 操作系统的 ECS 实例。

挂载 HDFS 模式实例

在访问文件存储实例前,你需要将文件存储实例的挂载点配置到 Hadoop 的配置文件中。

  1. 连接 ECS 实例。连接方式请参见连接 ECS 实例
  2. 部署大数据文件存储的 SDK。
    1. 执行以下命令,下载 1.5.3.47 版本的CloudfsSDK包。
wget https://cloudfs.tos-cn-beijing.volces.com/sdk/prod/cloudfs-client-1.5.3.47.tar.gz
  1. 执行以下命令,解压CloudfsSDK包。
tar -zxvf cloudfs-client-1.5.3.47.tar.gz
  1. 将解压文件cloudfs-client/lib/cloudfs-sdk-1.5.3.47.jar复制到 Hadoop 的share/hadoop/hdfs目录下。

  2. 配置core-site.xml文件。

    1. 执行以下操作打开 Hadoop 安装目录下的core-site.xml文件:
      vim {hadoop_安装目录}/hadoop/conf/core-site.xml
    2. 在 core-site.xml 文件中添加以下配置,然后保存退出。
    <!-- 填入文件存储的挂载点信息,例如 -->
    <property>
      <name>fs.defaultFS</name>
      <value>cfs://xxxx.cfs-cn-beijing.ivolces.com</value>
    </property>
    
    <property>
      <name>fs.cfs.impl</name>
      <value>com.volcengine.cloudfs.fs.CfsFileSystem</value>
    </property>
    
    <property>
      <name>fs.AbstractFileSystem.cfs.impl</name>
      <value>com.volcengine.cloudfs.fs.CFS</value>
    </property>  
    
    <property>
      <name>cfs.access.key</name>
      <value>AKxxxxxxxxxxx</value>
    </property>
    <property>
      <name>cfs.secret.key</name>
      <value>SKxxxxxxxxxxx</value>
    </property>
    
    <!-- 可选:如果使用的是 STS Token,需要填写 -->
    <property>
      <name>cfs.security.token</name>
      <value>STSTokenxxxxxxxx</value>
    </property>
    
    <!-- 可选:如果开启缓存加速,需要配置缓存加速接入的 VPC 的网段 -->
    <property>
      <name>cfs.client.network.segment</name>
      <value><VPC 网段,例如 192.168.0.0/16></value>
    </property>
    

    其中:

    • <name>fs.defaultFS</name>的值是大数据文件存储实例的挂载点地址,请根据实际情况替换。
    • <name>cfs.access.key</name><name>cfs.secret.key</name>的值分别是火山引擎账号的 Access Key ID 和 Secret Access Key,获取方式请参考密钥管理
  3. 验证文件存储实例是否部署成功。

    • 执行hdfs dfs -ls /命令,有文件结果返回表示部署成功。
    • 执行echo $?命令,返回0表示部署成功。

挂载 ACC 模式实例

  1. 连接 ECS 实例。连接方式请参见连接 ECS 实例
  2. 安装libfuse3

veLinux/Debian(>=9)/Ubuntu(>=20.0) 可以通过apt直接安装,其他系统可以通过libfuse 源码编译

sudo apt-get update
sudo apt-get install fuse3
  1. 获取 FUSE 二进制。

    1. 下载 FUSE 压缩包。

      wget https://cloudfs.tos-cn-beijing.volces.com/sdk/prod/cloudfs-client-1.5.3.47.tar.gz
      
    2. 创建文件夹,然后将压缩包解压到该文件夹。

      # 解压 FUSE 压缩包。
      tar -zxvf cloudfs-client-1.5.3.47.tar.gz
      
    3. 进入文件夹,查看文件。

      # 进入文件夹。
      cd cloudfs-client
      

      主要文件结构如下:

      cloudfs-client/
      ├── bin
      │   ├── cfs
      │   ├── cfs-fuse
      │   ├── cloudfs-fuse
      │   └── csi
      ├── conf
      │   └── cloudfs-fuse.conf.template
      ├── include
      │   └── cloudfs.h
      ├── lib
      │   └── libcloudfs.so
      └── versions
          └── CLOUDFSSDK_VERSION
      
    4. 配置cloudfs-fuse.conf配置文件。

      # CloudFS FUSE Configurations
      
      # CloudFS endpoint, e.g. cfs://testfs.cfs-cn-beijing.ivolces.com
      cfs.filesystem.uri=
      # HDFS or ACC
      cfs.filesystem.fs-mode=
      # Client network vpc&subnet info, e.g. 172.16.0.0/20
      cfs.client.network.segment=
      
      # IAM Auth info
      cfs.access.key=
      cfs.secret.key=
      
      # Required settings for ACC mode
      cfs.filesystem.ns-id=
      cfs.filesystem.ufs-path=
      

      参数

      说明

      cfs.filesystem.uri

      文件存储实例的挂载点。设置时需要在挂载点前添加前缀 cfs://。
      如何获取,请参见查看实例详情

      cfs.filesystem.fs-mode

      文件存储实例的类型,此处为数据湖模式,对应的类型为 ACC

      cfs.client.network.segment

      创建文件存储实例时所使用的子网的网段。
      您可在文件存储实例详情页面,单击子网名称,查看子网对应的网段。如何获取,请参见查看实例详情

      cfs.access.key

      创建文件存储实例时的账号的 Access Key ID,获取方式请参见密钥管理

      cfs.secret.key

      创建文件存储实例时的账号的 Secret Access Key,获取方式请参见密钥管理

      cfs.filesystem.ns-id

      文件存储实例挂载的存储桶的 Namespace ID(即 TosNamespace ID)。如何获取,请参见查看实例详情

      cfs.filesystem.ufs-path

      文件存储实例挂载的存储桶的完整存储地址,格式为tos://<存储桶名称>/<文件存储前缀>
      示例:tos://doctest/prefix/

  2. 创建一个挂载目录,然后挂载文件存储实例。

    # 创建挂载目录。
    mkdir /mnt/cfs
    
    # 挂载文件存储实例
    ./bin/cloudfs-fuse mount /mnt/cfs --config-file conf/cloudfs-fuse.conf
    

    文件实例挂载成功后,返回Mount CloudFS Success!提示信息。