可以使用 Hadoop 自带的 fuse_dfs 将 Proton 的文件挂载到本地文件系统中，让您能够像操作本地文件系统一样操作Proton 上的文件。

挂载

1. 安装 fuse

apt-get install fuse

2. 创建挂载点

mkdir -p /mnt/proton_mount

3. 挂载

export OS_ARCH=amd64
export LD_LIBRARY_PATH=${JAVA_HOME}/jre/lib/${OS_ARCH}/server:${HADOOP_HOME}/lib/native
export CLASSPATH=$CLASSPATH:`${HADOOP_HOME}/bin/hadoop classpath --glob`
export LIBHDFS_OPTS="-Xmx1024m"
export PROTON_ENABLE_FUSE=true

# 在这里修改 bucket
export BUCKET_NAME=<your bucket name>

${HADOOP_HOME}/bin/fuse_dfs -ordbuffer=1024 -oattribute_timeout=0 tos://${BUCKET_NAME}/ /mnt/proton_mount

卸载

fusermount -u /mnt/proton_mount
# 必须删掉该目录，保证下次能正常挂载
rm -rf /mnt/proton_mount

特性支持

性能 - 无缓存模式

写

测试命令

fio -filename=/mnt/proton_mount/fio.txt --ioengine=posixaio --name=write_iops --directory=`pwd` --size=30G \
--time_based --runtime=20s --ramp_time=2s  --direct=0 \
--verify=0 --bs=4K --iodepth=256 --rw=write --group_reporting=1 \
--iodepth_batch_submit=256  --iodepth_batch_complete_max=256

测试结果

顺序读

测试命令

fio -filename=/mnt/proton_mount/fio.txt --ioengine=posixaio --name=read_iops --directory=`pwd` --size=30G \
--time_based --runtime=20s --ramp_time=2s  --direct=0 \
--verify=0 --bs=4K --iodepth=256 --rw=read --group_reporting=1 \
--iodepth_batch_submit=256  --iodepth_batch_complete_max=256

测试结果

随机读

测试命令

fio -filename=/mnt/proton_mount/fio.txt --ioengine=posixaio --name=rand_read_iops --directory=`pwd` --size=30G \
--time_based --runtime=20s --ramp_time=2s  --direct=0 \
--verify=0 --bs=4K --iodepth=256 --rw=randread --group_reporting=1 \
--iodepth_batch_submit=256  --iodepth_batch_complete_max=256

测试结果