Proton CLI支持操作Proton数据缓存、元数据缓存、统计信息。
使用EMR 3.5.1及后续版本集群,并选择Proton服务
完成Hadoop关于TOS的认证配置参考:Hadoop 使用 Proton
完成Proton关于Cache的配置参考:Proton 无缓存模式,Proton 缓存模式
proton load [options] <path>
参数 | 描述 |
---|---|
-h, --help | 显示帮助信息 |
-m,--meta | 加载指定路径元数据到proton metaserver |
-d,--data | 加载给定路径数据到proton data sever。 |
-t,--threads | 多线程进行加载数据或者元数据 |
-v,--verbose | 显示加载过程中更多的详细信息 |
proton evict [options] <path>
参数 | 描述 |
---|---|
-h, --help | 显示帮助信息 |
-t,--threads | 多线程进行缓存清理 |
-v,--verbose | 显示加载过程中更多的详细信息 |
proton fsck [options] <path>
参数 | 描述 |
---|---|
-h, --help | 显示帮助信息 |
-t,--threads | 多线程检查缓存数据块健康状态 |
-v,--verbose | 显示加载过程中更多的详细信息 |
proton sync [options] <path>
参数 | 描述 |
---|---|
-h, --help | 显示帮助信息 |
-t,--threads | 多线程检查缓存数据块健康状态 |
-v,--verbose | 显示加载过程中更多的详细信息 |
proton showblk [options] <file_path>
参数 | 描述 |
---|---|
-h, --help | 显示帮助信息 |
-v,--verbose | 显示加载过程中更多的详细信息 |
proton --daemon [start|stop|status] [metaserver|dataserver]
参数 | 描述 |
---|---|
--daemon | daemon支持的选项 start、stop、status |
Q1: load和sync命令有什么有什么差异
load一般用于源端数据在Proton Cahce系统中不存在的情况下,将源端数据增量同步到Proton Cache系统中,load完成后源端数据一定会被加载到Proton Cache系统中。
sync一般用于缓存数据和源端数据不一致的情况下,以源端数据为准,将源端的数据同步到Proton Cache系统中,sync完成后缓存数据和源端数据一致。
综上所述,sync会比较两端差异,并且以源端数据为准;load不比较两端差异,只增量加载没有被缓存的”新“数据