参数名 | 参数值 | 说明 |
---|---|---|
fs.tos.http.maxConnections | 1024 | TOS Client 连接池的最大连接数,默认1024。 |
fs.tos.http.idleConnectionTimeMills | 60000 | TOS Client 连接池中空闲 HTTP 最长连接时间,默认60000 (单位:毫秒) |
fs.tos.http.connectTimeoutMills | 10000 | TOS Client 建立连接超时时间,默认10000(单位:毫秒)。 |
fs.tos.http.readTimeoutMills | 30000 | TOS Client 读超时时间,默认30000(单位:毫秒) |
fs.tos.http.writeTimeoutMills | 30000 | TOS Client 写超时时间,默认30000(单位:毫秒) |
fs.tos.http.enableVerifySSL | true | TOS Client 是否开启 SSL 证书检验,默认为 true |
fs.tos.http.dnsCacheTimeMinutes | 0 | TOS Client DNS 缓存有效期,小于等于 0 表示关闭 DNS 缓存,默认为0 |
fs.tos.request.max.retry.times | 20 | 访问出错重试次数,包括限流,默认值20,如果数据量大,且带宽较小,请保持一个较大的参数值。 |
fs.tos.client.disable.cache | false | 是否禁用 tos client cache,默认为 false,如果需要确保每一次发起 tos 的访问,都使用完全全新的 client,可配置成 true,禁用 cache |
fs.tos.multipart.size | 5242880 | MPU 分片大小,默认 5242880 (单位:字节),即5MB。 |
fs.tos.multipart.threshold | 10485760 | 文件上传时,当文件大小大于该阈值时,才会走 MPU,否则走 PUT,默认10485760 (单位:字节),即 10MB。 |
fs.tos.multipart.copy-threshold | 5242880 | 文件重命名时,当文件大小大于该阈值时,才会走 UploadPartCopy 接口,否则就走 CopyObject 接口。默认 5242880 (单位:字节),即5MB。 |
fs.tos.task.thread-pool-size | 当前机器 CPU 数量 | 要求正整数,表示用于执行 task(如并发 copy 文件)的线程池线程数量。 |
fs.tos.multipart.thread-pool-size | 当前机器 CPU 数量 | 要求正整数,表示用于异步上传 TOS 数据分片的线程池线程数量。 |
fs.tos.list.batch-size | 1000 | 要求正整数,表示每次调用 TOS Client list object 的最大个数,默认1000。 |
fs.job.committer.summary.report.directory | 无 | 当设置有值时,会将 Job Committer commit job 时每个环节的日志写到指定的目录下,用于分析定位问题。样例:tos://test-bucket/report-dir。 |
fs.job.committer.threads | 当前机器 CPU 数量 | 要求正整数,表示用于指定 commit 任务的线程池大小。 |
参数名 | 参数值 | 说明 |
---|---|---|
proton.metaserver.addresses | - | MetaServer rpc地址列表,多个MetaServer地址以逗号分隔,举例:ip1:port1,ip2:port2。 |
proton.client.data.read-timeout-ms | 60000(单位毫秒) | 读数据超时 |
proton.client.data.conn-pool-size | 256 | 连接DataServer的TCP连接池大小 |
proton.client.data.conn-pool-ttl | 10000(单位毫秒) | 连接池中连接过期时间 |
proton.client.fallback.enabled | true | 允许在读失败时fallback到其他DataServer或底层存储系统 |
proton.rpc.client.timeout-ms | 2147483647(单位毫秒) | RPC超时时间 |
proton.rpc.client.debug.enabled | false | 将MetaServer详细的error信息返回给client,适用于开发者和资深用户 |
proton.rpc.client.pool.max-connections | 128 | Client最大rpc连接数 |
proton.rpc.client.netty.eventloop-num | 4 | Client rpc netty线程数 |
参数名 | 参数值 | 说明 |
---|---|---|
proton.rpc.server.call-queues.num | 100 | Rpc调用队列数 |
proton.rpc.server.call-queue.length | 1024 | Rpc调用队列长度 |
proton.rpc.server.runner.threads | 24 | Rpc调用处理线程数 |
proton.metaserver.metastore.kvstore.rocksdb.data-dir | - | MetaServer rocksdb存储路径 |
proton.metaserver.bind-address | 0.0.0.0 | MetaServer bind地址 |
proton.metaserver.port | 10100 | MetaServer rpc端口 |
proton.metaserver.http.port | 10110 | MetaServer http端口 |
proton.metaserver.tos.{桶名称}.data-cache.allowlist | / | 允许缓存数据到集群内的目录,存在此目录中的数据,将会在集群内进行缓存,默认所有文件都会被缓存。 |
proton.metaserver.tos..{桶名称}.data-cache.blacklist | 空 | 不允许缓存数据到集群内的目录,存在此目录中的数据,将不会在集群内进行缓存。 |
参数名 | 参数值 | 说明 |
---|---|---|
proton.dataserver.bind-address | 0.0.0.0 | DataServer绑定地址 |
proton.dataserver.port | 10200 | DataServer数据传输端口 |
proton.dataserver.http.port | 10210 | DataServer http端口 |
proton.dataserver.ipc.port | 10220 | DataServer rpc端口 |
proton.dataserver.max-session-timeout | 30000(单位毫秒) | DataServer心跳超时时间 |
proton.dataserver.check-expire-interval | 10000(单位毫秒) | DataServer心跳超时检查周期 |
proton.dataserver.tick-time | 3000(单位毫秒) | DataServer心跳周期 |
proton.dataserver.transfer-io.enabled | true | 使用Java NIO做缓存数据传输,默认开启,传输效率更高 |
proton.dataserver.blockio.impl | io.proton.core.data.io.CacheBlockIO | blockio实现类,默认会启用本地缓存 |
proton.dataserver.blockio.async-cache | true | 异步缓存block数据到本地盘 |
proton.dataserver.io.socket.read-timeout-ms | 60000(单位毫秒) | DataServer数据传输线程从client读request的超时 |
proton.dataserver.io.socket.write-timeout-ms | 240000(单位毫秒) | DataServer数据传输线程写数据给client的超时 |
proton.dataserver.io.max-transfer-threads | 4096 | DataServer数据传输线程数上限 |
proton.dataserver.blockcache.impl | io.proton.core.data.cache.disk.MultiDiskBlockCache | 缓存类型,默认使用本地磁盘做缓存 |
proton.dataserver.blockcache.max-cache-size | 268435456 | 本地磁盘缓存总大小,默认256MB。缓存空间会按比例分配给每一块本地盘。 |
proton.dataserver.blockcache.disk.data-dirs | - | 缓存磁盘的路径,每个路径对应一块盘,多个路径以逗号分隔。例如:/data01/block,/data02/block。 |
proton.dataserver.blockcache.data-dirs-ratio | - | 配置每块磁盘缓存空间占总缓存空间的比例,加和要等于1,默认是每块盘平均分。举例:0.5,0.5 或 0.2,0.2,0.6。 |
proton.dataserver.blockcache.max-used-ratio | 0.9 | 缓存最大使用率,超过该值会触发缓存淘汰 |
proton.dataserver.blockcache.min-used-ratio | 0.85 | 缓存最低使用率,低于该值会停止缓存淘汰 |
proton.dataserver.blockcache.reserved-ratio | 0.05 | 缓存保留比例,剩余空间不足此比率时会停止缓存新数据 |
proton.dataserver.blockcache.async-eviction | true | 启动异步驱逐 |
proton.dataserver.blockcache.flush-threads | 2 | 缓存flush线程数,用于异步缓存数据 |
proton.dataserver.blockcache.max-retry-times | 5 | 异步缓存最大重试次数 |