服务名称

• 填写服务的名称。 必填 。

• 支持1～200位可见字符，且只包含大小写字母、中文、数字、中划线、下划线。

• 服务名称可重复。

服务描述

• 填写对服务的适当描述。 选填 。

• 支持 1～500 位可见字符。

可见范围

• 配置该服务能够在哪些账号范围内可见。选填。

• 主账号内可见：主账号下所有用户均可查看该服务及详情。

• 队列内成员可见：拥有所属队列权限的用户均可查看该服务、部署及详情。（同一服务下若多个部署所属队列不同，则只能看到相应所属队列下的部署及详情，服务下其他队列的部署及详情仍不可见。）

• 指定子账号可见：在指定账号列表中的用户有权限查看到该服务及详情。

• 仅创建人可见：仅服务创建人有权限查看该服务及详情。

私有网络

• 支持配置用户的私有网络、子网及安全组，从而用户私网环境下可调用在平台上创建的服务。必填。

• 私有网络一经创建则不可编辑修改，且服务的负载均衡器与部署独立使用的负载均衡器均需使用该私有网络。请谨慎确认选择。

负载均衡器

• 通过负载均衡提高服务可用性和可靠性，满足服务高访问量的业务场景，选填。

• 支持 API 网关（七层负载均衡器）和传输层负载均衡器（四层负载均衡器，以下简称 CLB ）两种类型负载均衡器，开启负载均衡器后，默认推荐使用 API 网关。

• 若需要公网访问到该服务，则需要选择配置了公网IP的负载均衡。详见文档 API网关文档和CLB文档。

负载均衡调度算法

• API 网关支持四种调度算法，分别为「轮询」、「最小连接数」、「随机」以及「一致性哈希」。当选择为「一致性哈希」时则需要配置哈希方式，即输入「Header字段名称」。

  • 轮询：将所有请求依次分发到服务中的每个部署。

  • 随机：请求随机分配到服务中的各个部署。

  • 最小连接数：将请求分配到目前处理请求数最少的部署中。

  • 一致性哈希：基于 header 信息进行负载均衡，在后端服务数量不变的情况下，确保携带信息相同的用户可固定访问同一部署。

• CLB 支持三种调度算法，分别为「加权轮询」、「加权最小连接数」以及「源地址哈希」。

  • 加权轮询：选择该调度算法后，权重值越高的后端服务器，被轮询到的次数（概率）越高。权重配置可见「分流策略」中说明。

  • 加权最小连接数：选择该调度算法后，负载均衡器会将请求分发给“当前连接/权重”比值最小的后端服务器。单请求处理耗时较长（如大模型）场景，可以考虑选择WLC方法。

  • 源地址哈希：选择该调度算法后，负载均衡器将基于源IP地址的一致性哈希，相同的源地址会调度到相同的后端服务器。

端口

• 支持自定义监听端口和调用端口，请确保安全组规则已方通需要配置的端口。选填。

• 监听端口限制范围：1-29999、32768-65535。

• 调用端口限制范围：1-65535。

• API 网关端口用途：支持HTTP/1.1、HTTP2、GRPC、Metrics、Other。

• CLB 端口用途：支持 HTTP、RPC、Metrics、Other。

• 当端口用途为Metrics 时支持额外填写自定义指标的采集路径，平台会将该路径下的指标数据推送到用户指定的 VMP工作区（需要提前在【全局配置】模块中开启监控归档的功能）。

• 端口限制：

  • 最多可添加5个端口，且端口及路径都不能冲突。

  • API 网关仅支持创建一个 GRPC 用途端口，且路径必须为“/”。

分流策略

• API 网关仅支持一种分流策略，即「自定义分流」。故在创建服务时不需选择。

• CLB（传输层负载均衡器）支持两种分流策略，分别为「按实例数自动分流」以及「自定义分流」。详细配置说明可参考 配置服务分流策略

部署名称

• 填写部署的名称。 必填 。

• 支持1～200位可见字符，且只包含大小写字母、中文、数字、中划线、下划线。

• 部署名称可重复。

环境变量

• 将被注入到容器实例中的环境变量。 选填 。

• 环境变量key值仅支持大小写字母、数字、下划线，且不能以数字作为开头。

• 可配置多个环境变量。

存活检查/就绪检查/启动检查

• 存活检查：用于判断实例是否存活（running状态），如果存活探针探测到实例不健康，则会杀掉该实例并根据策略进行重启。

• 就绪检查：用于判断实例是否启动完成（ready状态），可以接收请求。

• 启动检查：用于判断应用是否已经启动，如果提供了启动探针，则禁用所有其他探针，直到它成功为止。如果启动探针失败，平台将杀掉实例并根据策略进行重启。

配置检查的方式，包括：

• HTTP 请求检查：使用 HTTP 或 HTTPS 协议，向容器发送一个 HTTP Get 请求，通过检查响应确认容器状态。您需要进行如下检查配置：

  • 协议：HTTP 或 HTTPS。

  • HTTP 请求头：HTTP 请求中自定义的请求头（HTTP Headers）。单击 添加 输入键值对的配置方式。

  • 路径：访问 HTTP Server 的路径。

  • 端口：容器暴露的访问端口号或端口名称。

• TCP 端口检查：向容器发送一个TCP Socket，Kubelet将尝试在指定端口上打开容器的 Socket。 如果可以建立连接，容器被认为是健康的，如果不能就认为是失败的。您需要进行如下检查配置：

  • 端口：容器暴露的访问端口号或端口名称。

• 执行命令检查：在容器内执行指定的命令，通过检查命令执行的结果确认容器状态。 您需要进行如下检查配置：

  • 命令：检测容器健康情况的探测命令。

配置检查的时间参数，包括：

• 初始等待时间：指容器启动后，第一次执行探测时需要等待的时间，默认为1秒。

• 超时时间：指发送检查请求后，等待响应的超时时间。超过此时间表示容器无响应，默认为1秒。

• 检查间隔：相邻两次检查的时间间隔。默认为10秒。

配置检查的结果阈值。包括：

• 成功阈值：检查请求发送后，表示系统正常的响应次数，默认为1次。该项不可配置。

• 失败阈值：检查请求发送后，表示系统异常的无响应次数，默认为3次。即如果容器对请求3次无响应，则认为容器状态异常。

计算规格

• 运行部署的计算资源。 必填 。

• 每种计算规格包含特定的CPU、内存、GPU的数量。

实例数

• 部署运行的实例数量。 必填 。

• 实例数需要≥1。

NUMA 亲和

部署新增支持 NUMA 亲和能力。即 CPU 和 GPU 调度时符合 NUMA 亲和策略。默认为关闭状态。

1. 开启后，当前部署下所有实例都将优先调度到满足 NUMA 亲和的节点，但最终调度结果还需以环境实际情况判断。

2. 建议仅针对访存密集型任务开启 NUMA亲和。计算密集型任务在开启 NUMA 亲和后会带来性能下降风险。

3. 当使用的GPU卡数/CPU核数超出机型规格一半以上的时候，即GPU/CPU本身跨NUMA 时，不存在 NUMA 亲和策略。

自动扩缩容

• 支持基于定时或指标的扩缩容策略，选填。详见下方「扩缩容」说明。

• 配置自动扩缩容后，则默认关闭「实例数」的设定。

• 自动扩缩容设定的实例数需要≥1。

滚动更新

• 支持配置滚动更新的策略，必填。

• 最大不可用：滚动更新过程中不可用实例的数量占预期实例数的百分比。假设预期实例数为10，最大不可用为20%，则更新过程中可用的实例数最少有8个

• 最大超量：滚动更新过程中超出预期的实例数量占预期实例数的百分比。假设预期实例数为10，最大超量为10%，则更新过程中实例数最多可达11个

部署独立负载均衡器

• 除了服务挂载的负载均衡器，每个部署都支持额外单独配置负载均衡器。同样支持 API 网关和CLB两种负载均衡器类型。选填。

• 通过部署独立的负载均衡器，可以用来支持调试场景，或者特定流量请求的处理。

• 一个部署可以同时处理服务负载均衡器的流量以及部署独立负载均衡器的流量。

端口

• 支持部署中新增自定义监听端口和调用端口，但请确保安全组规则已方通需要配置的端口。选填。

• 监听端口限制范围：1-29999、32768-65535。

• 调用端口限制范围：1-65535。

• API 网关端口用途：支持HTTP/1.1、HTTP2、GRPC、Metrics、Other。

• CLB端口用途：支持 HTTP、RPC、Metrics、Other。

• 当端口用途为Metrics 时支持额外填写自定义指标的采集路径，平台会将该路径下的指标数据推送到用户指定的 VMP工作区（需要提前在【全局配置】模块中开启监控归档的功能）。

• 端口限制：

  • 部署端口默认会继承在服务中配置的端口。并且包括服务中配置的端口，最多可添加5个端口，且端口及路径都不能冲突。

  • API 网关仅支持创建一个 GRPC 用途端口，且路径必须为“/”。

承接流量

• 当且仅当服务选择「CLB」，且「分流策略」配置为「按实例数自动分流」时，则出现「承接流量」选项。必填。

• 开启「承接流量」，则当前部署在创建完成后将自动承接流量，若您不希望该部署承接服务负载均衡器的流量请求，则可以选择关闭「承接流量」。默认为开启状态。