在使用大语言模型进行推理服务时,推理接入点(Endpoint)是模型调用的关键入口。开发者只需通过指定的 ID 即可向大模型发起 API / SDK 推理请求,实现快速接入与灵活调用。系统提供统一的 API 调用方式、调用监控、限流策略与安全保障机制,确保推理过程的稳定性与安全性。
推理接入点分为两类:
ep-m-xxx
格式。ep-xxx
格式。功能/特性 | 预置接入点 | 自定义接入点 |
---|---|---|
API 调用方式 | Model ID 或 Endpoint ID | Endpoint ID |
配置接入点限流 | √ | √ |
关联应用 | √ | √ |
查看监控 | √ | √ |
安全审计(会话、传输加密) | √ | √ |
调用精调后模型 | × | √ |
模型版本平滑切换 | × | √ |
细粒度权限管理 | × | √ |
算力保障(TPM 保障包、模型单元) | × | √ |
数据回流 | × | √ |
开启/停止控制 | × | √ |