You need to enable JavaScript to run this app.
导航
什么是推理接入点
最近更新时间:2025.04.27 17:21:40首次发布时间:2025.04.27 16:56:04
我的收藏
有用
有用
无用
无用

在使用大语言模型进行推理服务时,推理接入点(Endpoint)是模型调用的关键入口。开发者只需通过指定的 ID 即可向大模型发起 API / SDK 推理请求,实现快速接入与灵活调用。系统提供统一的 API 调用方式、调用监控、限流策略与安全保障机制,确保推理过程的稳定性与安全性。
推理接入点分为两类:

  • 预置推理接入点:当用户凭借Model ID调用模型时,系统会自动匹配对应模型的预置推理服务;若不存在,则自动创建。适合功能测试与轻量级使用场景。其 Endpoint ID 通常为 ep-m-xxx 格式。
  • 自定义推理接入点:由用户主动创建,支持更全面的配置能力,适用于需要精调模型接入、权限控制、算力保障、数据回流等企业级或业务集成场景。其 Endpoint ID 通常为 ep-xxx 格式。

推理接入点功能对比表

功能/特性

预置接入点

自定义接入点

API 调用方式

Model ID 或 Endpoint ID

Endpoint ID

配置接入点限流

关联应用

查看监控

安全审计(会话、传输加密)

调用精调后模型

×

模型版本平滑切换

×

细粒度权限管理

×

算力保障(TPM 保障包、模型单元)

×

数据回流

×

开启/停止控制

×