Dify 支持多种大模型接入并统一进行访问管理，本文旨在介绍将MLP推理服务加入到Dify中，以使用户可以正常访问。

• 创建MLP在线服务，并在服务网络配置处开启负载均衡，类型选择 “API网关” （创建API网关由IaaS计算产品团队支持）
• 进入新建的服务中，并创建部署

• 在【在线服务】-【调用指南】下，选择需要关联至dify的部署，并开启token校验

• 填写下列参数：
  • 填写下列参数：
    • API Key：将步骤3中的token填写至该处，其中火山引擎MLP的 token 有效期默认为7天，如您需要更长有效期的 token，请提交工单，由IaaS计算团队产解同学进行申请
    • API endpoint URL：将步骤3中部署访问地址 - 公网访问地址的url链接填写至此处，注意保留/v1的路径
      • 通过控制台---在线服务---调用指南，获取的url为：https://scu**************.apigateway-cn-beijing.volceapi.com /mlp/s-20250210173751-p6hhm-28cjb/
      • 将其路径（加粗部分）增加后缀 /v1：https://scukulv*****************.apigateway-cn-beijing.volceapi.com /mlp/s-20250210173751-p6hhm-28cjb/v1

• 此时您可通过 Dify 正常访问 MLP 推理服务，关于 Dify 的更多扩展功能，可在 tools 中寻找插件完成

• 以 Dify 的 agent 模式为例，在 Agent 中可通过添加联网搜索插件为 Agent 增加联网搜索能力。
  • Deepseek R1 模型本身没有联网搜索能力，可以看到直接看到直接调用模型并不能完成搜索任务

• 可以通过在 Dify Agent 工具中加入搜索工具

• 在开启了搜索插件后 Deepseek R1 模型会调用搜索工具进行联网搜索

使用 veMLP 的 Deepseek R1 推理服务，流模式返回结果的分隔符：

• sglang 默认 \n\n
• xllm 需要调整为 \n 或者 \r\n\r\n