使用精调后的模型进行在线推理--火山方舟大模型服务平台-火山引擎

文档中心

导航

使用精调后的模型进行在线推理

最近更新时间：2023.12.15 19:41:35首次发布时间：2023.06.27 23:50:08

使用前提

「模型精调」列表中，存在1个及以上状态为「完成」的精调任务。 alt

平台提供两种方式「创建在线服务」，您可根据自己需要进行选择。

方式一：
登录火山方舟平台，点击左侧导航栏中的「模型精调」，进入列表页，找到您要部署的任务，点击「新建在线服务」
在弹出的表单中，填写相应信息，信息填写完毕后，点击「新建」，即可完成在线服务的创建。
方式二：
登录火山方舟平台，点击左侧导航栏中的「模型服务」，点击「创建服务」
在弹出的表单中，填写相应信息，信息填写完毕后，点击「新建」，即可完成在线服务的创建。
新建在线服务表中每个字段详细说明：

参数名称	参数说明
服务名称	填写在线服务的名称。必填。支持1～200位可见字符，且只包含大小写字母、中文、数字、中划线、下划线。
推理服务	必填。若通过「方式一」创建在线服务，该字段由平台自动带出，用户只需查看一下信息，核实一下是否就是自己想要部署的服务即可。若通过「方式二」创建在线服务，该字段需要用户在下拉列表，中选择要部署的精调任务。
资源队列	选择服务部署需要的队列。必填。
管理员	选择该在线服务的管理员。必填。

说明

新建的服务都属于互信服务，任何人（包括模型提供方与火山引擎平台）都无法查看相关日志与请求信息。了解更多安全与信任说明：点击查看安全互信白皮书