产品简介--火山方舟大模型服务平台-火山引擎

文档中心

立即注册

导航

产品简介

最近更新时间：2025.01.15 15:13:34首次发布时间：2023.06.27 23:47:27

方舟定位

为您提供大模型服务的开发平台，提供功能丰富、安全以及具备价格竞争力的模型调用服务，同时提供模型数据、精调、推理、评测等端到端功能，全方位保障您的 AI 应用开发落地。

快速入门

快速入门-调用模型服务｜直接体验
帮助您发起第一次的大模型服务调用。

Python SDK

Curl

OpenAI Python SDK

import os
from volcenginesdkarkruntime import Ark
# 从环境变量中读取您的方舟API Key。
client = Ark(api_key=os.environ.get("<YOUR_API_KEY>"))
completion = client.chat.completions.create(
    # 您的方舟推理接入点。
    model="<YOUR_ENDPOINT_ID>",
    messages=[
        {"role": "user", "content": "你好"}
    ]
)
print(completion.choices[0].message.content)

curl https://ark.cn-beijing.volces.com/api/v3/chat/completions \
  -H "Content-Type: application/json" \
  -H "Authorization: Bearer <YOUR_API_KEY>" \
  -d '{
    "model": "<YOUR_ENDPOINT_ID>",
    "messages": [
        {"role": "user", "content": "你好"}
    ]
  }'

from openai import OpenAI
client = OpenAI(
    base_url="https://ark.cn-beijing.volces.com/api/v3",
    # 从环境变量中读取您的方舟API Key。
    api_key=os.environ.get("<ARK_API_KEY>")
)
completion = client.chat.completions.create(
    # 替换为您的方舟推理接入点。
    model="<YOUR_ENDPOINT_ID>",
    messages = [
        {"role": "user", "content": "你好"},
    ]
)
print(completion.choices[0].message.content)

选择模型

Doubao-pro	Doubao-lite	Doubao-vision
专业版大模型，在参考问答、摘要总结、创作等广泛的应用场景上能提供优质的回答，是同时具备高质量与低成本的极具性价比模型。 256k 最大上下文长度高质量，低成本，极具性价比	轻量级大模型，具备极致的响应速度，适用于对时延有更高要求的场景，模型配合精调使用可以获得更优质的效果。 128k 最大上下文长度更快，更便宜	多模态大模型，具备强大的图片理解与推理能力，以及精准的指令理解能力。能够应用于更复杂、更广泛的视觉问答任务。 32k 上下文长度/ 50 张图片低价，强能力

Doubao-pro

Doubao-lite

Doubao-vision

专业版大模型，在参考问答、摘要总结、创作等广泛的应用场景上能提供优质的回答，是同时具备高质量与低成本的极具性价比模型。

256k 最大上下文长度
高质量，低成本，极具性价比

轻量级大模型，具备极致的响应速度，适用于对时延有更高要求的场景，模型配合精调使用可以获得更优质的效果。

128k 最大上下文长度
更快，更便宜

多模态大模型，具备强大的图片理解与推理能力，以及精准的指令理解能力。能够应用于更复杂、更广泛的视觉问答任务。

32k 上下文长度/ 50 张图片
低价，强能力

模型列表｜模型定价详情

实践教程

上下文缓存（Context API）概述	批量推理说明	Prompt 最佳实践	Prefill Response模式最佳实践
方舟提供的高效的缓存机制，您可以基于它优化多轮对话，通过缓存部分上下文数据，减少重复加载或处理，提高响应速度和一致性。	当您的任务计算量大，如分析当日汇总新闻信息、翻译长文本、用户反馈分析收录等大规模数据处理任务，您可以借助方舟的批量推理能力获得更高速率限制和更大吞吐的模型推理服务。	Prompt engineering 是指设计和优化提示的过程，以使人工智能模型能够更好地理解用户的意图和要求，并生成更准确、有用的响应。	通过预填部分`Assistant` 角色的内容，来引导和控制模型的输出：强制按照 JSON 或 XML 等特定格式输出；跳过已生成的内容，避免触发模型最大输出限制；控制大模型在角色扮演场景中保持同一角色。

产品优势

安全与互信：大模型安全信任方案严格保障模型提供方与模型使用者的模型与信息安全，点击查看安全互信白皮书。
精选模型：支持多行业各业务场景模型，提供丰富的平台应用与工具，帮助您搭建专属的创新场景。
强劲算力：基于火山的万卡资源池，提供充足的高性能GPU资源，为您提供包含模型精调、评测、推理等端到端模型服务。
企业级服务：提供专业服务体系支持，专业的产品运营、销售交付服务，满足企业应用搭建与交付需求。