视频点播声影智译功能依托于火山引擎豆包大模型，支持字幕级翻译、语音级翻译和面容级翻译，为您提供高效、专业的 AI 视频翻译解决方案，助力您轻松实现视频内容的多语言翻译与本土化，满足全球化传播的需求。其主要功能特性包括：

• 字幕级翻译：智能识别视频中的语音并生成源语言字幕，将源语言字幕翻译成多种目标语言字幕，确保多语言用户能够无障碍理解视频内容。
• 语音级翻译：在字幕级翻译的基础上，进一步支持音色复刻。能够提取原说话人的音色、语调和情感特征，并使用相同的音色进行目标语言的语音播报。生成的语音不仅保留了原始视频中人物的声音特质，还能实现音频与视频时长的精准对齐，确保翻译后的语音与视频画面无缝融合。
• 面容级翻译：在前两种翻译能力的基础上，进一步实现说话人口型的对齐。能够根据翻译后的语音内容，自动调整说话人的口型，使其与目标语言的发音相匹配，提供更加自然、逼真的视觉体验。
• 翻译结果二次编辑：支持对翻译结果进行二次编辑和调整。用户可以根据需要对翻译结果进行语音级修改，确保翻译结果的准确性和流畅性。

方案优势

• 多语种支持：声影智译支持多种语言的翻译，输入语言包括中文和英文，输出语言包括英语、日语、西班牙语等。依托于大模型的强大翻译能力，能够实现极高的翻译准确率，满足全球化内容传播的需求。
• 精准的声音复刻：能够精准提取视频中原说话人的音色、语调和情感特征，生成的目标语言语音能够 1:1 还原原说话人的声音特质。同时，翻译后的语音能够与原始视频的时长精准对齐，确保视频的流畅性和一致性。
• 自然的虚拟口型：声影智译通过结合海量音视频处理数据，能够实现多语言驱动的虚拟口型对齐功能。能够根据翻译后的语音内容，自动调整说话人的口型，使其与目标语言的发音无缝贴合，从而实现更加自然、逼真的 AI 换脸效果。

适用场景

• 短剧出海：快速本土化国内短剧，并实现音色复刻和口型对齐，确保翻译后的短剧在语言、声音和视觉上与原始内容保持一致，助力短剧在全球市场的快速传播。
• 跨境电商：高效翻译产品介绍视频，保留原说话人音色与口型，提升海外用户购买体验。
• 在线教育：支持课程视频多语言翻译，适配目标地区语言需求，助力教育内容全球化。

费用说明

AI 视频翻译功能当前处于邀测阶段，暂不计费。

使用限制

输入视频限制：当前仅支持输入时长不超过 10 分钟的 MP4 视频。

前提条件

• 已注册火山引擎账号。如果您首次登录火山引擎控制台，请先完成实名认证。
• 已开通视频点播服务。
• 已创建空间。
• 声影智译为白名单功能。使用前，请提交工单联系火山引擎技术支持团队申请开通。
• 通过控制台、客户端上传 SDK、视频点播服务端 SDK 等方式将待处理的视频上传至视频点播服务。具体介绍和操作步骤请见媒资上传概述。

使用流程

步骤 1：创建 AI 视频翻译任务

1. 登录视频点播控制台。
2. 单击左侧导航栏 AI 工具箱 > AI 视频翻译。
3. 单击选择空间并开始翻译任务。
4. 选中目标空间并单击确定。
5. 在创建视频翻译任务页面，进行以下操作：
   
   1. 选择视频：单击从空间选择或从本地上传。
   2. 选择翻译语言：您需要选择视频源语言和目标语言。
   3. 选择翻译方式：
      • 字幕翻译：实现视频字幕提取、多语种字幕翻译和新字幕回填。
      • 语音翻译：在字幕翻译的基础上，实现音色复刻，使用原说话人音色进行字幕播报并完成音频回填，保留原始视频中人物的音色、语调、情绪，并实现视频时长与原始视频对齐。
      • 面容翻译 (Beta)：（可选项）在字幕翻译和语音翻译的基础上，实现说话人口型对齐，支持更具场景质感的 AI 换脸效果。
6. 单击创建。系统会自动跳转至 AI 视频翻译任务列表，任务状态为处理中。

步骤 2：在线编辑字幕并预览效果

1. 任务状态变为处理完成后，单击操作列的编辑按钮。

2. 在编辑页面，可进行以下操作：

   

   序号	操作
   1	对于原语言字幕识别不准确的句段，您可编辑原语言字幕，然后单击翻译按钮重新翻译。
   2	对于目标语言翻译不满意的句段，您可编辑目标语言字幕，然后单击生成语音按钮重新生成语音。
   3	调整各个句段的时长、音量，确保语速和音量均衡。
   4	开启或关闭单个句段的口型对齐。
   5	单击播放图标实时预览调整后的视频播放效果。

步骤 3：导出视频和字幕文件

1. 在线编辑和调整完成后，单击编辑页面右上角的导出至视频列表按钮。系统会自动跳转至 AI 视频翻译任务列表，任务状态为导出中。

   说明

   系统会为导出的视频重新生成一个 Vid。导出视频名称为“原视频名称+translation+导出时间”，例如：烟花translation20241108201211。

2. 任务状态变为导出完成后，单击操作列的查看导出视频按钮。
   
3. 在字幕文件页签下，可管理或下载生成的目标语言字幕文件。