本文为您介绍了多媒体 AI 下配置蒙版弹幕的功能介绍、整体流程、使用场景和操作步骤等内容。

背景信息

视频弹幕渐渐成为一种文化，但随着字幕堆积，视频内容尤其是人物无法被清晰的看到。因此产生出蒙版弹幕解决方案，使得您在保留弹幕的同时能看到人物形象。

功能介绍

智能识别在保留弹幕的同时能看到人物形象。蒙版弹幕是一种升级的弹幕功能，即“不挡脸”弹幕：打开一条视频的“蒙版弹幕”功能后，弹幕就不会再覆盖人像，而是呈现从人体身后穿过的效果，视频画面会给人一种裸眼 3D 的体验。

• 智能识别：表示将智能检测视频中人物出现比例，达到置信度阈值时生成蒙版；
• 全量开启：表示对所有视频均会生成蒙版。

效果示例

使用场景

• 适用于舞蹈、瑜伽类视频等肢体动作较多的培训、指导、教育类等视频的场景；
• 适用于明星 cut、采访类等视频内容亮点在人脸的视频的场景。

优势特性

• 国内一线业务打磨过的高性能实时处理能力。
• 精准识别人像，人体检测结合人体分割轮廓绕行，精准率 96% 以上。
• 保持源文件品质，不影响画质高清高质。
• 支持弹性设置，自由配置蒙版弹幕触发的阈值，自由控制开关。

技术原理

在服务端对视频进行计算机视觉分析，生成蒙版，以一定协议标准进行蒙版文件的存放，移动端或者 Web 端对蒙版文件进行请求，对蒙版文件进行解析并在播放器上渲染。

• 转码->人体检测->生成蒙版->人体分割->下发蒙版格式解析，给一帧回调反馈给您通知其进行渲染，再在播放器上播放；
• 您可以开启蒙版弹幕逻辑的判断触发能力，您可自定义设定阈值，只有字幕数量达到一定量级，才会开启蒙版弹幕能力；到达阈值前，会按正常弹幕效果呈现，不进行能力计费；
• 支持中长视频处理，处理的媒资文件视频时长暂无限制，但处理长视频（>40min）视频文件时反馈时长暂为原视频时长 1.5 倍，生成蒙版的 0.1qps-0.3qps。

使用流程

操作步骤

蒙版弹幕功能的具体操作步骤如下：

配置多媒体 AI 模板

在点播控制台创建多媒体 AI 模板，如下图所示。根据自身业务需求，配置蒙版弹幕参数，具体操作请参见多媒体 AI 模板。

创建工作流模板

在点播控制台创建工作流模板。如下图所示。根据自身业务需求，支持选择自定义配置模板参数。具体操作请参见工作流模板。

发起处理任务

您可以在上传视频时设置工作流模板发起处理任务，也可以对已上传的视频发起处理任务。

• 通过以下方式使用已创建好的工作流模板上传视频，在上传时自动触发处理任务：
  • 控制台：具体操作请参见控制台媒资上传。
  • OpenAPI 或服务端 SDK：具体操作请参见服务端上传。
• 通过以下方式对已上传的视频发起处理任务。
  • 点播控制台：具体操作请参见触发媒体处理。
  • OpenAPI 或服务端 SDK：调用 StartWorkflow 接口发起工作流，您需要传入工作流模板 ID。

查看处理结果

发起处理任务后，获取结果的方式如下所示。

• 控制台

1. 登录视频点播控制台，进入空间。
2. 选择左侧导航栏任务管理 > 工作流任务，查看工作流任务状态。
   
3. 工作流任务状态变为成功后，单击查看详情按钮，进入工作流任务详情页面。
4. 单击查看产物按钮，进入视频详情页面。在多媒体 AI 页签下，查看蒙版弹幕。
   

• 事件通知

查看工作流执行完成事件。