智能K歌方案提供一整套智能K歌物料生产、演唱录制、打分互动等功能,以及领先于行业的音质降噪以及智能修音能力。
物料处理API:提前对于所有K歌物料进行前置处理。
功能 | 说明 |
---|---|
音乐转谱 | 将输入的音频导出为MIDI格式,包含音乐的音符、力度、时长等信息,可用于K歌打分 |
音源分离 | 运用音源分离能力,智能剥离歌曲的伴奏,可用于K歌的伴奏 |
歌词对齐 | 智能识别歌曲文件及歌词,输出字级别时间戳信息。确保K歌歌词与节奏实现对齐。待对外开放。 |
副歌检测 | 智能检测歌曲的高光部分,可以试听歌曲的高光部分,或者是直接跳到副歌部分开始唱 |
节拍检测 | 检测歌曲节拍信息,可在一些k歌节拍点上做一些K歌互动特效 |
K歌体验SDK:包含K歌录制过程SDK以及K歌后处理的SDK。
模块 | 功能 | 说明 |
---|---|---|
录制流程 | 演唱控制 | 录制过程中支持暂停/继续录制 |
伴奏/原唱切换 | 支持演唱过程中切换纯伴奏或者是原唱 | |
耳返人声/伴奏音量调节 | 演唱过程中,支持单独调节人声或伴奏的音量大小 | |
K歌打分 | 支持基于音高的实时打分,支持中英日韩多国语言。暂不兼容无明显旋律起伏的Rap的K歌打分 | |
延迟检测 | 智能延迟检测算法检测人声延迟,用于支持用户手动调节人声和伴奏的对齐,提供调节的默认值 | |
响度检测 | 演唱过程中检测整体的人声响度,主要用于配合后处理音量均衡SDK,减少人声的忽大忽小 | |
回声消除 | 外放录制时开启回声消除可以得到纯净的人声数据,减少外放的声音被mic二次收音 | |
人声保存到文件 | 支持将录制到的数据(外放时经过回声消除处理)编码并保存到文件,给编辑流程处理 | |
编辑流程 | 智能修音 | 对于音准有问题的歌曲智能修音,把音准修复到接近原唱。需要人工精标的MIDI文件。通过SDK封装API接口进行非流式处理。暂未开放。 |
人声音效切换 | 8款曲风音效+8款空间音效+其他20多款美声/变声音效,也支持音效的定制 | |
响度均衡 | 包含响度检测SDK+响度处理SDK,处理完后每首歌曲的音量不会忽大忽小 | |
降噪 | 自动去除演唱时的除了人声/音乐以外的背景噪声 | |
人声/伴奏音量调节 | 演唱后处理可以实现对于录制的人声或者是伴奏音量的二次调节 | |
进度调整(seek) | 支持调整演唱结果的播放进度,用于滑动试听 | |
人声伴奏对齐调节 | 支持人工调整人声和伴奏的不对齐。可以结合录制中的智能延迟检测算法,选择跳转到系统推荐的延迟线 |
请用苹果手机打开链接,下载testflight试用demo效果https://testflight.apple.com/join/iBQLnGR4
通过火山控制台完成线上注册&接入,提前将K歌所需物料处理好。