单图数字人是指用户上传一张静态人物图片后,即可生成一个数字人形象。用户可以通过文本或音频驱动该形象,生成数字人视频。
单图数字人对于「用户输入」图片需要进行有效性检测,本文描述了对上传图片的一些基本要求:
对于不符合规则的图片,算法检测不通过,无法驱动
规则 | 描述 |
---|---|
关键点检测不准确 | - 非真人图片、与真人图片差异特别大 |
角度过大 | - 过多侧面等视角图片 |
歪头程度 | - 歪头程度过大 |
面部完整度 | - 脸部(包括额头)没有完整地出现在画面内,人脸与画面边缘距离与人脸大小(人脸的长宽取最大值)比值不满足算法识别条件 |
面部遮挡程度 | - 面部遮挡过大 |
张嘴过大 | - 嘴部张合度过大 |
规则 | 描述 |
---|---|
人脸占比过小 | 人脸框的平均边长 < 80*80像素 |
人脸水平倾斜角度过大 | 人脸水平倾斜角度过大 |
侧脸 | 侧脸角度比较大 |
关键点面部轮廓检测错误 | 面部轮廓点相邻关键点的距离较大 |
嘴部轮廓关键点检测错误 | 对于嘴巴比较夸张、特别小或者双层嘴容易检查失败,导致驱动效果差 |
case | 描述 |
---|---|
嘴部线条下压 | 不会拒绝但驱动效果不佳 |
面部以外区域过少 | 人脸完整,但面部以外的区域过少 |
全身模式 + 复杂头发 | 在全身(半身)模式下,如果原图的头发、佩饰过多复杂。例如头顶区域的头发佩饰比较多,将出现「截断」现象 |