阿里开源了名为「Mnn3dAvatar」的数字人框架,项目可以做到实时面捕然后映射到3D虚拟角色脸上(注意不是Live2D的,是3D的),甚至还能帮助创建一个3D虚拟角色。
https://github.com/alibaba/MNN/blob/master/apps/Android/Mnn3dAvatar/README.md
据介绍,Mnn3dAvatar 是基于自研 3D 高斯溅射技术的 3D 数字人实时面捕方案,通过 AI 驱动实现高精度面部动作捕捉与实时渲染,支持语音、表情、手势等多模态驱动,可在手机、AR 设备等终端以90FPS 帧率流畅运行。
其核心优势在于将影视级数字人效果落地到消费级硬件,仅需普通手机摄像头即可替代传统动捕设备,显著降低直播场景的部署门槛与成本,制作周期缩短至一周内,成本仅为传统 CG 方案的 1/30。