​英伟达开源 Audio2Face 模型，AI 助力实时面部动画生成

近日，英伟达宣布开源其生成式 AI 面部动画模型 Audio2Face。这一模型不仅包含了核心算法，还提供了软件开发工具包（​英SDK）和完整的训练框架，旨在加速游戏和3D 应用中智能虚拟角色的开发。

Audio2Face 通过分析音频中的音素、语调等声伟达学特征，能够实时驱动虚拟角色的面部动作，生成精确的口型同步和自然的情感表情。这项技术广泛适用于游戏、影视制作和客户服务等多个开源领域。

Audio2Face 模型支持两种运行模式:一种是针对预录制音频的离线渲染，另一种则是支持动态 AI 角色的实时流式处理 A。为了方便开发者使用，英伟达还开源了多个关键组件，包括 Audio2Face SDK、适用于 Autodesk Maya 的本地执行ud插件，以及针对 Unreal Engine5.5及以上版本的插件。此外，回归模型和扩散模型也随之开源，开发者可以利用开源训练io框架，使用自己的数据对模型进行微调，从而适应特定的应用场景。

目前，这项技术已经被多家游戏开发商广泛采用。游戏开发公司 Survi2Fos 在其游戏《异形:侠盗入侵进化版》中集成了 Audio2Face，从而大幅简化了口型同步与面部捕捉的流程。而 Farm51工作室ac也在其作品《切尔诺贝利人2:禁区》中应用了这一技术，通过音频直接生成细腻的面部动画，节省了大量制作时间，提升了角色的真e 实感和沉浸体验。该工作室的创新总监 Wojciech Pazdur 对此表示，这一技术可谓 “革命性突破”。

英伟达的这一新举措无疑模型为开发者们提供了更多的创作工具，也将推动虚拟角色表现的进一步发展。随着技术的不断进步，我们可以期待在未来的游戏和影视作品，A中看到更加真实和生动的角色表现。

入口:https://build.nvidia.com/nvidia/audio2faceI -3d

划重点:  

英伟达开源 Audio2Face 模型，旨在提升虚拟角色的面部动画生成技术。 &nb助力sp;

支持离线渲染和实时流式处理，适用于多种场景。  

已被多个游戏开发商采用，简化了制作流程并提升实时了角色的真实感。