9 月 25 日消息,英偉達昨日(9 月 24 日)發布博文,宣布開源生成式 AI 面部動畫模型 Audio2Face,涵蓋模型、軟件開發工具包(SDK)及完整訓練框架,希望能在游戲和 3D 應用中,加速開發 AI 智能虛擬角色。

該技術通過分析音頻中的音素、語調等聲學特征,實時驅動虛擬角色面部動作,生成精準的口型同步和自然的情感表情,可廣泛應用于游戲、影視制作和客戶服務等領域。

Audio2Face 支持兩種運行模式:預錄制音頻的離線渲染和動態 AI 角色的實時流式處理。援引博文介紹,英偉達此次開源了多個核心組件:
Audio2Face SDK
適用于 Autodesk Maya 的 2.0 版本本地執行插件
Unreal Engine 5.5 及以上版本的 2.5 插件
回歸模型(v2.2)
擴散模型(v3.0)
開源訓練框架支持開發者使用自有數據微調模型,以適應特定應用場景。

該技術已獲行業廣泛采用。游戲開發商 Survios 在《異形:俠盜入侵進化版》(Alien: Rogue Incursion Evolved Edition)中集成 Audio2Face,大幅簡化了口型同步與面部捕捉流程。
Farm 51 工作室也將其用于《切爾諾貝利人 2:禁區》(Chernobylite 2: Exclusion Zone),通過音頻直接生成細膩面部動畫,節省大量制作時間,提升角色真實感和沉浸體驗。創新總監 Wojciech Pazdur 稱此為“革命性突破”。
本文鏈接:http://m.www897cc.com/showinfo-45-28168-0.html英偉達開源 Audio2Face 模型:AI 實時生成面部動畫,多語言口型同步
聲明:本網頁內容旨在傳播知識,若有侵權等問題請及時與本網聯系,我們將在第一時間刪除處理。郵件:2376512515@qq.com