8 月 12 日消息，昆侖萬(wàn)維 SkyWork AI 技術(shù)發(fā)布周于 8 月 11 日啟動(dòng)，連續(xù)五天每天發(fā)布一款模型，覆蓋多模態(tài) AI 核心場(chǎng)景。
今日，昆侖萬(wàn)維帶來(lái)了自研世界模型 Matrix 系列中 Matrix-Game 交互世界模型的升級(jí)版本 ——「Matrix-Game 2.0」，號(hào)稱是實(shí)現(xiàn)了通用場(chǎng)景下的交互式實(shí)時(shí)長(zhǎng)序列生成的世界模型。
并且為促進(jìn)交互式世界模型領(lǐng)域的發(fā)展，「Matrix-Game 2.0」全面開(kāi)源，號(hào)稱是業(yè)內(nèi)首個(gè)在通用場(chǎng)景上實(shí)現(xiàn)實(shí)時(shí)長(zhǎng)序列交互式生成的世界模型開(kāi)源方案。
「Matrix-Game 2.0」號(hào)稱在實(shí)時(shí)生成和長(zhǎng)序列能力上實(shí)現(xiàn)了“質(zhì)的飛躍”。相較于上一版本，2.0 版本更加側(cè)重低延遲、高幀率的長(zhǎng)序列交互性能，能夠以 25 FPS 的速度，在多種復(fù)雜場(chǎng)景中穩(wěn)定生成連續(xù)視頻內(nèi)容，且生成時(shí)長(zhǎng)可擴(kuò)展至分鐘級(jí)，大幅提升了連貫性與實(shí)用性。
在推理速度顯著提升的同時(shí)，模型依然保持了對(duì)物理規(guī)律與場(chǎng)景語(yǔ)義的“精準(zhǔn)理解”，支持用戶通過(guò)簡(jiǎn)單指令，自由探索、操控并實(shí)時(shí)構(gòu)建結(jié)構(gòu)清晰、細(xì)節(jié)豐富、規(guī)則合理的虛擬環(huán)境。
昆侖萬(wàn)維還開(kāi)源了 Matrix-3D 大模型，從單圖像出發(fā)，生成高質(zhì)量、軌跡一致的全景視頻，并直接還原可漫游的三維空間，對(duì)標(biāo)李飛飛 WorldLabs 的生成效果，可實(shí)現(xiàn)更大范圍的探索空間。
Matrix-3D 由以下核心部分組成：
軌跡引導(dǎo)的全景視頻生成模塊：利用場(chǎng)景 Mesh 渲染圖作為條件輸入，訓(xùn)練視頻擴(kuò)散模型生成符合給定相機(jī)軌跡的全景視頻。提升生成視頻在空間結(jié)構(gòu)上的一致性，緩解遮擋錯(cuò)誤與圖像偽影問(wèn)題。
雙路徑可選擇的全景 3D 重建模塊：優(yōu)化路徑，對(duì)生成的視頻進(jìn)行超分與 3DGS 優(yōu)化，獲取高質(zhì)量 3D 結(jié)構(gòu)。前饋網(wǎng)絡(luò)路徑：基于 Transformer 直接回歸，從生成視頻 Latent 特征快速預(yù)測(cè) 3D 幾何屬性，實(shí)現(xiàn)高效重建。
Matrix-Pano 數(shù)據(jù)集：大規(guī)模高質(zhì)量合成數(shù)據(jù)集，包含 116K 條帶有相機(jī)軌跡、深度圖和文本注釋的靜態(tài)全景視頻序列。
附兩個(gè)模型的開(kāi)源地址如下：
https://github.com/SkyworkAI/Matrix-Game
https://github.com/SkyworkAI/Matrix-3D
本文鏈接：http://m.www897cc.com/showinfo-45-26089-0.htmlAI 生成游戲，昆侖萬(wàn)維發(fā)布并開(kāi)源 Matrix-Game 2.0、Matrix-3D 模型
聲明：本網(wǎng)頁(yè)內(nèi)容旨在傳播知識(shí)，若有侵權(quán)等問(wèn)題請(qǐng)及時(shí)與本網(wǎng)聯(lián)系，我們將在第一時(shí)間刪除處理。郵件：2376512515@qq.com
上一篇： 世界首臺(tái)，我國(guó)自動(dòng)巡航雜交授粉智能育種機(jī)器人“吉兒”問(wèn)世
下一篇： 應(yīng)對(duì) GPT-5 需求增長(zhǎng)，OpenAI CEO 奧爾特曼公布算力分配計(jì)劃
Copyright ? 2016-2023 天津谷騏科技有限公司 版權(quán)所有 sitemap.xml
違法及侵權(quán)請(qǐng)聯(lián)系：2376512515@qq.com 津ICP備18001702號(hào)
津公網(wǎng)安備 12010102000574號(hào)
