10 月 21 日消息，智源研究院今日發(fā)布原生多模態(tài)世界模型 Emu3。該模型只基于下一個(gè) token 預(yù)測(cè)，無(wú)需擴(kuò)散模型或組合方法，即可完成文本、圖像、視頻三種模態(tài)數(shù)據(jù)的理解和生成。官方宣稱(chēng)實(shí)現(xiàn)圖像、文本、視頻大一統(tǒng)。

在圖像生成任務(wù)中，基于人類(lèi)偏好評(píng)測(cè)，Emu3 優(yōu)于 SD-1.5 與 SDXL 模型。在視覺(jué)語(yǔ)言理解任務(wù)中，對(duì)于 12 項(xiàng)基準(zhǔn)測(cè)試的平均得分，Emu3 優(yōu)于 LlaVA-1.6。在視頻生成任務(wù)中，對(duì)于 VBench 基準(zhǔn)測(cè)試得分，Emu3 優(yōu)于 OpenSora 1.2。

據(jù)介紹，Emu3 提供了一個(gè)強(qiáng)大的視覺(jué) tokenizer，能夠?qū)⒁曨l和圖像轉(zhuǎn)換為離散 token。這些視覺(jué)離散 token 可以與文本 tokenizer 輸出的離散 token 一起送入模型中。與此同時(shí)，該模型輸出的離散 token 可以被轉(zhuǎn)換為文本、圖像和視頻，為 Any-to-Any 的任務(wù)提供了更加統(tǒng)一的研究范式。

▲ Emu3 生成的圖像

Emu3 研究結(jié)果證明，下一個(gè) token 預(yù)測(cè)可以作為多模態(tài)模型的一個(gè)強(qiáng)大范式，實(shí)現(xiàn)超越語(yǔ)言本身的大規(guī)模多模態(tài)學(xué)習(xí)，并在多模態(tài)任務(wù)中實(shí)現(xiàn)先進(jìn)的性能。通過(guò)將復(fù)雜的多模態(tài)設(shè)計(jì)收斂到 token 本身，能在大規(guī)模訓(xùn)練和推理中釋放巨大的潛力。

目前 Emu3 已開(kāi)源了關(guān)鍵技術(shù)和模型