字節(jié)跳動(dòng)旗下種子部門今日正式推出了新一代AI視頻創(chuàng)作工具“Seedance 2.0”。據(jù)悉,連著名游戲《黑神話:悟空》的出品人馮驥也對(duì)其表達(dá)贊賞。

相較于上一代1.5版本,Seedance 2.0在多項(xiàng)關(guān)鍵能力上實(shí)現(xiàn)了顯著躍升。新版本采用了一種整合多種媒體格式的混合生成架構(gòu),能夠接受文本、圖片、音頻及視頻作為創(chuàng)作素材。這使其具備了目前業(yè)內(nèi)最為豐富的多模態(tài)內(nèi)容參考與編輯功能。
此次升級(jí)的核心亮點(diǎn)主要包括四個(gè)方面:
提升復(fù)雜場(chǎng)景實(shí)用性:模型在運(yùn)動(dòng)穩(wěn)定性和物理規(guī)律還原上表現(xiàn)優(yōu)異,使其在處理涉及多個(gè)主體交互或動(dòng)作復(fù)雜的畫面時(shí),生成的可用內(nèi)容比例達(dá)到了行業(yè)前沿水平。
強(qiáng)化多模態(tài)支持:得益于統(tǒng)一的架構(gòu)訓(xùn)練,模型現(xiàn)在允許用戶一次性輸入最多9張圖片、3段視頻、3段音頻以及自然語(yǔ)言描述。它可以智能識(shí)別并融合輸入素材中的構(gòu)圖、動(dòng)作、鏡頭語(yǔ)言、特效乃至聲音元素,從而極大地拓寬了視頻創(chuàng)作的素材邊界。
增強(qiáng)創(chuàng)作可控性:模型對(duì)用戶指令的理解與執(zhí)行一致性有了全面提升,并支持穩(wěn)定可控的視頻時(shí)長(zhǎng)延長(zhǎng)與內(nèi)容編輯功能。這使得普通用戶也能更輕松地掌控從構(gòu)思到成片的整個(gè)創(chuàng)作流程。
深化工業(yè)級(jí)應(yīng)用:模型能夠生成時(shí)長(zhǎng)達(dá)15秒、具備高質(zhì)量多鏡頭切換與雙聲道立體聲音效的內(nèi)容。這種高度擬真的視聽效果,結(jié)合其強(qiáng)大的參考與編輯能力,預(yù)期將顯著降低影視、廣告、電商及游戲等領(lǐng)域的內(nèi)容生產(chǎn)成本。
字節(jié)跳動(dòng)表示,Seedance 2.0憑借其海量的世界知識(shí)庫(kù)、高效的稀疏架構(gòu)以及多模態(tài)聯(lián)合訓(xùn)練帶來(lái)的強(qiáng)大泛化能力,成功解決了對(duì)物理規(guī)律遵循和長(zhǎng)視頻內(nèi)容一致性的行業(yè)難題。它不僅賦予了創(chuàng)作者前所未有的自由度,也使得AI生成的音視頻在質(zhì)量和可控性上達(dá)到了滿足專業(yè)生產(chǎn)場(chǎng)景要求的水平。
官方也坦誠(chéng)指出,Seedance 2.0目前仍遠(yuǎn)非完美,其生成結(jié)果中依然存在一些不足之處。未來(lái)團(tuán)隊(duì)將持續(xù)探索大模型與人類反饋的深度對(duì)齊,致力于開發(fā)更高效、穩(wěn)定且充滿想象力的音視頻生產(chǎn)工具,以服務(wù)更廣泛的創(chuàng)作者群體。
目前,該模型已正式上線,用戶可通過(guò)“即夢(mèng)AI”網(wǎng)頁(yè)版、豆包App以及火山方舟體驗(yàn)中心等多個(gè)平臺(tái)進(jìn)行使用。





























浙公網(wǎng)安備 33010502007447號(hào)