GitHub的Lvmin Zhang聯(lián)合斯坦福大學(xué)的Maneesh Agrawala發(fā)布了一項名為FramePack的突破性新技術(shù)。這項技術(shù)通過在視頻擴散模型中使用固定長度的時域上下文，實現(xiàn)了更高效、更高質(zhì)量的視頻生成。

　　FramePack作為一種神經(jīng)網(wǎng)絡(luò)架構(gòu)，采用多級優(yōu)化策略完成本地AI視頻生成。它底層基于定制版的騰訊混元模型，但現(xiàn)有的預(yù)訓(xùn)練模型都可以通過FramePack進(jìn)行微調(diào)、適配。這一技術(shù)的最大亮點在于，它顯著降低了對顯存的需求?；贔ramePack構(gòu)建的130億參數(shù)模型，僅需一塊6GB顯存的顯卡，就能生成60秒鐘的視頻。

　　傳統(tǒng)的視頻擴散模型在生成視頻時，需要處理此前生成的帶有噪音的幀，并預(yù)測下一個噪音更少的幀。而每生成一幀所需要輸入的幀數(shù)量(即時域上下文長度)會隨著視頻的體積而增加，這對顯存有著很高的要求。然而，F(xiàn)ramePack會根據(jù)輸入幀的重要性，對所有輸入幀進(jìn)行壓縮，改變?yōu)楣潭ǖ纳舷挛拈L度，從而顯著降低了顯存需求。同時，它的計算消耗與圖片擴散模型類似，每一幀畫面生成之后都會實時顯示，方便即時預(yù)覽。

　　此外，F(xiàn)ramePack還能有效緩解“漂移”現(xiàn)象，即視頻長度增加時質(zhì)量下降的問題。這意味著，在不顯著犧牲質(zhì)量的同時，可以生成更長的視頻。該技術(shù)數(shù)據(jù)格式支持FP16、BF16，顯卡硬件支持RTX 50、RTX 40、RTX 30系列顯卡(除RTX 3050 4GB外)，操作系統(tǒng)則支持Windows和Linux。性能方面，RTX 4090經(jīng)過teacache優(yōu)化后，每秒可以生成大約0.6幀。這一技術(shù)的推出，無疑為視頻生成領(lǐng)域帶來了新的突破和發(fā)展機遇。