作者：默思編輯部 發布：2026-09-03
一篇題為《DreamX-Creator：在2K解析度下普及原生音影片生成》的研究論文，近期在AI研究社群與論文討論平台上引發廣泛討論。這套系統以一個70億參數的生成器為核心，能夠根據首幀畫面與文字提示，同步去噪生成音訊與影片兩種模態的內容串流。
這套系統的架構設計相當特殊：音訊與影片這兩種模態的資料串流，在網路的前半段各自獨立處理，直到後半段才透過「門控跨模態注意力機制」進行耦合，這個機制帶有逐token、逐注意力頭的輸出閘門，能動態調節每個活躍跨模態注意力頭的輸出強度，藉此讓音訊與影片內容能保持精準同步，又不會互相干擾各自的生成品質。
研究團隊採用「漸進式聯合訓練」策略，包含兩個階段的音影片預訓練，接著進行高品質微調。此外還導入「音影片強化學習」階段，透過「模態感知多模態回饋」機制，把影片、音訊與跨模態回饋分別路由到對應的資料串流進行後續訓練優化，這種精細的分階段訓練設計，是這套系統能達到高品質同步生成效果的關鍵。
針對高解析度輸出的挑戰，研究團隊開發了「自迴歸單步2K精修」流程，把一個雙向多步驟的教師模型，轉換成自迴歸多步驟的精修器，再進一步蒸餾成一個每個時間區塊只需一次去噪評估的學生模型，大幅降低了生成2K畫質內容所需的運算成本。
這篇論文之所以受到關注，一部分原因是它展示了相對輕量的70億參數模型，也能在音影片同步生成這個技術門檻很高的任務上，達到與現有頂尖開源系統相當的效能，這對希望在有限運算資源下探索多模態生成技術的研究團隊與開發者而言，提供了具體可參考的技術路線。
過去多數AI影片生成工具在處理音訊時，往往採用「先生成影片、再另外生成或配上音訊」的後製式做法，這種分離式流程容易出現音畫不同步、音效與畫面情境不匹配的問題。DreamX-Creator這類「原生聯合生成」的設計思路，讓音訊與影片從一開始的去噪過程就彼此關聯、互相影響，理論上能產生更自然、更精準同步的成果，這也是這篇論文在技術路線選擇上，被認為具有指標意義的原因之一。
多模態生成模型的架構設計與訓練流程優化，是目前AI研究領域最活躍的方向之一，具備跨模態注意力機制與生成模型訓練經驗的研究人才，在影音生成這個快速發展的次領域持續有強勁需求。