Sora 2 與 Veo 3 技術解析：影片生成模型共用的 Diffusion Transformer 架構

作者：默思編輯部　發布：2026-05-06

幾乎所有主流影片生成模型共用的骨幹

2026 年市面上正式上線的高品質文字生成影片模型，包括 OpenAI 的 Sora 2、Google DeepMind 的 Veo 3，背後幾乎都共用同一套架構骨幹：Diffusion Transformer（DiT，擴散式 Transformer）。這個架構源自 2023 年 Peebles 與 Xie 發表的論文《Scalable Diffusion Models with Transformers》，核心貢獻是把傳統擴散模型（diffusion model）裡的 U-Net 骨幹，換成基於區塊（patch）運算的 Transformer 架構——這個設計選擇，成了幾乎所有現行嚴肅影片生成模型的「架構祖先」。

Sora 2 的具體技術特色

Sora 2 被形容為「在時空區塊（spacetime patches）上訓練的擴散 Transformer」——具體來說，它把影片跟圖片的潛在編碼（latent code）切成一塊塊的時空區塊來訓練，這種架構特別針對長時間生成做了優化，讓它能產出長達 20 秒、且維持時間一致性（temporal consistency）的連貫片段。Sora 2 的重點新能力包括：同步生成對話與音效、更準確的物理表現（例如籃球彈跳的軌跡符合物理直覺），以及能理解跨越多個鏡頭（shot）的複雜指令。

Veo 3 的技術特色

Google DeepMind 的 Veo 3，是建立在該團隊多年影片生成研究基礎上的第三代模型，包括先前的 VideoPoet、Imagen Video 等研究成果的延續。其中 Veo 3.1 版本進一步支援 4K 解析度輸出（3840×2160）、原生直式影片（9:16 比例，適合社群媒體），以及參考圖片條件化生成（reference image conditioning）——可以指定一張參考圖片，讓生成的影片維持角色或風格上的一致性。

為什麼這個架構選擇很關鍵

Diffusion Transformer 之所以能成為主流選擇，關鍵在於它繼承了 Transformer 架構「規模擴展性好」（scalable）的特性——就像大型語言模型透過增加參數量與訓練資料能持續提升能力一樣，DiT 架構的影片生成模型，也能透過類似的規模擴展邏輯持續進步，這是舊有 U-Net 架構比較難做到的。

對開發者與內容創作者的意義

對於想了解生成式 AI 底層技術演進的開發者而言，理解「大型語言模型」跟「影片生成模型」背後其實共用了 Transformer 這個共同的架構語言，有助於建立更完整的知識框架——這也是為什麼許多研究人才與技術積累，能夠在文字、圖片、影片這些不同模態的生成任務之間快速遷移的原因。