DeepSeek V4 架構解析：1.6兆參數、混合稀疏注意力機制與 MoE 效率設計

作者：默思編輯部　發布：2026-05-26

兩款模型、同一份 MIT 授權

2026 年 4 月 24 日，DeepSeek 釋出 V4 系列的預覽版本，一次推出兩款模型：總參數 2840 億的 DeepSeek-V4-Flash，以及總參數高達 1.6 兆的 DeepSeek-V4-Pro，兩者都採用 100 萬 token 的 context window，並以 MIT 授權開源釋出權重，可在 Hugging Face 上直接下載。

架構關鍵：混合注意力機制

V4 系列真正的技術亮點,在於一套混合注意力機制,結合了 Compressed Sparse Attention（CSA）與 Heavily Compressed Attention（HCA）,專門用來改善長文本場景下的運算效率。相較於前代 V3.2,這套機制讓單一 token 推理只需要 27% 的 FLOPs、KV cache 用量只要 10%,是相當激進的效率提升。

此外,V4 也導入了「流形約束超連接」（Manifold-Constrained Hyper-Connections, mHC）,用來強化傳統 Transformer 裡的殘差連接（residual connection）,這是近期針對超大規模模型訓練穩定性的一個新嘗試。

實際參數規模與 Benchmark 表現

• V4-Pro：總參數 1.6 兆,實際啟動參數（active parameters）僅 490 億,預設 context window 為 100 萬 token,最大輸出可達 38.4 萬 token。
• V4-Flash：總參數 2840 億,啟動參數 130 億。

在 SWE-bench Verified 測試中,V4-Pro 拿下 80.6% 的分數,是目前開源權重模型中最高分,已經逼近 GPT-5.5 等級的 agentic 表現；V4-Flash 也有 79.0% 的水準,對於一個只啟動 130 億參數的模型而言相當驚人。

定價與對開發者的意義

V4-Pro 每百萬 token 輸入/輸出定價約為 0.435 美元／0.87 美元,V4-Flash 更只要 0.14 美元／0.28 美元——這種「巨大總參數、極少啟動參數」的稀疏化設計,正是 Mixture-of-Experts（MoE）架構持續演進的方向:用更聰明的路由機制,讓模型在保有龐大知識容量的同時,實際運算成本卻遠低於同等規模的稠密模型。

對於想深入理解大型語言模型底層架構、甚至嘗試自己微調開源模型的 Python 開發者來說,V4 系列公開權重與論文,是研究稀疏注意力機制與 MoE 路由設計很好的實作教材。