作者：默思編輯部 發布：2026-05-08
模型蒸餾（model distillation）是一種模型壓縮技術：讓一個能力強大、但運算成本高昂的「教師模型」（teacher model），把知識轉移給一個體積小、速度快的「學生模型」（student model）。跟直接訓練一個小模型不同，蒸餾的關鍵在於：學生模型學習的不只是標準答案（hard labels），而是教師模型輸出的完整機率分佈（soft probability distribution，業界稱為「暗知識」dark knowledge）——這份機率分佈裡包含了類別與類別之間關係的豐富資訊，比單純的對錯標籤能傳遞更多訊息。
舉例來說，如果教師模型在判斷一張圖片是「貓」還是「狗」時，給出的機率是貓 70%、狗 25%、其他 5%，這組完整分佈本身就透露了「貓跟狗在某些特徵上有相似之處」這種細膩的資訊——如果只告訴學生模型「正確答案是貓」，這種細節就完全流失了。透過學習完整的機率分佈，學生模型能用遠少於教師模型的參數量，學到接近的判斷能力。
模型蒸餾在 2026 年已經從學術界的效率技巧，正式變成 AI 產業的關鍵生產策略——透過從大型教師模型向精簡學生模型轉移知識，企業普遍能達到 5 到 30 倍的成本降低、4 倍的推理速度提升，同時維持原始模型 95% 到 97% 的效能水準。這種「幾乎不犧牲效能、卻大幅降低成本」的特性，是它被大規模採用的核心原因。
DeepSeek-R1 的蒸餾成果是這波趨勢裡最受矚目的案例之一：透過蒸餾產生的精簡版模型，在 MATH-500 這個數學能力測試上拿下 94.5 分的高分，顯示出一個關鍵洞察——蒸餾出來的小模型，甚至可能超越直接從頭訓練出來的同等規模模型。這打破了「小模型能力天生就比較弱」的直覺假設，證明「怎麼訓練」比「訓練多久、規模多大」更關鍵。
模型蒸餾通常不是單獨使用，而是搭配其他模型壓縮技術一起運作，例如剪枝（pruning，移除不重要的參數）之後再進行蒸餾重新訓練，進一步壓縮模型體積，同時盡量維持效能。
對於需要在有限運算資源（例如單張消費級顯卡、邊緣裝置）部署 AI 能力的開發者而言，理解蒸餾技術的原理，有助於判斷「什麼時候該用大模型、什麼時候可以改用蒸餾過的小模型」——很多場景其實不需要動用最頂級的旗艦模型，一個針對特定任務蒸餾過的小模型，往往能用遠低的成本達到相近的實用效果。