想像一下，你有一位退休的米其林主廚，他在廚房裡待了三十多年，煮出一手好菜。有一天，他決定把三十年來的秘方、技巧和心得，全部寫成一本書。你拿到那本書，看完之後，只花了一個月就學會了他的手法，甚至不用花三十年。這聽起來像偷——但你說我哪裡偷了？我只是在讀他公開寫下來的東西。

這正是 distillation（模型蒸餾）的縮影。

在 AI 世界裡，distillation 指的是一種技術：用一個龐大、昂貴、訓練耗時數月甚至數年的大型語言模型（簡稱 LLM）去「教」一個比較小、比較便宜的模型。小模型不需要自己重新學一遍所有東西，而是觀察大模型的「思考過程」，吸收它的決策模式和技巧，最後變成一個能勝任大部分任務、但成本只有大模型一小部分的版本。

美國 AI 公司最近抱怨，中國競爭對手正在以「非法、系統化且工業級規模」進行這種操作。問題不在於 distillation 本身——這是科技業早就存在的公開技術——而在於他們認為對方用了什麼手段來取得這些大模型的內部知識。

那種「偷學」的感覺，到底從哪來？

讓我說說重點。如果你是一個開發者，你花了幾百萬美元訓練一個模型，結果隔壁公司拿你的模型輸出結果去訓練自己的小模型，然後拿去賣——你心裡會怎麼想？

但更複雜的是，distillation 在很多情境下是完全合理甚至必要的。

想想看，GPT-4 或 Claude 3.5 這種大型模型，每次呼叫的費用不便宜，而且運算成本奇高。如果你只是要做個簡單的客服機器人、翻譯工具，或者一個手機 App 裡的助手，你根本不需要那麼大的模型。這時候 distillation 就變成了一件好事：它讓 AI 變得更便宜、更容易部署、更環保。

所以問題不在於 distillation 本身，而在於「怎麼拿到大模型的訓練資料」。如果對方是用公開 API 的輸出結果來訓練，這在技術上可能沒什麼問題。但如果他們去破解、盜取、或利用漏洞取得大模型的內部權重、訓練資料、甚至原始碼，那事情就嚴重多了。

美國公司指控的，就是這種「不乾淨」的竊取方式。他們說，這不是普通的 distillation，而是「工業級的技術竊取」。

為什麼這件事對你我有關係？

你可能覺得這是科技巨頭之間的事，跟你無關。但事實上，這件事會影響好幾件事：

第一，AI 模型的價格。如果 distillation 變得更容易、更便宜，小模型的能力就會快速提升，你用的 AI 產品可能會變得更便宜、更快。

第二，AI 製作的內容品質。如果小模型是由大模型 distill 而來，它們的輸出品質可能會跟大模型越來越接近，這會影響新聞、資訊、甚至教育內容的可靠性。

第三，也是最重要的，AI 產業的創新動力。如果一家公司花了幾百萬美元訓練一個模型，結果被其他人輕易複製，他們還願意繼續投資嗎？如果大家都去「偷學」而不是自己開發，整個產業的創新可能會減緩。

最後說幾句

AI 世界裡，技術的邊界一直在模糊。distillation 本身是個好東西，它讓強大的 AI 能力得以普及。但當有人用它來「抄作業」，而且抄得理所當然時，這就成了問題。

美國公司這次發聲，不只是在抱怨，而是在重新定義規則。他們想讓世界知道：有些東西，不是公開的技術，就能理直氣壯地拿去用。

至於答案是什麼？恐怕不會很快出來。這就像是一場跑馬拉松的比賽，有人說起跑線畫錯了，有人說裁判吹哨太早，但比賽已經開始了。接下來要看的，是大家在什麼規則下繼續跑下去。

延伸思考與常見問題

  • distillation 和一般的 model training 有什麼區別？為什麼 distillation 這麼特別？
  • 美國公司指控中國對手「非法」進行 distillation，那「合法」的 distillation 應該怎麼做？
  • 為什麼 distillation 技術在 AI 業界普遍存在，但這次會引發這麼大的爭議？