MIT 6.S184 · Flow Matching and Diffusion Models · IAP 2026
MIT 6.S184 複習目錄
Peter Holderrieth 和 Ron Shprints 的課，每堂一份複習講義。大部分推導寫在黑板上，所以每一頁都放了板書截圖和轉寫，補上老師跳過的步驟，只假設學過單變數微積分。每一頁都有手算例子、可以操作或親手訓練的 demo、常見誤解和自我測驗。
主線
第 1 講
怎麼生成
從雜訊出發，模擬一條 ODE 或 SDE。網路只負責給向量場。
第 2、3A 講
怎麼訓練
對單一資料點寫出條件目標，用回歸訓練，學到的是邊際的量。score 是同一件事的另一種說法。
第 3B、4 講
怎麼變成真的模型
CFG 讓模型聽提示詞，VAE 把影像壓進 latent，DiT 是網路本身。
第 5 講
沒有向量的資料
同一套配方換成 CTMC 和速率矩陣，回歸變成分類，可以生成文字。老師說這一講是加分內容，不影響課程通過。
六份講義
- 1Flow 與 Diffusion Model生成就是取樣；向量場、ODE、flow，存在唯一性與線性向量場；Euler 法；布朗運動、SDE、Euler–Maruyama、OU 過程。5 個 demo，影片 78 分。已完成
- 2Flow Matching條件與邊際機率路徑、條件向量場、邊際化技巧與連續方程；兩個損失只差一個常數；訓練演算法。4 個 demo，含親手訓練，影片 83 分。已完成
- 3AScore Function條件與邊際 score、向量場和 score 互換、score matching 與去雜訊；SDE 擴充技巧、Fokker–Planck、Langevin。4 個 demo，含親手訓練，影片 46 分。已完成
- 3BClassifier-Free GuidanceVanilla 與 classifier guidance、去掉分類器、空標籤訓練；為什麼 CFG 是 heuristic。3 個 demo，含親手訓練，影片 39 分。已完成
- 4Latent Space 與網路架構自編碼器與 VAE、KL 和 reparameterization、latent diffusion；時間嵌入、patchify、attention、DiT；SD3、MovieGen 與文獻導覽。4 個 demo，含親手訓練 VAE 和 latent flow matching，影片 81 分。已完成
- 5離散 Diffusion 與離散 Flow MatchingCTMC 與速率矩陣、因子化、mixture path、KFE、條件與邊際速率；訓練變成分類；masked diffusion 與自迴歸的取捨、Generator Matching。4 個 demo，含訓練生成名字，影片 81 分。已完成
記號會換，先記一下
課程裡同一個字母的意思不一定相同，每一頁開頭也會提醒。
| 頁面 | \(z\) 是什麼 | \(x\) 是什麼 | 時間方向 |
|---|---|---|---|
| 第 1–3 講 | 資料點 | 路徑上的狀態（\(\mathbb R^d\)） | \(t=1\) 是資料 |
| 第 4 講 | latent | 資料 | \(t=1\) 是資料 |
| 第 5 講 | 資料點 | 路徑上的狀態（token 序列） | \(t=1\) 是資料 |
| CS236、多數論文 | 依各自的定義 | 常常是 \(t=0\) 是資料，第 4 講的文獻導覽有對照 | |
相關頁面
- Deep Generative Models Learning Map：這門課、CS236 和書三個資源的總入口，有主題對照表。
- CS236 複習總目錄：範圍更廣的生成模型課，第 13、14、16–18 講和這門課重疊。補充課 A–G 也在那裡，微分方程、SDE、Fokker–Planck、CTMC 看不懂時可以回去查。
- 《The Principles of Diffusion Models》中文轉述：同一批主題更完整的書。注意書的編碼器和解碼器記號相反。