密度怎麼演化：從變數變換到 Fokker–Planck

前置知識

• B33（附錄 A）：ODE 的解與存在唯一性、SDE 與 Euler–Maruyama。
• 多變數微積分：Jacobian、行列式、散度 \(\nabla\cdot\mathbf f=\sum_i\partial_i f_i\)、Laplacian \(\Delta p=\nabla\cdot\nabla p\)、散度定理。複習可以看 補充課 A（數學工具箱）。
• 同一個主題的入門版：補充課 C（連續方程）、補充課 F（Fokker–Planck 與 Langevin）。這一頁照書的順序，並附上用到這些工具的正文頁面。

「書 §」標出原文位置。灰框「轉述者補充」是書裡沒有的內容；藍框「推導」展開書中省略的步驟。本附錄 B.1.2 結尾有一段被註解掉的舊版推導，沒有收。

01為什麼要看密度怎麼動書 附錄 B 開頭

不論在機率論還是生成模型裡，理解「機率密度在變換下怎麼演化」都是基本功。特別是 diffusion model：它要建構一個生成過程，讓這個過程產生的密度路徑恰好把一個預先定義的前向過程倒過來走。支配這個演化的，在確定性的情形是連續方程（continuity equation），有隨機性時是 Fokker–Planck 方程。

名字也許陌生，但它們其實是基本微積分裡變數變換公式的連續時間類比。第 2–8 節（書 §B.1）用一串變數變換公式把它們建起來：從確定性的雙射出發，一路到隨機微分方程，自然地把離散的映射和連續時間的 flow 動態接起來。第 9–10 節（書 §B.2）給連續方程一個物理的、直觀的解釋，強調它和動態系統裡密度守恆的關係。下圖是整個統一架構的概觀。

02單一映射的變數變換書 §B.1.1

本節的想法是：用一個確定性的映射移動粒子，看它們的分佈（密度）怎麼變。關鍵原則是機率質量守恆，背後是微積分和機率論的一個基本結果，也就是變數變換公式：它描述積分（因此也包括機率密度）在光滑雙射下怎麼轉換。先看單一步更新，再推廣到一連串的變換。

單一更新

把一個向量場（類比成一個力）\(\bm\Psi:\mathbb R^D\to\mathbb R^D\) 作用一個單位時間，當成一條更新規則。從初始狀態 \(\mathbf x_0\) 出發，下一個狀態是

底下的分佈怎麼移動

如果初始狀態服從某個由密度 \(p_0\) 描述的「規律」（\(\mathbf x_0\sim p_0\)），套用 \(\bm\Psi\) 之後，\(\mathbf x_1\) 就有一個新的密度 \(p_1\)（\(\mathbf x_1\sim p_1\)）。假設 \(\bm\Psi\) 是光滑的雙射，\(p_1\) 可以用標準的變數變換公式從 \(p_0\) 得到：

這裡 \(\frac{\partial\bm\Psi}{\partial\mathbf x}\) 是 \(\bm\Psi\) 的 Jacobian 矩陣，記作 \(\partial_{\mathbf x}\bm\Psi\)。等價地，用原本的座標寫：

白話地說，\(\bm\Psi\) 把密度 \(p_0\) 重新塑形成 \(p_1\)。因子 \(|\det\partial_{\mathbf x}\bm\Psi|\) 代表局部體積的變化；機率質量守恆，所以密度要乘上它的倒數來補償：體積放大幾倍，密度就降成幾分之一。

最簡單的例子：如果 \(\bm\Psi\) 是可逆矩陣 \(\mathbf A\) 的線性映射（\(\mathbf x_1=\mathbf A\mathbf x_0\)），那麼

示意地，可以這樣讀：

03為什麼這就是變數變換公式書 §B.1.1

它直接來自微積分裡熟悉的規則。

單變數

設 \(y=\Psi(x)\) 光滑可逆。把對 \(y\) 的積分改寫成對 \(x\) 的積分：

\(|\Psi'(x)|\) 補償了區間被拉長或壓縮的量，確保面積不變。

多變數

對 \(\bm\Psi:\mathbb R^D\to\mathbb R^D\)、\(\mathbf y=\bm\Psi(\mathbf x)\)：

也就是無窮小的體積這樣轉換：

由此推出第 2 節的密度公式：

04複合多個雙射書 §B.1.1

現在依序套用好幾次更新。令 \(\mathbf x_k=\bm\Psi_k(\mathbf x_{k-1})\)，\(k=1,\dots,L\)：

每個 \(\bm\Psi_k:\mathbb R^D\to\mathbb R^D\) 都是光滑雙射。初始狀態服從 \(p_0\) 時，這串更新產生 \(\mathbf x_1,\dots,\mathbf x_L\) 的密度 \(p_1,\dots,p_L\)。每一步機率質量都守恆，所以

遞迴下去，最後的密度是

寫成 log 密度：

這個式子反映每個變換 \(\bm\Psi_k\) 怎麼拉伸或壓縮體積（由 Jacobian 行列式記錄）；沿著變換路徑把這些局部的體積變化累積起來，就決定了複合映射下的最後密度。這個式子是 normalizing flow 的核心原則（§5.1，B11）。

轉述者註：每一項 \(\det\) 都在粒子走到的那一點 \(\mathbf x_{k-1}\) 上計算，所以要知道 \(\mathbf x_L\) 處的密度，就得把粒子從 \(\mathbf x_0\) 一步步推過去，沿途記帳。這個「沿著粒子記帳」的讀法，就是第 7 節的 Lagrange 觀點。

05連續時間極限：flow map 與 pushforward書 §B.1.2

現在從離散的更新走到連續的描述。假設粒子的運動由一個隨時間變化的速度場 \(\mathbf f:\mathbb R^D\times[0,T]\to\mathbb R^D\) 驅動。想像把一個粒子 \(\mathbf x_0\sim p_0\) 經過無窮多次很小的雙射更新：每一步長 \(\Delta t>0\)，更新是

\(\Delta t\to0\) 時，這些更新的複合收斂到一個由速度場支配的連續 flow：

在適當的光滑性假設下（附錄 A，B33 第 3 節），這個 ODE 對每個初始條件都有唯一解，因此定義了一個確定性的 flow map \(\bm\Psi_{0\to t}:\mathbb R^D\to\mathbb R^D\)，把初始狀態送到 ODE 在時間 \(t\) 的解：

於是整個分佈也跟著動：初始密度 \(p_0\) 被運送成新的密度 \(p_t\)，也就是 \(\mathbf x(t)\) 的分佈。形式上寫成 pushforward（推前）：

\(\bm\Psi_{0\to t}\) 光滑可逆時，這就化成熟悉的變數變換規則：

06連續方程：密度怎麼隨時間移動書 §B.1.2

與其對每個時刻各寫一條密度公式，不如用一個關於空間 \(\mathbf x\) 和時間 \(t\) 的微分方程，描述密度怎麼連續地移動。想法很簡單：機率質量守恆，速度場 \(\mathbf f\) 只是在空間中重新分配它。這就是連續方程：

散度項 \(\nabla\cdot(p_t\mathbf f)\) 量測 flow 在局部把密度攤開或擠壓的程度，確保總機率維持 1。這個偏微分方程（PDE）保證粒子被 flow 移動時機率質量守恆；事實上，它可以看成變數變換公式的連續時間類比。

用變數變換公式推導連續方程

概念上，連續方程也可以由第 4 節多層公式的連續時間極限得到（下面的 Demo A 就是數值上的這個極限）。書在這裡用第 2 節的單步公式做一個更直接的推導。

離散化並套用變數變換。考慮

它其實就是 ODE 在一小段時間 \(\Delta t>0\) 上的前向 Euler 離散化。映射 \(\bm\Psi\) 對 \(\mathbf x_t\) 的 Jacobian 展開成

所以它的行列式滿足

這裡用了標準的展開 \(\det(\mathbf I+\Delta t\,\mathbf A)=1+\Delta t\,\mathrm{Tr}(\mathbf A)+\mathcal O(\Delta t^2)\)（\(\Delta t\to0\)），以及 \(\nabla\cdot\mathbf f=\mathrm{Tr}(\nabla_{\mathbf x}\mathbf f)\)。

套用變數變換公式，log 密度這樣演化（\(\Delta t\) 夠小時行列式是正的，絕對值可以拿掉，再用 \(\log(1+u)=u+\mathcal O(u^2)\)）：

也就是

用 Taylor 展開。把左邊用多變數 Taylor 展開（時間和空間兩個引數都動了）：

代入 \(\mathbf x_{t+\Delta t}-\mathbf x_t=\mathbf f(\mathbf x_t,t)\,\Delta t\)：

和 \((\ast)\) 比對、令 \(\Delta t\to0\)，得到

取指數並用乘積法則，就得到連續方程。

Demo A從複合映射到連續方程

一維、\(p_0=\mathcal N(0,1)\)，速度場 \(f(x)=-x+1.5\tanh(3x)+0.3\)：0 附近 \(f'>0\)，粒子往兩邊散開，最後在 \(f=0\) 的兩個穩定點附近擠成兩團；常數 0.3 讓右邊那團比較大。用四種方法算時間 \(t\) 的密度：

• 複合的映射（橙）：\(L\) 個 Euler 映射 \(x\mapsto x+\Delta t\,f(x)\)，\(\Delta t=t/L\)，用第 4 節的乘積公式算這個離散複合映射的精確密度。每個映射都是雙射的條件是 \(1+\Delta t\,f'(x)>0\)；這裡 \(f'\ge-1\)，所以 \(\Delta t\lt1\) 就夠，選單從 \(L=2\) 開始。
• Lagrange 觀點（黑）：沿著每條 ODE 軌跡用 RK4 同時積分 \(x\) 和 \(\log p\)（\(\frac{d}{dt}\log p=-f'(x)\)），得到連續時間的精確密度。
• Euler 觀點（紫點）：在固定網格上直接解連續方程 \(\partial_tp+\partial_x(pf)=0\)（有限體積法、1,200 格、二階 MUSCL 通量），完全不追蹤粒子。
• 粒子（藍色直方圖）：10,000 個樣本用 RK4 推到 \(t\)。

讀數（瀏覽器實測）：

• 複合映射收斂到連續方程。\(t=1.5\) 時，\(L=2,4,8,\dots,256\) 的 L¹ 距離依序是 0.928、0.421、0.202、0.099、0.049、0.024、0.012、0.006：\(L\) 加倍、誤差減半，是 Euler 法的一階收斂。\(L=2\) 時兩團還沒分好；\(L\) 大時橙線和黑線重合。這就是第 1 節階梯裡「② → ③」那一步。
• 兩種觀點一致。只在固定網格上解 PDE 的 Euler 觀點，和沿粒子記帳的 Lagrange 觀點，L¹ 距離在 \(t=0.5,1,1.5\) 分別是 0.0002、0.0009、0.0027（剩下的是網格離散化誤差），網格上的總質量一直是 1.000000：連續方程確實守恆。
• 粒子也對得上。10,000 個粒子的直方圖和精確密度的 L¹ 距離是 0.07–0.14，這是抽樣雜訊加上分箱寬度造成的，不會隨 \(L\) 改變。

07Lagrange 與 Euler 觀點：速度決定密度，反過來不行書 §B.1.2

同一個確定性的運輸有兩種互補的描述。Lagrange 觀點透過 flow map \(\bm\Psi_{0\to t}\) 跟著個別粒子走；Euler 觀點描述固定空間位置上的速度 \(\mathbf f(\mathbf x,t)\) 和密度 \(p_t(\mathbf x)\)。在適當的正則性下，兩種描述是一致的：給定的速度場產生一個粒子 flow，它推過去的密度滿足連續方程。

不過兩者之間有一個重要的不對稱。一旦固定了速度場和初始密度，flow 和密度的演化就完全決定；但只給一條密度路徑，一般不能唯一決定速度場或粒子 flow。

從速度到 flow 和密度

到這裡為止都假設速度場 \(\mathbf f\) 是給定的。粒子 ODE \(\frac{d\mathbf x(t)}{dt}=\mathbf f(\mathbf x(t),t)\) 描述每個粒子怎麼動；密度 PDE \(\partial_tp_t+\nabla\cdot(p_t\mathbf f_t)=0\) 描述整群粒子的分佈怎麼演化。兩者是連在一起的：照 ODE 移動粒子，自動產生一個滿足 PDE 的密度。這時粒子 flow \(\bm\Psi_{0\to t}\) 是唯一決定的：從 \(\mathbf x(0)\sim p_0\) 出發，每條軌跡 \(\mathbf x(t)\) 都固定了，得到的密度 \(p_t\) 遵循連續方程。粒子動態和密度動態完全一致。

從密度路徑到速度：不唯一

如果只從密度路徑 \(t\mapsto p_t\) 出發（例如 flow matching 裡先指定機率路徑的做法，§5.3，B13），速度場就不再唯一。例如，若向量場 \(\mathbf w_t\) 滿足

那麼 \(\mathbf f_t\) 和 \(\mathbf f_t+\mathbf w_t\) 產生同樣的密度演化。所以一條密度路徑可以對應許多不同的 flow；選定某一個粒子 flow \(\bm\Psi_{0\to t}\)，等於在這些可能性中挑一個特定的速度場。

並不是任何給定的路徑 \(p_t\) 都真的能由粒子在某個速度場下運動產生。連續方程正是判斷一條密度路徑能不能「由 flow 產生」的一致性檢查。如果存在速度場 \(\mathbf f\)，使得依 \(\frac{d\mathbf x(t)}{dt}=\mathbf f(\mathbf x(t),t)\) 運動的粒子透過 flow map \(\bm\Psi_{0\to t}\) 恰好產生密度 \(p_t\)，就說 \(p_t\) 是可實現的（realizable，或說由 \(\mathbf f\) 產生）。也就是說，當 \(p_t\) 和 \(\mathbf f\) 一起滿足連續方程時，可實現性成立。

直觀上，可實現代表 \(p_t\) 隨時間的一張張快照，可以用「粒子在某個速度場下運動」來解釋，而不是一串任意的分佈。條件成立時，密度 \(p_t\) 就只是初始密度 \(p_0\) 沿 flow map \(\bm\Psi_{0\to t}\) 的 pushforward，熟悉的變數變換公式也適用：

（選讀）加上條件變數

如果引入額外的條件變數 \(\mathbf z\sim\pi(\mathbf z)\)，同樣的推理對每個固定的 \(\mathbf z\) 都成立：

它的 pushforward 是 \(p_t(\cdot\mid\mathbf z)=\big(\bm\Psi_{0\to t}(\cdot;\mathbf z)\big)_\#p_0\)，連續方程是

邊際密度就是

Demo B同一條密度路徑，不同的 flow

二維、20,000 個粒子、\(t\in[0,1]\)。兩種密度路徑：擴張的高斯 \(p_t=\mathcal N(\mathbf 0,(0.25+t)\mathbf I)\)，對應的基本速度 \(\mathbf f_t(\mathbf x)=\mathbf x/(2(0.25+t))\)（往外均勻擴張）；靜止的雙峰，兩個高斯的混合，\(\mathbf f=\mathbf 0\)。再加上一個額外的場 \(\mathbf w_t\)：

• 沿等高線：\(\mathbf w_t=\omega\,\mathbf J\nabla\log p_t\)，滿足 \(\nabla\cdot(p_t\mathbf w_t)=0\)（上一節的補充）。
• 平移：\(\mathbf w_t=(\omega,0)\)，不滿足這個條件，當作對照。

灰色底是目標密度 \(p_t\)；橙點是用 \(\mathbf f+\mathbf w\) 推過去的粒子（畫出 2,500 個）。另外追蹤 8 個粒子：黑色虛線是只用 \(\mathbf f\) 的軌跡，橙線是用 \(\mathbf f+\mathbf w\) 的軌跡，兩者從同一點出發。

讀數（瀏覽器實測，\(t=1\)）：

• 密度一樣，路徑不一樣。沿等高線的 \(\mathbf w\) 讓同一個粒子最後的位置平均差了 1–3 個單位（擴張高斯 ω = 1 時，粒子邊往外走邊繞原點轉），但兩團粒子的直方圖距離 0.05，和「直接從 \(p_t\) 重新抽一組樣本」的抽樣雜訊 0.049（雙峰 0.040）一樣大。散度條件的數值檢查只剩有限差分的捨入誤差。
• 不滿足條件就不行。平移的 \(\mathbf w\) 讓整團粒子偏離 \(p_t\)，TV 距離隨 ω 變大。
• 靜止雙峰 ω = 2 的平均距離（1.37）比 ω = 1（1.47）小：這兩個強度下，峰附近的粒子分別繞了約 0.43 圈和 0.84 圈（角速度約 \(\omega/0.6^2\)；另外用 Node 重算，沒有粒子超過一圈）：前者快繞到對面，後者快繞回起點，所以 ω = 2 的位移反而比較小。路徑不同，但「最後在哪」的差別不一定隨 ω 單調增加。

08隨機過程：Fokker–Planck 方程書 §B.1.3

加上雜訊之後，動態遵循 SDE（§A.2.1，B33 第 8 節；正文的用法見 §4.1，B08 第 2 節）：

這時密度 \(p_t(\mathbf x)\) 滿足 Fokker–Planck 方程：

\(\Delta p_t=\nabla\cdot\nabla_{\mathbf x}p_t\) 是 Laplacian。第一個等號裡，第一項描述確定性漂移 \(\mathbf f\) 對機率質量的運輸；第二項描述隨機雜訊造成的密度擴散（攤開），強度和 \(\frac12g^2(t)\) 成正比。第二個等號把同一個密度演化改寫成連續方程，速度是

所以由這個速度驅動的確定性 ODE，在每個單一時刻的邊際密度 \(p_t\) 都和 SDE 完全相同。這就是全書一直用的 probability flow ODE（PF-ODE）。

Fokker–Planck 方程的推導比較複雜，書放在附錄 C 的 Itô 公式應用（§C.1.4，B35）。

Demo CSDE 與 PF-ODE：邊際相同，路徑不同

一維 Ornstein–Uhlenbeck 前向過程 \(dx=-x\,dt+\sqrt2\,dw\)（\(f=-x\)、\(g=\sqrt2\)），起點 \(p_0=\frac12\mathcal N(-2,0.35^2)+\frac12\mathcal N(2,0.35^2)\)。這時 \(p_t\) 是兩個高斯的混合，平均 \(\pm2e^{-t}\)、變異數 \(0.35^2e^{-2t}+1-e^{-2t}\)，score 有閉式解。比較三種動態，4,000 個粒子都從同樣的 \(x(0)\) 出發，步長 0.005：

• SDE（藍）：Euler–Maruyama。
• PF-ODE（橙）：\(\frac{dx}{dt}=-x-\nabla_x\log p_t(x)\)（\(\frac12g^2=1\)），Heun 法。
• 拿掉 score 項的 ODE（紅色虛線）：只有 \(\frac{dx}{dt}=-x\)，當作反例。

讀數（瀏覽器實測）：

• 邊際相同。SDE 和 PF-ODE 和精確 \(p_t\) 的 KS 距離都在 0.012–0.018，是 4,000 個樣本的抽樣雜訊量級（約 \(1.36/\sqrt{4000}\approx0.02\)）。拿掉 score 項的 ODE 差了 0.07–0.35：它只把每個粒子往 0 拉，沒有把質量攤開，兩個峰一直很窄。少了 \(-\frac12g^2\nabla\log p_t\) 這一項，擴散的效果就不見了。
• 耦合不同。PF-ODE 是一維的 flow，軌跡不相交（B33 第 4 節），粒子的排序永遠不變，所以 \(x(0)\) 和 \(x(t)\) 的等級相關恆為 1；SDE 的排序被雜訊打亂，相關隨時間下降到 0.26。
• 路徑事件不同。這個 \(p_t\) 左右對稱，所以 PF-ODE 在 0 的速度是 0，粒子永遠不會越過 0；SDE 到 \(t=2\) 時有 77% 的粒子至少換過一次邊。
• 給定現在，未來是否隨機。從同一個 \(x(0)=1.5\) 出發，PF-ODE 只有一條路徑；SDE 跑 4,000 次的變異數接近 OU 的精確值 \(1-e^{-2t}\)（剩下的差距是 4,000 個樣本的抽樣誤差加上離散化）。

09物理直覺：小盒子裡的守恆書 §B.2.1

這一節給連續方程一個物理解釋，強調它在動態系統裡扮演機率密度守恆律的角色。

考慮三維空間中一個固定的小控制體積：一個長方體盒子，一個角在 \(\mathbf x=(x,y,z)\)，邊長 \(\Delta x\)、\(\Delta y\)、\(\Delta z\)。令 \(p(\mathbf x,t)\) 是某個守恆量（例如質量或機率）在位置 \(\mathbf x\)、時間 \(t\) 的密度。盒子夠小時，盒子裡的總量大約是

總量怎麼改變

總量的改變只能來自穿過盒子邊界的通量。令 \(\mathbf j(\mathbf x,t)\) 是通量向量，代表單位時間內穿過單位面積的量。

\(x\) 方向的通量

穿過左面（位於 \(x\)）的流入量大約是 \(j_x(x,y,z,t)\,\Delta y\,\Delta z\)，穿過右面（位於 \(x+\Delta x\)）的流出量是 \(j_x(x+\Delta x,y,z,t)\,\Delta y\,\Delta z\)。所以 \(x\) 方向的淨流入是

所有方向的淨通量

\(y\)、\(z\) 方向也有類似的項：

全部加起來，盒子的總淨流入是

等價地，總淨流出是 \(\nabla\cdot\mathbf j(\mathbf x,t)\,\Delta x\,\Delta y\,\Delta z\)。

盒子裡的變化率與守恆原理

盒子裡總量的變化率是 \(\frac{\partial p}{\partial t}(\mathbf x,t)\,\Delta x\,\Delta y\,\Delta z\)。假設這個量守恆（例如總質量或總機率不隨時間改變），變化率就等於負的淨流出：

消去共同的體積因子、取盒子趨近於 0 的極限，得到連續方程的局部形式：

它的解讀很簡單：若 \(\nabla\cdot\mathbf j(\mathbf x,t)\gt0\)，從小盒子流出的比流進的多，裡面的密度下降；若 \(\nabla\cdot\mathbf j(\mathbf x,t)\lt0\)，流進的比流出的多，密度上升。

10從守恆律推導連續方程書 §B.2.2

上面的小盒子論證給的是局部的直覺。現在把同一個守恆原理寫成不依賴座標的形式，用在任意形狀的控制體積上。

連續方程把一個物理量（例如質量或電荷）在動態系統中的守恆形式化。令 \(p(\mathbf x,t)\) 是守恆量在 \(\mathbf x\in\mathbb R^D\)、時間 \(t\in[0,T]\) 的密度，\(\mathbf v(\mathbf x,t)\) 是速度場。當這個量由以速度 \(\mathbf v(\mathbf x,t)\) 移動的粒子攜帶時，通量是

1. 控制體積裡的變化率。考慮任意控制體積 \(V\subset\mathbb R^D\)，邊界是 \(\partial V\)。\(V\) 裡守恆量的總量是 \(\int_Vp(\mathbf x,t)\,dV\)，它的時間微分 \(\frac{\partial}{\partial t}\int_Vp(\mathbf x,t)\,dV\) 就是累積的速率。
2. 穿過邊界的淨通量。守恆量穿過 \(\partial V\) 離開 \(V\)，外法向量是 \(\mathbf n\)。淨向外通量是 $$\int_{\partial V}p(\mathbf x,t)\,\mathbf v(\mathbf x,t)\cdot\mathbf n\,dS.$$
3. 守恆原理。守恆代表 \(V\) 裡的累積速率等於負的淨向外通量： $$\frac{\partial}{\partial t}\int_Vp\,dV+\int_{\partial V}p\,\mathbf v\cdot\mathbf n\,dS=0.$$
4. 散度定理。用散度定理把面積分換成體積分：\(\int_{\partial V}p\,\mathbf v\cdot\mathbf n\,dS=\int_V\nabla\cdot(p\mathbf v)\,dV\)。因此 $$\int_V\left(\frac{\partial p}{\partial t}+\nabla\cdot(p\mathbf v)\right)dV=0.$$

控制體積 \(V\) 是任意的，所以被積函數必須逐點為 0，這就得到連續方程

用 \(\mathbf j=p\mathbf v\) 寫就是 \(\frac{\partial p}{\partial t}+\nabla\cdot\mathbf j=0\)。

粒子層級的直覺

把散度項展開：

前兩項正是沿著一個移動粒子的密度的全微分：

因此

這提供另一個有用的解讀：附近的粒子彼此散開（\(\nabla\cdot\mathbf v\gt0\)）時密度下降，彼此靠攏（\(\nabla\cdot\mathbf v\lt0\)）時密度上升。所以速度場告訴我們個別粒子怎麼動，連續方程告訴我們整個密度怎麼演化。

轉述者註：兩邊除以 \(p\) 就是第 6 節 \((\ast)\) 的連續版 \(\frac{d}{dt}\log p(\mathbf x_t,t)=-\nabla\cdot\mathbf v\)。一條從「變數變換」出發、一條從「守恆律」出發，最後落在同一個式子上。

11（選讀）Wasserstein gradient flow：分佈層級的訓練書 §B.3

現在先離開 diffusion 專屬的動態，用分佈層級的觀點看更廣的深度生成模型。我們已經知道，連續方程描述粒子移動時機率分佈怎麼移動。同一套語言也可以用來理解深度生成模型的訓練：訓練演算法更新模型參數，更新後的生成器移動了它生成的粒子，而這些粒子的移動改變了模型分佈 \(p_{\bm\phi}\)。

從這個角度，不同的生成模型方法可以依「怎麼把模型分佈 \(p_{\bm\phi}\) 推向資料分佈 \(p_{\text{data}}\)」來整理。Wasserstein gradient flow 是描述這個移動的一種特別乾淨的方式：它把訓練看成分佈空間中一個理想化的機率質量流動，再用有限維的神經網路更新去近似它。

一個神經生成器 \(\mathbf G_{\bm\phi}\) 同時定義了一個函數和一個機率分佈。若

生成的分佈就是 pushforward \(p_{\bm\phi}:=(\mathbf G_{\bm\phi})_\#p_{\text{prior}}\)。從生成模型的角度，我們最終在意的是 \(p_{\bm\phi}\) 怎麼接近資料分佈 \(p_{\text{data}}\)。這引出一個分佈層級的問題：

在這一節裡，\(\tau\) 代表訓練時間：離散訓練迭代次數的理想化連續時間版本。不要和 diffusion 的加噪時間搞混。\(\bm\phi_\tau\) 是訓練時間 \(\tau\) 的參數，\(p_{\bm\phi_\tau}\) 是對應的模型分佈。

移動粒子來移動模型分佈

先描述一個理想的分佈層級演化，暫時不考慮神經生成器的有限維參數化。假設目前模型分佈的粒子依一個訓練時間的速度場 \(\mathbf w_\tau\) 移動：

那麼模型分佈遵循連續方程

\(\mathbf w_\tau\) 描述每個生成的粒子怎麼動，連續方程描述整個生成分佈怎麼動。（書的註腳：這個速度不要和 diffusion 時間的 PF-ODE 速度 \(\mathbf v^*(\mathbf x,t)\) 搞混；\(t\) 或 \(s\) 是加噪／去噪時間，\(\tau\) 是模型分佈在訓練中的演化時間。）

選速度：分佈空間裡的梯度下降

現在要選一個把 \(p_{\bm\phi_\tau}\) 推向 \(p_{\text{data}}\) 的速度場 \(\mathbf w_\tau\)。令 \(\mathcal D(p_{\bm\phi_\tau},p_{\text{data}})\) 是目前模型分佈和資料分佈之間的某種差異。Wasserstein gradient flow（Jordan, Kinderlehrer & Otto 1998；Ambrosio et al. 2005）選的是：在「移動機率質量」的幾何下，最直接降低這個差異的粒子速度。

要選速度場，先問：目前的分佈被無窮小地擾動時，差異怎麼改變？把 \(\mathcal D(p,p_{\text{data}})\) 想成分佈 \(p\) 的一個整體能量，它的一階變分給出一個逐點的能量位勢：告訴我們空間中哪些區域對目前的分佈是「昂貴」的、哪些是「有利」的。

具體地，對一個小擾動 \(p+\epsilon h\)，其中 \(\epsilon\gt0\) 很小、\(\int h(\mathbf x)\,d\mathbf x=0\)，一階變分的定義是

這裡 \(p\) 是一個虛擬的分佈變數；算完變分之後，在目前的模型分佈 \(p=p_{\bm\phi_\tau}\) 取值。由此定義逐點的能量位勢

直觀上，\(E_\tau(\mathbf x)\) 大，代表在 \(\mathbf x\) 附近多放一些機率質量會讓差異增加；\(E_\tau(\mathbf x)\) 小，代表把質量往 \(\mathbf x\) 移是有利的。所以 Wasserstein gradient flow 的速度讓粒子沿這個位勢往下坡走：

用這個選擇，

因此 Wasserstein gradient flow 就是機率分佈的 2-Wasserstein 幾何中的梯度下降。（書的註腳：這個理想的分佈空間動態不要和神經參數 \(\bm\phi\) 的一般梯度下降混為一談；後者受限於有限維的生成器族，一般只能近似實現想要的粒子運動。）整體差異 \(\mathcal D\) 定義了整個分佈的能量，一階變分 \(E_\tau\) 定義了粒子看到的局部能量地形，\(-\nabla_{\mathbf x}E_\tau\) 給出降低差異的理想粒子速度。

用神經網路實現這個分佈層級的速度

上面的速度是分佈層級的東西：它說生成的粒子應該怎麼動。但神經生成器不能獨立地移動每個粒子，它只能透過一個共用的參數更新 \(\bm\phi\) 來移動粒子。

在訓練時間 \(\tau\)，目前的生成器產生粒子

一小步 Wasserstein 步把這些粒子移到 \(\widetilde{\mathbf x}_i=\mathbf x_i+\eta\,\mathbf w_\tau(\mathbf x_i)\)，\(\eta\gt0\) 是小步長。然後更新神經網路，讓它的新輸出對上這些移過的粒子：

\(\mathrm{sg}(\cdot)\) 是 stop-gradient，所以移過的粒子被當成固定的目標。對小的參數更新 \(\Delta\bm\phi\)，有線性化

因此參數更新近似地解

白話地說，Wasserstein gradient flow 指定想要的分佈層級粒子運動，神經網路訓練則把這個運動投影到「改變有限維參數 \(\bm\phi\) 能實現的運動」所構成的集合上。

12Forward KL：資料端的 likelihood 學習書 §B.3

一個經典的分佈層級目標是資料端（forward）的 KL divergence：

\(p_{\text{data}}\) 固定，所以最小化它等價於最大概似（§1.1.1，B01 第 2 節）：

這是許多 likelihood-based 模型背後的分佈層級觀點：autoregressive 模型和 normalizing flow 最佳化精確的 likelihood；likelihood-based 的 VAE 最佳化變分下界；energy-based model 透過正相和負相最佳化 likelihood；diffusion model 則可以透過它的變分和去噪目標，連到 likelihood 或 score matching 的替代目標。

從 Wasserstein gradient flow 的角度，forward KL 的一階變分是

在 \(p=p_{\bm\phi_\tau}\) 取值，得到速度

這個式子牽涉到密度比 \(p_{\text{data}}/p_{\bm\phi_\tau}\)，對隱式生成器（只能抽樣、不能算密度）通常很難估計。實務上，forward KL 或最大概似訓練在 likelihood、變分下界、或 likelihood 梯度的合適近似可用時最直接。Score matching 則提供另一條學分佈的路：它匹配 score 函數，而不是直接實現 forward KL 的 Wasserstein flow。

Forward KL 訓練的主要優點是：在有 likelihood 或變分替代目標可用時，它涵蓋資料（data-covering），統計基礎扎實。它的限制是常常需要可算的密度、變分下界、score matching 替代目標，或昂貴的負樣本抽樣，因此和任意的隱式生成器不那麼直接相容。

13Reverse KL：模型端的 score 不匹配動態書 §B.3

模型端（reverse）的 KL divergence 是

它的一階變分是

在 \(p=p_{\bm\phi_\tau}\) 取值，得到 Wasserstein 速度

因此 reverse KL 訓練產生一個 score 不匹配的力：目標 score 減模型 score。目標 score 把生成的粒子吸引到資料分佈的高密度區；模型 score 則把粒子從「目前模型分佈已經太集中」的區域推開。

在 diffusion distillation 和分佈匹配（§10.2，B28 第 4 節）裡，這個想法通常在某個雜訊等級 \(s\) 上使用。令 \(p_s\) 是老師的（或加噪資料的）分佈，\(p_{\bm\phi_\tau,s}\) 是目前生成器樣本加噪後的分佈。reverse KL 目標

產生 score 不匹配的速度

在參數層級，對生成的加噪樣本 \(\hat{\mathbf x}_s\sim p_{\bm\phi_\tau,s}\)，得到這種形式的梯度：

因此，score 的差 \(\nabla_{\mathbf x}\log p_s(\hat{\mathbf x}_s)-\nabla_{\mathbf x}\log p_{\bm\phi_\tau,s}(\hat{\mathbf x}_s)\) 提供了驅動參數梯度的分佈層級下降方向。個別樣本的實際移動則經由共用的神經參數化來中介，如第 11 節所述。這個 score 差的梯度，是 DMD、VSD 等以 reverse KL 為基礎的方法背後的基本分佈層級機制：在生成的樣本上估計目標 score 和模型 score，用它們的差更新生成器。

Reverse KL 訓練的主要優點是：只要相關的 score 能估計，它天生就和隱式生成器相容。它也是 mode-seeking（追逐峰）的，可以改善一步或少步生成的視覺品質。它的限制是可能丟掉某些峰（mode dropping），強烈依賴 score 估計的品質，而且可能需要一個額外的模型 score 網路，或一個強的老師。

同樣的「吸引–排斥」解讀也出現在 drifting 類型的粒子更新裡（Weber et al. 2023；Deng et al. 2026）。用 Lai et al. (2026) 的術語，DMD／VSD／SiD 是這個 score 不匹配動態的參數化、以 score 為基礎的實例，而 drifting 類型的方法是非參數、以 kernel 為基礎的實例。

Demo D用一個生成器實現 Wasserstein gradient flow

資料 \(p_{\text{data}}=\frac12\mathcal N(-2,0.5^2)+\frac12\mathcal N(2,0.5^2)\)。生成器只有兩個參數：\(x=b+a\,z\)、\(z\sim\mathcal N(0,1)\)，所以 \(p_{\bm\phi}=\mathcal N(b,a^2)\)，一個高斯不可能同時蓋住兩個峰。每一步照第 11 節的做法：算出理想的粒子速度 \(\mathbf w\)（forward KL 用 \(\nabla(p_{\text{data}}/p_{\bm\phi})\)，reverse KL 用 score 差），再用最小平方把它投影到生成器能做到的運動 \(\Delta b+\Delta a\,z\) 上（期望值用 6,001 點的數值積分算，沒有抽樣雜訊）。\(\eta=0.05\)，400 步，起點 \(a=0.6\)。

• 上圖：資料密度（黑）、起點（灰虛線）、第 \(k\) 步的 \(p_{\bm\phi}\)（藍）。
• 中圖：第 \(k\) 步在 \(p_{\bm\phi}\) 主要範圍（\(b\pm2.5a\)）內，理想的粒子速度 \(\mathbf w(x)\)（橙）和生成器實際能做到的運動（藍虛線，一條直線）。
• 下圖：被最小化的 KL 隨訓練步數 \(k\) 的變化（兩軸都是對數軸，前幾步的快速下降和後面的慢尾巴都看得到）。

讀數（瀏覽器實測，400 步後）：

• Forward KL 涵蓋資料。不管從哪裡出發，都收斂到 \(b=0\)、\(a=\sqrt{2^2+0.5^2}\approx2.062\)：一個罩住兩個峰的寬高斯。這正是「高斯族裡的最大概似 = 動差匹配」。起點的速度圖裡，橙線在 \(p_{\bm\phi}\) 的兩側邊緣很陡：比值 \(p_{\text{data}}/p_{\bm\phi}\) 在那裡很大，粒子被強力往外拉，所以 \(a\) 先快速變大。
• Reverse KL 追逐峰。從 \(b_0=\pm0.7\) 出發，收斂到某一個峰，\((b,a)=(\pm2,0.5)\)，reverse KL 恰好是 \(\log2\approx0.693\)（模型完全貼合一半的資料）；它對另一個峰完全不在乎，所以 forward KL 高達 15.28，這就是 mode dropping。
• Reverse KL 有多個局部最小值。從 0 或 0.3 出發，卻停在 \((0,1.736)\) 這個罩住中間的寬高斯，reverse KL 1.871，比 \(\log2\) 差。數值上沿 \(b\) 掃過去（每個 \(b\) 取最好的 \(a\)），reverse KL 從 \(b=0\) 的 1.871 先上升到 \(b=1\) 的 1.937，再降到峰上的 0.693：這是一個真的局部最小值，不只是對稱造成的鞍點。結局取決於初始化。
• 投影的意思。橙線（理想的粒子速度）是彎的：不同位置的粒子想往不同方向走。生成器只能做「整體平移加上整體縮放」，所以只能取一條直線（藍虛線），也就是橙線在 \(p_{\bm\phi}\) 加權下的最小平方直線。在這兩個 KL 下，被最小化的 KL 都單調下降，和第 11 節「投影是預條件的梯度下降」一致。
• 收斂時，理想速度不一定是 0。Forward KL 走到 400 步時，橙線仍然上下起伏（粒子還想往兩個峰集中），但它的最小平方直線已經幾乎是 0（起點 \(b_0=\pm0.7\) 時 \(\Delta b\) 只剩約 0.001）：生成器族裡沒有任何「平移加縮放」能再降低差異。參數停下來，是因為理想運動在可行運動上的投影變成 0，不是因為分佈已經等於資料。這就是第 11 節書的註腳說的「一般只能近似實現想要的粒子運動」。

14結語書 §B.3

總結來說，連續方程提供了 diffusion 動態和分佈層級訓練背後共同的語言。在 diffusion model 裡，它描述中間分佈 \(p_t\) 怎麼沿著指定的加噪或 probability flow 動態演化。在 Wasserstein gradient flow 裡，同一個方程描述模型分佈 \(p_{\bm\phi_\tau}\) 在訓練中怎麼演化，生成的粒子怎麼移向資料分佈 \(p_{\text{data}}\)。

這個觀點因此把連續方程的角色擴展到 diffusion model 之外。它讓我們把生成建模理解成分佈動態的設計：不同的方法選擇不同的差異、不同的粒子速度、不同的參數更新，把 \(p_{\bm\phi}\) 推向 \(p_{\text{data}}\)。從這個角度，diffusion model、likelihood-based 模型、分佈匹配方法、以 score 不匹配為基礎的方法，都可以放進一個共同的分佈層級分類裡看。

與 CS236 的對照

常見誤解

自我測驗