取樣就是數值積分：在最少的模型呼叫內，把 PF-ODE 積分得夠準

前置知識

• B08、B09：PF-ODE \(\frac{d\mathbf x}{dt}=\mathbf f(\mathbf x,t)-\frac12g^2(t)\nabla\log p_t\)，以及 flow map \(\bm\Psi_{s\to t}\)。
• B16：score、\(\bm\epsilon\)、\(\mathbf x\)、\(\mathbf v\) 四種預測的換算，例如 \(\bm\epsilon^*=-\sigma_t\nabla\log p_t\)。
• Euler 法、Runge–Kutta、局部誤差與階數：補充課 B。書的附錄 A 會在 B33 轉述；這一頁需要的部分放在第 2 節的補充框。

「書 §」標出原文位置。灰框「轉述者補充」是書裡沒有的內容；藍框「推導」展開書中省略的步驟。

01第 9 章：怎麼生成得快書 第 9 章開頭

diffusion model 把雜訊映到資料樣本的生成過程，可以寫成反向時間的 SDE 或對應的 PF-ODE。這個程序本質上很慢，因為它依賴用很多小積分步逼近解軌跡的數值解法（書的附錄 A 有簡短介紹）。加速推論因此成了核心的研究目標。大致上，現有方法分成兩類：

• Training-free 方法：這一章的重點。發展更先進的數值解法，在不額外訓練的情況下提高取樣效率。
• Training-based 方法：第 10、11 章。把預訓練的 diffusion model 蒸餾成快速的生成器，或直接學 ODE 的 flow map（解），只需要少數幾步取樣。

基於 SDE 的取樣器（例如 Euler–Maruyama）因為有隨機性，可能產生更多樣的樣本，但通常需要更多步（Xu et al. 2023）。這一章專注在基於 ODE 的生成，它的原則可以自然地延伸到 SDE 的情形。

02取樣就是數值積分書 §9.1.1

Score SDE 框架（Song et al. 2020）建立了一個關鍵的基礎：把離散時間的 diffusion model 和基於 ELBO 的表述（Sohl-Dickstein et al. 2015；Ho et al. 2020），連到連續時間的 SDE／ODE 生成模型。這個連結給了一種乾淨的思考方式：diffusion model 訓練好之後，生成就是從雜訊往資料解一條學出來的微分方程。

實務上的困難是速度。一個天真的取樣器用很多小數值步追蹤這條反向軌跡，常常需要幾百到幾千次神經網路計算。快速取樣問的是：能不能用少得多的模型呼叫，近似同一個生成過程？

這一章專注在 training-free 的加速：預訓練的 diffusion model 固定不動，我們設計更好的數值解法來取樣。蒸餾、直接少步訓練之類 training-based 的加速方法，在第 10、11 章討論。所以這一章的主要訊息很簡單：

文獻裡有很多有名字的 diffusion 取樣器，讓這個主題看起來比實際上零碎。這一章先介紹它們背後少數幾個數值想法，之後才把熟悉的方法名稱掛上去。這樣的組織讓人看清：這些取樣器不是互不相關的技巧，而是逼近同一條 PF-ODE 軌跡的不同方式。

取樣就是解 empirical PF-ODE

假設有一個預訓練的 diffusion model \(\mathbf s_{\bm\phi^\times}(\mathbf x,t)\approx\nabla_{\mathbf x}\log p_t(\mathbf x)\)，或等價地用其他標準參數化之一表示（B16）。Empirical PF-ODE 用這個學到的模型代替真正的 score：

從 \(\mathbf x(T)\sim p_{\text{prior}}\) 出發，生成就是把這條 ODE 從 \(t=T\) 倒著積分到 \(t=0\)。對兩個時刻 \(s>t\)，精確的 empirical 更新可以寫成積分形式：

這裡 \(\widetilde{\bm\Psi}_{s\to t}\) 是 empirical PF-ODE 的 flow map：把 oracle score 換成學到的模型得到的。和全書一樣，flow map 是古典意義的 ODE 解映射（B09）。對應的 oracle flow map 記作 \(\bm\Psi_{s\to t}\)。empirical flow map 是要近似 oracle 的：\(\widetilde{\bm\Psi}_{s\to t}(\mathbf x_s)\approx\bm\Psi_{s\to t}(\mathbf x_s)\)。

因為這個積分一般沒有閉式，數值取樣器把反向區間離散成一個遞減的格點

從 \(\tilde{\mathbf x}_{t_0}=\mathbf x_T\sim p_{\text{prior}}\) 出發，產生序列 \(\tilde{\mathbf x}_{t_0},\tilde{\mathbf x}_{t_1},\dots,\tilde{\mathbf x}_{t_M}\)，其中 \(\tilde{\mathbf x}_{t_i}\) 近似 \(\widetilde{\bm\Psi}_{T\to t_i}(\mathbf x_T)\)。最後一個 \(\tilde{\mathbf x}_{t_M}\) 就是生成的樣本。所以這一章每個 training-free 解法都在回答同一個問題：

解法設計的三個獨立選擇

引入遞減的時間格點之後，可以分清三個在 diffusion 取樣裡常常纏在一起的選擇：

1. 預測的參數化。預訓練的 diffusion model 提供哪個量：score \(\mathbf s_{\bm\phi^\times}\)、雜訊 \(\bm\epsilon_{\bm\phi^\times}\)、乾淨資料 \(\mathbf x_{\bm\phi^\times}\)，還是速度 \(\mathbf v_{\bm\phi^\times}\)？
2. 時間的參數化。用哪個變數來參數化沿著同一條連續軌跡的進度？原本的 diffusion 時間 \(t\) 是一個選擇；其他的重新參數化之後在用得到時再介紹（例如 B26 的 log-SNR）。
3. 數值近似。解法在一個有限區間內怎麼近似那個未知的、依賴模型的量？可以只用目前的計算、在這一步內多做幾次計算，或重用前幾步的計算。

這個區分貫穿整章。前兩個選擇決定交給解法的數值形式，第三個決定解法怎麼使用手上的模型計算。

解法怎麼使用模型計算

組織數值解法的一個好方法，是問下一步更新的資訊從哪裡來。從目前的狀態出發，解法可以在這一步之內取得額外的資訊，也可以重用前幾步的資訊。

• Single-step 方法只用目前的狀態和同一個時間區間內產生的計算，建出下一個狀態。Euler 法是最簡單的例子，只用目前的速度。更高階的 Runge–Kutta（RK）方法可能先在一個或多個中間狀態算速度，再完成這一步。所以「single-step」不是「一次函數計算」，而是不需要先前已完成的步驟的資訊。
• Multistep 方法重用先前已完成步驟的資訊。存下來的模型計算告訴我們動態最近怎麼變化，讓我們不必在這一步內多做幾次計算就能得到高階更新。Adams–Bashforth（AB）家族是代表性的古典例子。
• 改變時間上的排程。不嚴格依序計算所有時間點，而是先在好幾個時刻初始化狀態，再反覆修正，直到它們和 ODE 一致。這種不動點迭代讓不同時間點的模型計算可以平行進行。

計算成本與實際表現

一個數值時間步不一定對應一次神經網路計算。Euler 每步用一次，高階 RK 可能要好幾次；multistep 方法則重用存下的計算，初始化之後通常每步只要一次新的計算。所以取樣成本用函數計算次數（NFE, number of function evaluations）來衡量：如果一個方法每步大約用 \(m\) 次模型計算、走 \(M\) 步，

例如 classifier-free guidance（B21）每步同時需要條件和無條件的模型預測，所以每步的神經網路計算成本大約加倍。

這個古典分類告訴我們數值資訊從哪裡來、要花多少模型計算。diffusion PF-ODE 還多提供一個機會：向量場的每一部分並非同樣未知。依預測的參數化，動態的一部分由雜訊時程解析地決定，只有剩下的量需要神經網路計算。接下來看暴露這個分離怎麼改變 PF-ODE 的數值形式，以及它怎麼啟發 diffusion 專用的積分器。

03不直接預測 score，以及同一條 PF-ODE 的兩種寫法書 §9.1.2 I–II

附錄 A 的古典數值方法透過向量場的計算處理一般的 ODE。diffusion PF-ODE 多了結構：雜訊時程是解析已知的，diffusion model 的預測則由神經網路提供。這帶來一個機會：解法不必用同樣的方式數值近似動態的每一部分，可以把已知的、依賴時程的項保留成解析的，只近似依賴模型的預測。這個結構暴露得多清楚，取決於預測的參數化。

I. score 以外的參數化

PF-ODE 雖然可以用 score 寫，現代的實作常用雜訊、乾淨資料或速度預測。這些參數化在代數上相連，但暴露出不同的數值結構。

還有一個重要的穩定性理由，讓很多解法避免直接預測 score。\(t\to0\) 時，真正的 score \(\nabla_{\mathbf x}\log p_t(\cdot)\) 可能變化得非常劇烈，特別是資料分佈集中在一個低維流形附近時（Kim et al. 2022）。這讓一個直接學 score 的神經網路很難在小雜訊等級保持準確。書的腳註把這個尺度說得很具體：

其中 \(\bm\epsilon^*(\mathbf x_t,t)=\mathbb E[\bm\epsilon\mid\mathbf x_t]=-\sigma_t\nabla_{\mathbf x}\log p_t(\mathbf x_t)\) 是 oracle 雜訊預測器，\(D\) 是資料維度。oracle 雜訊預測器的期望平方範數有一致的上界；score 則要乘上 \(1/\sigma_t\)，\(\sigma_t\) 變小時尺度越來越差。這讓直接的 score 參數化在小雜訊時數值上比較不利。

因此一個廣泛使用的替代，是預測雜訊 \(\bm\epsilon_{\bm\phi^\times}\)，或乾淨資料、速度之類相關的目標。雜訊預測下，score 的近似是

這些參數化在代數上相連，但神經網路提供哪個量，只是解法設計的一部分。接著看同一條 PF-ODE 在這些參數化下的數值樣子。

Demo Ascore 和 ε 的大小轉述者補充

一維資料（\(D=1\)），DDPM 式 VP 時程（\(\beta(t)=0.1+19.9t\)）。對每個 \(t\)，用數值積分算出 \(\mathbb E\|\bm\epsilon^*\|^2\) 和 \(\mathbb E\|\mathbf s^*\|^2\)（對 \(p_t\) 取期望，score 精確），畫在對數座標上，對照腳註的兩個上界 \(D=1\) 和 \(D/\sigma_t^2\)。

瀏覽器實測：

每格是 \(\mathbb E\|\bm\epsilon^*\|^2\) / \(\mathbb E\|\mathbf s^*\|^2\)。\(\bm\epsilon^*\) 的期望平方範數在所有情形、所有時刻都不超過 \(D=1\)；score 的則取決於資料相對於雜訊有多窄。資料很窄時（像集中在低維流形上的影像），\(t=0.002\) 的 \(\mathbb E\|\mathbf s^*\|^2\) 到了 1,560，大約是 \(1/(\sigma_t^2+0.02^2)\)：網路要在從 1 到上千的尺度範圍內都輸出準確的 score。資料寬時 score 一直不大（0.55），上界 \(D/\sigma_t^2\) 這時很鬆。注意 \(\bm\epsilon^*\) 在小雜訊時可能趨近 0，這並不矛盾：腳註給的是上界。資料比雜訊寬很多時，從 \(\mathbf x_t\) 幾乎讀不出雜訊是多少，最好的猜測就是接近 0（標準差 1、\(t=0.002\) 時 0.000）；資料很窄時，\(\mathbf x_t\) 幾乎直接透露雜訊，\(\bm\epsilon^*\) 接近真正的 \(\bm\epsilon\)，期望平方範數接近上界 1（標準差 0.02、\(t=0.01\) 時 0.833）。

04半線性 PF-ODE 的指數積分器書 §9.1.2 II–III

II. 同一條 PF-ODE，兩種數值形式

選好預測的參數化之後，同一條 PF-ODE 可以用兩種特別有用的形式交給數值解法。

直接速度形式。最直接的表示是

在 \(\mathbf v\)-預測下，模型直接提供完整的 empirical PF-ODE 速度 \(\mathbf v_{\bm\phi^\times}(\mathbf x(t),t)\)，數值積分方法因此把整個右手邊當成一體來離散。

分解的半線性形式。score、雜訊、乾淨資料預測天然地暴露更多依賴時程的結構。三種情形下，PF-ODE 都可以寫成一般的半線性（semilinear）形式：

\(a(t)\)、\(b(t)\) 是由雜訊時程決定的已知函數，\(\mathbf N_{\bm\phi^\times}\) 是神經預測。（書的腳註：在標準的半線性記號裡，\(b(t)\mathbf N_{\bm\phi^\times}\) 可以合成一個非線性項。書把兩個因子分開，是因為 \(b(t)\) 從雜訊時程解析已知，而 \(\mathbf N_{\bm\phi^\times}\) 要神經網路計算；這讓解法可以在積分裡只近似神經預測，同時保留並解析地積分已知的係數。）「半線性」指的就是這個分解：第一項對狀態 \(\mathbf x(t)\) 是線性的，神經項則可能非線性地依賴 \(\mathbf x(t)\)。這個分法不唯一，但數值上特別有用，因為已知的線性部分常常可以解析處理，只剩神經的貢獻要數值近似。

三種標準的半線性參數化對應的 \(a(t)\)、\(b(t)\)、\(\mathbf N_{\bm\phi^\times}\) 如下表。（書的腳註：之後各節會在 SDE 係數 \((f(t),g(t))\) 和高斯擾動核之間切換，兩者的關係是 \(f(t)=\alpha_t'/\alpha_t\)、\(g^2(t)=\frac{d}{dt}(\sigma_t^2)-2\frac{\alpha_t'}{\alpha_t}\sigma_t^2=2\sigma_t\sigma_t'-2\frac{\alpha_t'}{\alpha_t}\sigma_t^2\)。）

例如在雜訊預測下，

神經預測前面的係數完全由雜訊時程決定，第二項裡唯一學到的量是 \(\bm\epsilon_{\bm\phi^\times}(\mathbf x(t),t)\)。

在 oracle 層級，score、雜訊、乾淨資料、速度預測是同一條 PF-ODE 完全等價的表示。對 empirical 模型，如果不同的預測參數化是從同一個模型輸出經過精確的代數換算得到的（B16），同樣的等價也成立：同一條 empirical PF-ODE 可以用任何一種預測表示，公式看起來不同是因為暴露了不同的數值結構，但描述的是同一個學到的連續動態。可是如果為不同的預測目標各自獨立訓練網路，它們的 empirical PF-ODE 不必完全一致；這時取樣器之間的差異可能同時反映模型近似和數值離散化。

III. 半線性 PF-ODE 的指數積分器

分解的半線性形式把解析已知的線性動態和依賴模型的預測分開。對 \(s>t\)，定義積分因子

變數常數變易公式（variation of constants）給出 empirical PF-ODE 的精確 flow：

例如在雜訊預測下，\(a(t)=f(t)\)、\(b(t)=\frac12g^2(t)/\sigma_t\)、\(\mathbf N_{\bm\phi^\times}=\bm\epsilon_{\bm\phi^\times}\)，所以

數值上的機會現在很清楚：積分因子和係數 \(b(\tau)\) 由 diffusion 時程決定，積分裡唯一未知的量是沿著軌跡算的神經預測。把這些已知的因子明確保留下來，就能讓一階近似只作用在神經預測上，而不是把係數加權的乘積 \(b(\tau)\mathbf N_{\bm\phi^\times}(\mathbf x_\tau,\tau)\) 當成一個未知的殘差一起近似。

為什麼分解的指數積分器形式有幫助

和一般的 Euler 比較：從一個精確的 empirical PF-ODE 狀態 \(\mathbf x_s\) 往回走一步到 \(t\lt s\)。定義 \(\Delta s:=s-t>0\)、\(\mathbf N_s:=\mathbf N_{\bm\phi^\times}(\mathbf x_s,s)\)。

一般的 Euler 把整個 PF-ODE 速度當成局部常數：在 \(\tau\in[t,s]\) 上 \(a(\tau)\mathbf x_\tau+b(\tau)\mathbf N_{\bm\phi^\times}(\mathbf x_\tau,\tau)\approx a(s)\mathbf x_s+b(s)\mathbf N_s\)，得到

另一種做法是只把神經預測固定成 \(\mathbf N_{\bm\phi^\times}(\mathbf x_\tau,\tau)\approx\mathbf N_s\)，同時保留精確解裡已知的時程依賴。這給出一階的分解式指數積分器更新：

（書的腳註：這個更新在原本的狀態和時間變數下不是一般的 Euler。把狀態做積分因子變換，並在得到的時間座標單調的區間上做對應的時間重新參數化之後，它可以寫成一個普通的顯式 Euler 步。書在 DDIM 一節（B25）把這個連結具體化。）

兩種方法每步都用一次神經網路計算。一般 Euler 凍結整個 PF-ODE 速度，分解式更新保留已知的時程依賴、只凍結神經預測。這個分解很重要：如果把 \(b(\tau)\mathbf N_{\bm\phi^\times}(\mathbf x_\tau,\tau)\) 當成單一個殘差固定住，得到的是傳統的指數 Euler。所以分解式更新在積分裡多保留了一個已知量 \(b(\tau)\)；當 \(b(\tau)\) 在這一步內是常數時，兩者一致。

一個凍結預測的簡單例子。假設在這一步內 \(a(t)\equiv a\)、\(b(t)\equiv b\)、\(\mathbf N_{\bm\phi^\times}(\mathbf x_\tau,\tau)\equiv\mathbf N_s\)。對 \(a\ne0\)，

展開分解式更新：

所以小步時兩者在一階上一致，分解式更新則保留了已知動態的高階效應。大步時這個差別可能很重要。例如 \(a>0\) 時，精確的乘數 \(e^{-a\Delta s}\) 對每個 \(\Delta s>0\) 都是正的、有收縮性的，而 Euler 的近似 \(1-a\Delta s\) 在 \(a\Delta s>1\) 時變成負的，在 \(a\Delta s>2\) 時絕對值超過 1。一般 Euler 因此可能扭曲那些分解形式已經解析處理好的動態。

在完整的 PF-ODE 裡，神經預測一般會沿軌跡變化。把分解式更新從精確解裡減掉：

所以把已知的、依賴時程的動態解析處理之後，剩下的離散化誤差由神經預測沿軌跡的變化決定。這個分離是之後好幾個 diffusion 專用解法以不同方式利用的基本數值原則。

Demo B凍結預測時的兩個乘數轉述者補充

上圖是書的常係數例子：倒著走一步時，狀態 \(\mathbf x_s\) 前面的乘數，精確（分解式指數積分器）是 \(e^{-a\Delta s}\)，Euler 是 \(1-a\Delta s\)。下圖是 DDPM 式 VP 時程下兩種預測的線性係數 \(a(t)\)：\(\bm\epsilon\)-預測的 \(f(t)=-\beta(t)/2\)，\(\mathbf x\)-預測的 \(\sigma_t'/\sigma_t\)。

05從數值想法到 diffusion 取樣器書 §9.1.3

這一章其餘的部分，說明這些數值想法怎麼出現在現代的 diffusion 取樣器裡：

• DDIM（§9.2，B25）：用目前的模型預測建一個一階更新。
• DEIS（§9.3，B26）：用前幾步的預測建高階近似。
• DPM-Solver（§9.4，B26）：用這一步內額外的模型計算發展高階更新。
• DPM-Solver++（§9.5，B27）：基於乾淨資料預測的兩個對應變體：single-step 的 DPM-Solver++(2S) 在這一步內做額外計算，multistep 的 DPM-Solver++(2M) 重用前幾步的預測。
• ParaDiGMS（§9.6，B27）：透過不動點迭代一起更新好幾個時間點，讓計算可以跨時間平行。

下表把這些 diffusion 取樣器和古典的數值想法連起來：

這些連結為後面的方法提供一張高層次的數值路線圖。diffusion 解法還受益於 PF-ODE 特有的結構，包括不同的預測參數化、解析已知的時程係數，以及其他的時間參數化。為了系統地呈現，之後每一節都採用相同的大結構：先推導 diffusion 解法、說明它利用的數值想法，再連到對應的古典解法原理，最後和這一章其他的 diffusion 解法對照。這讓共同的數值骨架和區分各方法的 diffusion 專屬成分都清楚可見。

Demo C五種一步法的誤差與 NFE轉述者補充

一維資料、DDPM 式 VP 時程，模型用精確的 \(\bm\epsilon^*\)（高斯混合可以算出來），所以這裡只有離散化誤差。300 個起點 \(\mathbf x_T\sim\mathcal N(0,1)\)，時間格點在 \(t\) 上均勻、從 \(T=1\) 走到 \(t_M=0.002\)（\(t=0\) 時 \(\sigma_t=0\)，\(\bm\epsilon\) 和 \(\mathbf x\)-形式的係數會發散，實務上都停在一個小的 \(t\)）。參考答案 \(\widetilde{\bm\Psi}\) 用 RK4 走 4,000 步。誤差是 \(|\tilde x_{t_M}-\widetilde{\bm\Psi}_{T\to t_M}(x_T)|\) 的平均。五種方法：Euler、Heun（RK2，每步 2 NFE）、RK4（每步 4 NFE），三者都用直接速度形式；傳統指數 Euler 和分解式指數積分器（\(\bm\epsilon\)-預測），每步 1 NFE。

瀏覽器實測（和 Node 原型一致；每種資料約 1–2 秒）。精確模型下的離散化誤差：

(1) 資料幾乎是一個點時，分解式指數積分器大勝。4 NFE 的誤差 0.0071，Euler 是 0.21，差了 30 倍；傳統指數 Euler（0.024）介於中間，因為它多凍結了 \(b(\tau)\)。原因就是局部誤差的式子：沿著精確軌跡，\(\bm\epsilon^*\) 在大部分時間幾乎不變（單一高斯時 \(\bm\epsilon^*=\sigma_tz/\sqrt{\alpha_t^2\cdot0.02^2+\sigma_t^2}\)，\(\sigma_t\gg0.02\) 時就是固定的 \(z\)），凍結它幾乎不犯錯。(2) 大步的高階方法會壞掉。同一份資料，Heun 和 RK4 在 4、8 NFE 的誤差都超過 2：接近 \(t=0\) 時速度場對 \(x\) 非常敏感（剛性），大步的 Euler 型中間預測一下子就衝出去。(3) 但它不是處處都贏。單一窄峰時，到了 128 NFE，Euler（0.00093）反而比分解式（0.0025）準：在最後一段 \(\sigma_t\) 小到和 0.02 相當，\(\bm\epsilon^*\) 開始快速變化。兩個寬峰時，Euler 從頭到尾都準得多（4 NFE：0.099 對 0.34）：這時 PF-ODE 的總速度接近 0，\(\bm\epsilon^*\) 卻隨 \(\sigma_t\) 變化很大，凍結 \(\bm\epsilon\) 反而犯大錯。兩個窄峰介於中間：8 到 32 NFE 分解式比較好，128 NFE 時 Euler 比較好。這三個情形都是「誤差由神經預測沿軌跡的變化決定」的直接結果。(4) 模型誤差的下限。把模型切成「有偏差」（兩團的位置和寬度各偏一點），模型誤差是：一個窄峰 0.050、兩個窄峰 0.041、兩個寬峰 0.044。單一窄峰時，分解式在 4 NFE 的總誤差就已經是 0.050，等於下限，再加步數完全沒用。總誤差偶爾會低於下限（例如 Heun 32 NFE 是 0.014）：兩種誤差的方向碰巧相反、互相抵消，三角不等式只是上界。

與 CS236 的對照

常見誤解

自我測驗