Guidance：用一個額外的方向，把生成推向你要的條件

前置知識

• B08：反向 SDE 與 PF-ODE \(f(t)\mathbf x-\frac12g^2(t)\nabla\log p_t\)；B16：四種預測的換算。
• B15：條件化技巧與「邊際 oracle = 條件 oracle 的後驗平均」。
• 貝氏定理：\(p(\mathbf x\mid\mathbf c)=p(\mathbf x)p(\mathbf c\mid\mathbf x)/p(\mathbf c)\)；對 \(\mathbf x\) 取 log 梯度時，\(p(\mathbf c)\) 消失。

「書 §」標出原文位置。灰框「轉述者補充」是書裡沒有的內容；藍框「推導」展開書中省略的步驟。

01第 8 章：從生成到可控生成書 第 8 章開頭

diffusion model 是強大的生成框架。在無條件的設定下，目標是學 \(p_{\text{data}}(\mathbf x)\)，不需要外部輸入就生成樣本。但許多應用需要條件生成：輸出要滿足使用者指定的條件。這可以透過引導一個無條件模型，或直接學條件分佈 \(p_0(\mathbf x\mid\mathbf c)\) 來達成，由條件 \(\mathbf c\)（例如標籤、文字描述或草圖）引導生成過程。

這一章建立在條件 score 的一個有原則的觀點上：它分解成一個無條件方向，加上一個把樣本推向條件、同時保持真實感的 guidance 方向。書解釋為什麼 guidance 是必要的，說明條件 score 怎麼成為控制的統一介面，並綜覽近似或取代 guidance 項的方法。接著區分控制（滿足條件）和對齊（在條件下滿足人類偏好），描述怎麼把偏好納入同一個框架。最後討論不需要額外 reward model（一個為更符合人類偏好的輸出打更高分的學出來的評分器）就能直接最佳化偏好的方法。

02Guidance 的共同模板書 §8.1

diffusion model 的生成過程以由粗到細的方式進行，為可控生成提供了彈性的框架。每一步移除一點雜訊，樣本變得更清楚，逐步顯露更多結構和細節。這個性質讓我們能控制生成過程：在學到的、隨時間變化的速度場上加一個 guidance 項，就能引導生成的軌跡反映使用者的意圖。

guidance 取樣的有原則的基礎，是條件 score 的貝氏分解。對每個雜訊等級 \(t\)，

這個恆等式說明：精確的條件反向動態，就是在無條件 score 上加 guidance 項 \(\nabla_{\mathbf x_t}\log p_t(\mathbf c\mid\mathbf x_t)\)。之後會看到：classifier guidance（Dhariwal & Nichol 2021）直接估這一項；classifier-free guidance（Ho & Salimans 2021）把它隱含地估成「聯合學出的條件 score 和無條件 score 之差」；更一般的 training-free 方法則改用特定任務的代理 guidance 方向。

有了精確的條件 score，PF-ODE 變成

在精確的 score 和精確的積分下，從對應的終端邊際 \(p_T(\mathbf x_T\mid\mathbf c)\) 出發，這個動態還原 \(p_0(\mathbf x_0\mid\mathbf c)\)。標準的 diffusion 建構會選擇終端的加噪方式，使 \(p_T(\mathbf x_T\mid\mathbf c)\) 可以由平常那個和條件無關的先驗近似。書為了清楚，用 score 預測來寫以下的討論；因為標準的 \(\mathbf x\)、\(\bm\epsilon\)、score、\(\mathbf v\) 預測在換算有定義的地方彼此由隨時間變化的線性變換相連，同樣的 guidance 修正可以用 B16 的換算寫成其他參數化。

guidance 方向的幾種實例

1. Classifier guidance（CG）。第 3 節。CG 在加噪過的資料 \(\mathbf x_t\)（把乾淨的有標籤樣本破壞到等級 \(t\) 得到）上訓練一個時間條件的分類器 \(p_{\bm\psi}(\mathbf c\mid\mathbf x_t,t)\)。取樣時，它的輸入梯度提供 guidance 項 \(\nabla_{\mathbf x_t}\log p_{\bm\psi}(\mathbf c\mid\mathbf x_t,t)\approx\nabla_{\mathbf x_t}\log p_t(\mathbf c\mid\mathbf x_t)\)，再加到無條件 score 上（Dhariwal & Nichol 2021）。
2. Classifier-free guidance（CFG）。第 4 節。CFG 直接訓練一個條件模型 \(\mathbf s_{\bm\phi}(\mathbf x_t,t,\mathbf c)\approx\nabla_{\mathbf x_t}\log p_t(\mathbf x_t\mid\mathbf c)\)；無條件模型是在訓練的一部分步驟裡，隨機把條件換成一個特殊的空標記，聯合學出來的。
3. Training-free（代理）guidance。在標準的前向加噪建構下，先抽 \((\mathbf x_0,\mathbf c)\sim p_{\text{data}}\)，再抽 \(\mathbf x_t\sim p_t(\cdot\mid\mathbf x_0)\)，前向核不額外依賴 \(\mathbf c\)，所以給定 \(\mathbf x_0\) 時 \(\mathbf c\perp\mathbf x_t\)。因此 $$p_t(\mathbf c\mid\mathbf x_t)=\int p(\mathbf c\mid\mathbf x_0)\,p(\mathbf x_0\mid\mathbf x_t)\,d\mathbf x_0.$$ 這個後驗平均一般算不出來，促使 training-free 方法改成建構一個特定任務的代理 guidance 方向。B22 的 training-free（基於損失的）guidance 不直接計算條件概似 \(p_t(\mathbf c\mid\mathbf x_t)\)，而是從一個現成的損失 \(\ell(\mathbf x_t,\mathbf c;t)\) 出發，它衡量目前的樣本多滿足想要的條件，損失越小越符合。由這個損失定義正的 guidance 位勢 $$\mathbf h_t(\mathbf x_t;\mathbf c):=\exp\big(-\tau\,\ell(\mathbf x_t,\mathbf c;t)\big),\qquad\tau>0,$$ 損失低的樣本得到較大的位勢值。對應的 guidance 方向記作 \(\mathcal G_t(\mathbf x_t,\mathbf c):=\nabla_{\mathbf x_t}\log\mathbf h_t(\mathbf x_t;\mathbf c)=-\tau\nabla_{\mathbf x_t}\ell(\mathbf x_t,\mathbf c;t)\)。Classifier guidance 自然地放進同一個圖像：在母體層級，它的 guidance 位勢是 \(\mathbf h_t(\mathbf x_t;\mathbf c)=p_t(\mathbf c\mid\mathbf x_t)\)，實務上由學到的分類器 \(p_{\bm\psi^\times}(\mathbf c\mid\mathbf x_t,t)\) 近似；等價地，學到的分類器對應損失 \(\ell(\mathbf x_t,\mathbf c;t)=-\log p_{\bm\psi^\times}(\mathbf c\mid\mathbf x_t,t)\)、\(\tau=1\)。

在母體層級，上面三種建構共用同一個加法的 guidance 模板。給定正的位勢 \(\mathbf h_t(\mathbf x_t;\mathbf c)\) 和 guidance 強度 \(w_t\ge0\)，定義 guided score 場

基於損失的 guidance 用 \(\mathcal G_t=-\tau\nabla_{\mathbf x_t}\ell\)；精確的 classifier guidance 用 \(\mathcal G_t=\nabla_{\mathbf x_t}\log p_t(\mathbf c\mid\mathbf x_t)\)；classifier-free guidance 則透過條件與無條件 score 之差，表達同一個母體的 guidance 方向。

在每個固定的時刻 \(t\)，只要可正規化，上面的 guided score 就是傾斜密度

的 score。這給出一個有用的能量解讀：基礎密度偏好 diffusion model 支持的樣本，位勢則把它們往想要的條件重新加權。實務上，上面 guided score 的學出來或代理的版本被插進反向時間的動態。重要的是，這個傾斜密度只是一個固定時刻的解讀：這一族 \(\{\widetilde p_t^{\text{tilt}}(\cdot\mid\mathbf c)\}_t\) 不必和 guided 取樣器產生的邊際一致。因此，對一般的損失或 guidance 時程，從 \(T\) 積分 guided PF-ODE 到 0，一般不會產生依 \(\widetilde p_0^{\text{tilt}}(\cdot\mid\mathbf c)\) 分佈的樣本。這個解讀要成立所需的跨時間一致性，書在 §8.4（B22）討論。

guidance 對取樣軌跡的效果如上圖所示。同樣的原則也可以疊在一個已經是條件的模型上，讓額外的控制訊號修改它的取樣動態。

從控制到更好的對齊：直接偏好最佳化

強的控制可能「符合條件、卻不符合偏好」：一個樣本可能滿足條件訊號（例如提示詞），卻偏離人類真正偏好的樣子。書把這件事形式化成在 \(t=0\) 用一個偏好評分傾斜條件目標：

\(r(\mathbf x_0,\mathbf c)\) 是一個乾淨樣本 \(\mathbf x_0\) 和條件 \(\mathbf c\) 的純量對齊評分，值越大表示越被偏好；\(\lambda_{\text{pref}}\) 控制偏好重新加權的強度。在之後介紹的 KL 正則化表述中（B23），最佳解恰好是這個形式，基礎分佈是參考策略、\(\lambda_{\text{pref}}=1/\beta\)。

現有達成這種可控性的方法，通常收集人類對模型生成結果相對品質的標註，再微調條件 diffusion model 去對齊這些偏好，常常透過基於人類回饋的強化學習（RLHF）。但 RLHF 是一個複雜、常常不穩定的程序：先擬合一個捕捉人類偏好的 reward model，再用強化學習微調條件 diffusion model 去最大化這個估計的 reward，同時限制策略偏離原本模型的程度。這自然引出問題：能不能完全拿掉 reward model 的訓練階段？書用 Diffusion-DPO（Wallace et al. 2024）回答，它是原本為大型語言模型發展的 Direct Preference Optimization（Rafailov et al. 2023）的改編。如 §8.5（B23）所述，Diffusion-DPO 直接從成對的選擇學偏好傾斜，讓條件 diffusion model 不需要另外的 reward model 就能微調成對齊偏好。

03Classifier guidance書 §8.2

CG 的基礎

令 \(\mathbf c\) 是從分佈 \(p(\mathbf c)\) 抽出的條件變數，例如類別標籤、說明文字或其他輔助資訊。目標是從 \(p_0(\mathbf x\mid\mathbf c)\) 取樣。在基於 diffusion 的條件生成中，做法是執行時間邊際為 \(p_t(\cdot\mid\mathbf c)\) 的反向時間動態，它的漂移依賴條件 score \(\nabla_{\mathbf x_t}\log p_t(\mathbf x_t\mid\mathbf c)\)，\(t\in[0,T]\)。所以一條標準而有效的路就是估這個量。（書的註腳：原則上，如果 \(p(\mathbf c\mid\mathbf x)\) 可得且校準良好，也可以用拒絕抽樣或重要性抽樣從無條件生成器得到 \(p_0(\mathbf x\mid\mathbf c)\)；但對高維或罕見的條件，這很少實用。）

一個基於貝氏定理的基本洞見是：條件 score 可以分解成

\(p_t(\mathbf c\mid\mathbf x_t)\) 表示以 \(\mathbf x_t\) 為條件的 \(\mathbf c\) 的機率，它從時間 \(t\) 的雜訊輸入預測條件 \(\mathbf c\)。（書的腳註：最後一個等號裡 \(\nabla_{\mathbf x_t}\log p(\mathbf c)=0\)，因為 \(p(\mathbf c)\) 不依賴 \(\mathbf x_t\)。）

這個分解啟發了 Dhariwal & Nichol (2021) 提出的 Classifier Guidance（CG）。為了把母體恆等式和實務上用的學出來的分類器分開，先看 oracle 的量。對 guidance 尺度 \(\omega\ge0\)，在每個固定時刻 \(t\) 定義

它的 score 是

所以 \(\omega\) 縮放 classifier-guidance 方向。\(\omega=1\) 時，貝氏定理給出 \(\widetilde p_t^{\text{CG},1}(\mathbf x_t\mid\mathbf c)=p_t(\mathbf x_t\mid\mathbf c)\)，上式還原精確的條件 score。對一般的 \(\omega\)，\(\widetilde p_t^{\text{CG},\omega}\) 給出 guided 場在固定時刻的「回火」（tempered）解讀；它是不是也形成 guided 取樣器的邊際路徑，在 §8.4（B22）討論。純量 \(\omega\ge0\) 調節分類器的影響：

• \(\omega=1\)：還原真正的條件 score \(\nabla_{\mathbf x_t}\log p_t(\mathbf x_t\mid\mathbf c)\)。
• \(\omega>1\)：放大分類器訊號，通常提高條件的忠實度（常以多樣性為代價）。
• \(0\le\omega<1\)：降低分類器訊號的權重，通常提高樣本多樣性、同時減弱條件化。

CG 的實務近似

實務上，CG 是一個（對 diffusion model 而言）training-free 的方法，用來引導一個預先訓練好的無條件 diffusion model \(\mathbf s_{\bm\phi^\times}(\mathbf x_t,t)\approx\nabla_{\mathbf x_t}\log p_t(\mathbf x_t)\)。CG 只在取樣時套用，不修改 diffusion model 本身。為此，另外訓練一個時間相關的分類器 \(p_{\bm\psi}(\mathbf c\mid\mathbf x_t,t)\)，從不同雜訊等級 \(t\) 的雜訊輸入預測條件 \(\mathbf c\)。分類器用標準的方式最小化交叉熵訓練：

\((\mathbf x,\mathbf c)\sim p_{\text{data}}\) 表示成對的標註資料，\(\mathbf x_t=\alpha_t\mathbf x+\sigma_t\bm\epsilon\) 是時間 \(t\) 的雜訊輸入。分類器必須跨雜訊等級訓練，通常把 \(t\)（或等價的雜訊等級表示）當輸入，才能在整條 diffusion 路徑上逼近 \(p_t(\mathbf c\mid\mathbf x_t)\)。訓練之後，分類器提供的梯度當作真正概似梯度的替代：\(\nabla_{\mathbf x_t}\log p_{\bm\psi^\times}(\mathbf c\mid\mathbf x_t,t)\approx\nabla_{\mathbf x_t}\log p_t(\mathbf c\mid\mathbf x_t)\)。

用 CG 推論

推論時，學到的分類器梯度 \(\nabla_{\mathbf x_t}\log p_{\bm\psi^\times}(\mathbf c\mid\mathbf x_t,t)\) 加到無條件 score 的估計上、乘上 \(\omega\)，得到 oracle 場的一個學出來的近似：

反向時間 SDE 或 PF-ODE 裡的無條件 score 估計，就換成 \(\mathbf s^{\text{CG}}_{\text{model}}(\mathbf x_t,t,\mathbf c;\omega)\)，藉此把生成軌跡引向符合條件 \(\mathbf c\) 的樣本。

優點與限制

CG 提供一個簡單而有彈性的條件生成機制，可以透過 \(\omega\) 明確控制條件化的強度。它可以用在任何預先訓練好的無條件 diffusion model 上，只需要另外一個分類器。但它有明顯的限制：

• 訓練成本：分類器必須在所有雜訊等級上運作，訓練的計算量很大。
• 穩健性：分類器必須對嚴重破壞的輸入 \(\mathbf x_t\) 泛化得好，特別是大的 \(t\)，這可能很有挑戰。
• 分開訓練：分類器和 diffusion model 獨立訓練，可能和學到的資料分佈不完全對齊。

Demo Aguidance 強度 ω 做了什麼轉述者補充

一維、兩類資料：\(c=0\) 是 \(\mathcal N(-1,0.6^2)\)、\(c=1\) 是 \(\mathcal N(1,0.6^2)\)，各占一半，兩類明顯重疊。DDPM 式 VP 時程（\(\beta(t)=0.1+19.9t\)），所有 score 和分類器都是精確的（給定類別時是高斯），所以這裡 CG 和 CFG 完全相同。目標類別 \(c=1\)。2,000 個樣本從精確的 \(p_1\) 出發，用 guided PF-ODE（RK4 200 步）倒著積分到 \(t=0.002\)。下圖比較：生成的直方圖、精確的條件分佈 \(p_0(x\mid c=1)\)，以及固定時刻的傾斜密度 \(\widetilde p_0^{\text{CG},\omega}\propto p_0(x)\,p_0(c=1\mid x)^\omega\)。

瀏覽器實測：

三件事。(1) \(\omega=0\) 是無條件的混合（平均 0、一半在右邊），\(\omega=1\) 精確地還原 \(p_0(x\mid c=1)\)（平均 0.977、標準差 0.606，真值 1、0.6），這是書的兩個端點。(2) \(\omega>1\) 時，「更符合條件、更少多樣」看得很清楚：落在 \(x>0\) 的比例從 95% 升到 100%，標準差從 0.6 縮到 0.3。(3) 但 guided 取樣器的分佈和傾斜密度差很多，而且差距隨 \(\omega\) 變大：\(\omega=8\) 時傾斜密度的平均只有 1.19（它仍然被 \(p_0\) 壓在資料附近），guided 樣本的平均卻跑到 2.33，幾乎整團落在 \(x\in[1.7,3.3]\)，比 \(c=1\) 這一類本身的典型位置還遠，那裡在 \(p_0\) 下的密度已經很低。這就是書說的「傾斜密度只是固定時刻的解讀」：每個時刻的 guided score 都是某個傾斜密度的 score，但沿著時間積分下來，樣本被推得比任何一個傾斜密度都遠。實務上常見大 \(\omega\) 讓影像顏色過飽和、偏離真實分佈，和這個現象一致。

04Classifier-free guidance書 §8.3

CFG 的基礎

Classifier-free guidance（CFG；Ho & Salimans 2021）把 classifier-guidance 方向改用條件與無條件 score 表達，因此不需要另外訓練分類器。貝氏定理給出

代入 CG 的 \(\omega\)-縮放 score，得到 oracle 的 CFG 場

在精確的 score 下，這在代數上和 CG 的 guided 場完全相同。\(\omega=1\) 時化成精確的條件 score。對其他的 guidance 強度，它在固定時刻的傾斜密度解讀，要和 guided 動態產生的邊際區分開來（§8.4，B22）。超參數 \(\omega\) 同樣扮演控制條件資訊影響力的關鍵角色（取 \(\omega\ge0\)）：

• \(\omega=0\)：模型表現得像一個無條件 diffusion model，完全忽略條件。
• \(\omega=1\)：模型使用條件 score，沒有額外的 guidance。
• \(\omega>1\)：模型更強調條件 score、更不強調無條件 score，加強和 \(\mathbf c\) 的對齊，但通常降低多樣性。

CFG 的訓練與取樣

透過 CFG 聯合訓練無條件和條件 diffusion model。CFG 需要一個同時支援條件與無條件預測的 diffusion model。它不訓練兩個分開的模型，而是用單一模型 \(\mathbf s_{\bm\phi}(\mathbf x_t,t,\mathbf c)\)，訓練時隨機把條件輸入換成一個空標記 \(\varnothing\)：用空輸入時，模型學無條件預測 \(\mathbf s_{\bm\phi}(\mathbf x_t,t,\varnothing)\)；用原本的條件時，學條件預測 \(\mathbf s_{\bm\phi}(\mathbf x_t,t,\mathbf c)\)。空條件以機率 \(p_{\text{uncond}}\) 使用，這是使用者指定的條件 dropout 機率。完整的訓練程序和標準的無條件訓練並列如下。guidance 權重 \(\omega\) 只在取樣時引入，不是這個訓練目標的一部分。

轉述者注：演算法裡的回歸目標 \(\mathbf s\) 是 DSM 的條件 score \(\nabla_{\mathbf x_t}\log p_t(\mathbf x_t\mid\mathbf x)=-\bm\epsilon/\sigma_t\)（B06）。實作上常改用 \(\bm\epsilon\)-prediction，兩者只差一個時間權重（B15、B16），Demo B 用的就是 \(\bm\epsilon\)-prediction。

用 CFG 做條件取樣。模型 \(\mathbf s_{\bm\phi^\times}(\mathbf x_t,t,\mathbf c)\) 用上面的演算法訓練好之後，CFG 組成學到的 guided 場

取樣時，反向時間 SDE 或 PF-ODE 裡的無條件 score 估計換成 \(\mathbf s^{\text{CFG}}_{\text{model}}\)。所以 CFG 把學到的條件和無條件 score 估計組合起來，定義一個修改過的取樣場。這個表述只要調 \(\omega\) 就能做可控生成，在條件化強度和樣本多樣性之間提供一個簡單的訓練後取捨，不需要另外訓練的分類器或無條件 diffusion model。

Demo B訓練一個 CFG 模型轉述者補充

同一個兩類資料和時程。一個 MLP（兩層、每層 48 個神經元）輸入 \(x_t\)、\(t\) 的特徵，加上條件的 one-hot（空條件 \(\varnothing\) 是全 0），用 \(\bm\epsilon\)-prediction 訓練 4,000 步，條件 dropout \(p_{\text{uncond}}=0.3\)。取樣時把 \(\bm\epsilon\) 換成 score（\(\mathbf s=-\hat{\bm\epsilon}/\sigma_t\)），用 CFG 組合，PF-ODE（RK4 100 步）從 1,000 個起點倒著解。下圖比較學到的模型和 Demo A 的精確 guided 取樣。

瀏覽器實測（和 Node 原型一致；訓練的純計算約 8 秒）。學到的模型 / 精確 score，兩者用同樣的取樣器（RK4 100 步、1,000 個起點）：

一個網路、隨機丟掉 30% 的條件，就同時學到了條件和無條件兩個 score：\(\omega=1\) 時幾乎和精確的一樣。誤差最大的是 \(\omega=0\)：無條件分支偏右（56% 落在右邊，應該是 50%）。這符合上面補充框的預期：無條件分支只看到 30% 的訓練樣本，而且它要學的是雙峰的分佈，比單峰的條件分佈難。\(\omega=4\) 時學到的模型的平均比精確的少 0.13：外插 \(\omega(\mathbf s_c-\mathbf s_\varnothing)\) 會把兩個分支的誤差放大 \(\omega\) 倍。對照：在 Node 用 \(p_{\text{uncond}}=0.2\)、3,000 步訓練，\(\omega=0\) 的平均偏到 0.23，偏差更大。

與 CS236 的對照

常見誤解

自我測驗