OT 家族的關係，以及 diffusion 為什麼只是「半座橋」
B18 介紹了四個問題：靜態 OT、動態 OT、熵 OT（EOT）和 Schrödinger bridge（SB）。這一頁先把它們連起來：SB 的兩種寫法等價；布朗參考的 SB 只看兩端就是 EOT；\(\varepsilon\to0\) 時 EOT 回到靜態 OT、SB 回到動態 OT。接著回答本章的第一個問題：diffusion model 的 SDE 是不是 SB 的最佳解？答案是：形式上它是「控制為零」的特例；嚴格說來，它只解了一端固定的半橋問題，因為有限時間的前向過程到不了精確的高斯先驗。Diffusion Schrödinger Bridge 用交替的半橋投影把兩端都補上。
讀完這頁你應該能夠
- 畫出 OT 家族的關係圖，並說出 (i)–(iv) 四條連結各自的意思。
- 用一行代數證明 EOT 等於一個「靜態 SB」，並說明布朗參考下 SB 的端點投影就是 EOT。
- 證明 \(V_0\le V_\varepsilon\le V_0+\varepsilon K\)，並說明 \(2\varepsilon\,\mathrm{SB}_\varepsilon\to\mathcal W_2^2\) 的啟發式理由。
- 說明 diffusion model 在什麼意義下是 SB 的「零控制」特例，又為什麼一般不是指定兩端的完整 SB。
- 定義前向與反向半橋，並說明 DSB 怎麼用 IPF 交替投影解完整的 SB。
前置知識
- B18：OT 的靜態與動態形式、EOT 與 Sinkhorn、SB 的 KL 與隨機控制形式、Schrödinger 系統、前向與反向 SB SDE。
- B08：Anderson 的反向 SDE；B10：線性前向 SDE 的擾動核 \(\mathbf x_T=\alpha_T\mathbf x_0+\sigma_T\bm\epsilon\)。
- KL 散度的鏈式法則：\(\mathcal D_{\text{KL}}(P\Vert R)=\mathcal D_{\text{KL}}(P_{0T}\Vert R_{0T})+\mathbb E_{P_{0T}}\big[\mathcal D_{\text{KL}}(P_{\cdot\mid0,T}\Vert R_{\cdot\mid0,T})\big]\)。
書把整個第 7 章標為選讀。「書 §」標出原文位置。灰框「轉述者補充」是書裡沒有的內容；藍框「推導」展開書中省略的步驟。
01OT 家族的關係書 §7.3
\(p_t=P^*(\mathbf x_t\in\cdot)\)
端點投影
\(\gamma^*=(\mathbf x_0,\mathbf x_T)_\#P^*\)
在進入技術細節之前，先釐清各種最佳運送和它們的熵正則化表述怎麼連在一起。高層來看，這些問題的關係是：
- 路徑空間的 SB ⇔ 隨機控制的 SB。SB\(_\varepsilon\) 的路徑空間 KL 形式和隨機控制形式，描述的是相對於選定參考過程的同一個橋問題（B18 第 5 節）。
- 布朗參考的 SB ⇔ EOT\(_\varepsilon\)。對布朗參考 \(d\mathbf x_t=\sqrt\varepsilon\,d\mathbf w_t\) 配上對應的二次成本正規化，最佳 SB 路徑分佈誘導的端點配對，解對應的 EOT\(_\varepsilon\) 問題（第 2 節）。
- EOT\(_\varepsilon\) → 靜態 OT。\(\varepsilon\to0\) 時，熵正則化的端點配對趨近對應的古典 OT 問題；在第 3 節討論的假設下，最佳值收斂到 OT 值。
- SB\(_\varepsilon\) → 動態 OT。在對應的小雜訊縮放下，布朗參考的 Schrödinger 問題在 \(\varepsilon\to0\) 時收斂到 Benamou–Brenier 的動態 OT（第 3 節）。
這些不簡單的關係合起來，給出跨越隨機控制、熵正則化和古典 OT 框架的一個精簡觀點。
轉述者注：書的圖說寫右格是 \(\varepsilon=2.5\)，但圖上右格的標題是「\(\varepsilon=5.0\)（near SB）」，兩者不一致；以圖為準時右格是 5.0。不影響圖要表達的趨勢。\(\sigma=\sqrt{\varepsilon/2}\) 這個換算在第 2 節的補充框裡推。
02SB 與 EOT（對偶地）等價書 §7.3.1
這一節從兩個互補的觀點說明 SB 和 EOT 本質上等價。和產生單一確定性映射的古典最佳運送不同，SB 產生一個隨機的粒子流：質量以機率的方式被運送，邊際在類似 diffusion 的動態下演化。從靜態的觀點，SB 和 EOT 一致，目標是找一個在運送成本和熵之間取得平衡的兩端配對。從動態的觀點，SB 描述一個受控 diffusion 過程，它在匹配端點的同時盡可能貼近一個簡單的參考（例如布朗運動）。兩個觀點各自獨立地建立了這個等價，提供兩個一致的方式，把 SB／EOT 理解成分佈到分佈轉換的典型表述。
靜態 Schrödinger bridge
令
$$\widetilde R^\varepsilon(\mathbf x,\mathbf y):=\frac1{Z_\varepsilon}\,e^{-c(\mathbf x,\mathbf y)/\varepsilon}\,p_{\text{src}}(\mathbf x)\,p_{\text{tgt}}(\mathbf y),\qquad Z_\varepsilon:=\iint e^{-c(\mathbf x,\mathbf y)/\varepsilon}\,p_{\text{src}}(\mathbf x)\,p_{\text{tgt}}(\mathbf y)\,d\mathbf x\,d\mathbf y.$$則對任何合法的配對 \(\gamma\in\Gamma(p_{\text{src}},p_{\text{tgt}})\)，直接計算給出
$$\int c\,d\gamma+\varepsilon\,\mathcal D_{\text{KL}}\big(\gamma\Vert p_{\text{src}}\otimes p_{\text{tgt}}\big)=\varepsilon\,\mathcal D_{\text{KL}}\big(\gamma\Vert\widetilde R^\varepsilon\big)-\varepsilon\log Z_\varepsilon.$$「直接計算」
展開右邊：\(\log\widetilde R^\varepsilon=-c/\varepsilon+\log p_{\text{src}}+\log p_{\text{tgt}}-\log Z_\varepsilon\)，所以
$$\varepsilon\,\mathcal D_{\text{KL}}(\gamma\Vert\widetilde R^\varepsilon)=\varepsilon\int\gamma\log\gamma+\int c\,\gamma-\varepsilon\int\gamma\log(p_{\text{src}}p_{\text{tgt}})+\varepsilon\log Z_\varepsilon=\int c\,d\gamma+\varepsilon\,\mathcal D_{\text{KL}}(\gamma\Vert p_{\text{src}}\otimes p_{\text{tgt}})+\varepsilon\log Z_\varepsilon.$$移項就是上式。用到 \(\int\gamma=1\)。
因此
$$\min_{\gamma\in\Gamma(p_{\text{src}},p_{\text{tgt}})}\Big\{\int c\,d\gamma+\varepsilon\,\mathcal D_{\text{KL}}\big(\gamma\Vert p_{\text{src}}\otimes p_{\text{tgt}}\big)\Big\}=\varepsilon\min_{\gamma\in\Gamma(p_{\text{src}},p_{\text{tgt}})}\mathcal D_{\text{KL}}\big(\gamma\Vert\widetilde R^\varepsilon\big)-\varepsilon\log Z_\varepsilon,$$所以熵 OT 問題（差一個加法常數）等價於靜態 Schrödinger bridge 問題 \(\min_{\gamma\in\Gamma}\mathcal D_{\text{KL}}(\gamma\Vert\widetilde R^\varepsilon)\)：在所有合法配對中，找最接近「Gibbs 參考」\(\widetilde R^\varepsilon\) 的那一個。
動態的等價（布朗參考）
也可以從動態的觀點理解這個等價。一個古典的結果（Mikami & Thieullen 2006）說：二次成本
$$c(\mathbf x,\mathbf y)=\frac{\Vert\mathbf y-\mathbf x\Vert^2}{2T}$$的熵 OT，和「參考路徑分佈 \(R^\varepsilon\) 是 \([0,T]\) 上的布朗運動 \(d\mathbf x_t=\sqrt\varepsilon\,d\mathbf w_t\)」的 SB 問題仿射等價：兩者的最佳值只差一個正的縮放和一個（和決策變數無關的）加法常數，所以最小化解相同。特別是，令 \(P^*\) 是 SB 的最佳路徑分佈。和 EOT 的關鍵連結，是只看這個最佳隨機過程的兩個端點：若 \(\mathbf x_{[0:T]}\sim P^*\)，端點對 \((\mathbf x_0,\mathbf x_T)\) 誘導配對 \(\gamma^*:=(\mathbf x_0,\mathbf x_T)_\#P^*\)，而 \(\gamma^*\) 是對應 EOT 問題的最佳運送計畫。
反過來，從一個最佳的 EOT 配對 \(\gamma^*\) 出發，可以先抽一對端點 \((\mathbf x_0,\mathbf x_T)\sim\gamma^*\)，再在給定這兩個端點的條件下，從「被條件化成連接 \(\mathbf x_0\) 到 \(\mathbf x_T\) 的參考 diffusion」抽一條軌跡。依 \(\gamma^*\) 把這些條件 diffusion 路徑混合起來，就還原了最佳的 SB 路徑分佈 \(P^*\)。換句話說：動態 SB 問題的最佳隨機過程，誘導靜態 EOT 問題的最佳端點配對；反過來，最佳 EOT 配對指定端點該怎麼配，參考 diffusion 則指定每一對端點之間的最佳隨機路徑。
推導這個事實的關鍵想法是：路徑上的 KL 散度可以依端點拆開，所以 Schrödinger bridge 問題化成一個只在 \((\mathbf x_0,\mathbf x_T)\) 的聯合分佈上的 KL 散度。對布朗運動，\(\mathbf x\) 到 \(\mathbf y\) 的轉移密度是高斯的，所以它的負對數是二次的：
$$-\varepsilon\log p_T(\mathbf y\mid\mathbf x)=\frac{\Vert\mathbf y-\mathbf x\Vert^2}{2T}+\text{常數}.$$這說明端點的 KL 和二次成本的熵 OT 目標完全相同，差一個無關的常數。
把「依端點拆開」寫完整
KL 的鏈式法則：
$$\mathcal D_{\text{KL}}(P\Vert R^\varepsilon)=\mathcal D_{\text{KL}}(P_{0T}\Vert R^\varepsilon_{0T})+\mathbb E_{(\mathbf x,\mathbf y)\sim P_{0T}}\Big[\mathcal D_{\text{KL}}\big(P(\cdot\mid\mathbf x_0=\mathbf x,\mathbf x_T=\mathbf y)\,\Vert\,R^\varepsilon(\cdot\mid\mathbf x_0=\mathbf x,\mathbf x_T=\mathbf y)\big)\Big].$$兩端的限制只約束 \(P_{0T}\) 的邊際，第二項可以取到 0：給定端點後，直接用參考的橋（布朗運動的話是布朗橋）。剩下第一項。取參考從 \(R_0^\varepsilon=p_{\text{src}}\) 出發（B18 說過不改變最佳解），\(R^\varepsilon_{0T}(\mathbf x,\mathbf y)=p_{\text{src}}(\mathbf x)\,\mathcal N(\mathbf y;\mathbf x,\varepsilon T\mathbf I)\)，則
$$\mathcal D_{\text{KL}}(P_{0T}\Vert R^\varepsilon_{0T})=\frac1\varepsilon\,\mathbb E_{P_{0T}}\frac{\Vert\mathbf y-\mathbf x\Vert^2}{2T}+\mathcal D_{\text{KL}}(P_{0T}\Vert p_{\text{src}}\otimes p_{\text{tgt}})+\text{常數}$$（常數含 \(\int p_{\text{tgt}}\log p_{\text{tgt}}\) 和高斯的正規化常數，在可行集裡固定）。乘上 \(\varepsilon\)：正是成本 \(\frac{\Vert\mathbf y-\mathbf x\Vert^2}{2T}\)、正則化係數 \(\varepsilon\) 的 EOT。
和 B18、書中圖的換算。如果 EOT 用成本 \(\Vert\mathbf x-\mathbf y\Vert^2\)（不除以 \(2T\)）、正則化係數記作 \(\varepsilon_{\text{EOT}}\)，把上式整個乘 \(2T\)：參考的雜訊強度 \(\varepsilon_{\text{ref}}\) 滿足 \(\varepsilon_{\text{EOT}}=2T\,\varepsilon_{\text{ref}}\)。\(T=1\) 時布朗橋的擴散係數是 \(\sigma=\sqrt{\varepsilon_{\text{ref}}}=\sqrt{\varepsilon_{\text{EOT}}/2}\)，就是書中圖說的 \(\sigma=\sqrt{\varepsilon/2}\)；也是 B18 Demo B 用「正則化係數 \(2\varepsilon\)」的原因。
一般參考的 SB 決定端點的 EOT 成本
SB 和 EOT 的連結不限於布朗運動。對一個一般的、適定的參考過程，它的轉移分佈告訴我們：在參考動態下，從時間 0 的 \(\mathbf x\) 移到時間 \(T\) 的 \(\mathbf y\) 有多「自然」。在參考下不太可能的端點對，應該付比較大的運送成本。更精確地，令 \(p_T(\mathbf y\mid\mathbf x)\) 是參考過程在 \([0,T]\) 上的轉移密度。差一個縮放、以及只依賴固定端點邊際的加法項，對應的端點成本是
$$c(\mathbf x,\mathbf y)\propto-\log p_T(\mathbf y\mid\mathbf x).$$所以在端點配對的層級，參考動態誘導了對應 EOT 問題使用的成本：可能的轉移成本小，不太可能的轉移成本大。完整的參考過程還包含這個端點成本以外的資訊：一旦選定一對端點 \((\mathbf x,\mathbf y)\)，參考動態也決定了用來連接它們的條件隨機路徑。在這個意義下，EOT 決定端點怎麼最佳地配對，SB 還額外描述每一對端點之間的隨機運送。
例子：OU（VP）參考誘導什麼成本
VP 型的 OU 參考 \(d\mathbf x=-\frac12\mathbf x\,dt+d\mathbf w\)，轉移是 \(\mathcal N(\mathbf y;e^{-T/2}\mathbf x,(1-e^{-T})\mathbf I)\)，所以
$$-\log p_T(\mathbf y\mid\mathbf x)=\frac{\Vert\mathbf y-e^{-T/2}\mathbf x\Vert^2}{2(1-e^{-T})}+\text{常數}=\frac{-2e^{-T/2}\,\mathbf x^\top\mathbf y}{2(1-e^{-T})}+(\text{只依賴 }\mathbf x\text{ 或 }\mathbf y\text{ 的項}).$$只依賴 \(\mathbf x\) 或 \(\mathbf y\) 的項在配對的期望裡變成常數（邊際固定），所以有效的成本是 \(-\mathbf x^\top\mathbf y\) 的倍數，和二次成本 \(\Vert\mathbf x-\mathbf y\Vert^2=\Vert\mathbf x\Vert^2+\Vert\mathbf y\Vert^2-2\mathbf x^\top\mathbf y\) 的有效部分相同。差別在係數：\(T\) 越大，\(e^{-T/2}/(1-e^{-T})\) 越小，等效的正則化越強，配對越接近獨立。這也解釋了 Demo B 裡 \(T\) 大時 IPF 收斂得快。
03ε → 0：EOT 和 SB 都回到 OT書 §7.3.2–7.3.3
EOT\(_\varepsilon\) 在 \(\varepsilon\to0\) 時化成 OT
令 \(\gamma_\varepsilon^*\) 是 EOT\(_\varepsilon\) 的最佳計畫，\(\gamma^*\) 是未正則化 OT 問題的一個最佳計畫。在標準的假設下，\(\varepsilon\to0\) 時 EOT 的最佳值收斂到 OT 值，任何極限的熵最佳計畫都是 OT 最佳的；OT 的最佳解唯一時，最佳計畫收斂到 \(\gamma^*\)。這個收斂結果既基本又在實務上重要：熵正則化的 OT 問題有 Sinkhorn 這類有效率的數值解法，所以這個結果為「用小 \(\varepsilon\) 的 EOT\(_\varepsilon\) 當古典 OT 好算的替代」提供了理論依據，即使成本函數比二次的情形更一般。
最佳值收斂的啟發式證明（書）
嚴格的證明見 Mikami & Thieullen (2008)、Peyré & Cuturi (2019)。記 \(V_\varepsilon:=\mathrm{EOT}_\varepsilon(p_{\text{src}},p_{\text{tgt}})\)、\(V_0:=\mathrm{OT}(p_{\text{src}},p_{\text{tgt}})\)。下面這個基本的上界論證適用於「某個 OT 最佳配對相對於 \(p_{\text{src}}\otimes p_{\text{tgt}}\) 有有限相對熵」的情形；一般而言，嚴格的值收斂可以用有限熵的配對逼近最佳配對、或更系統地用 \(\Gamma\)-收斂的論證建立。
上界。由 \(\gamma_\varepsilon^*\) 的最佳性，它的值不超過用計畫 \(\gamma^*\) 的值：\(V_\varepsilon\le\int c\,d\gamma^*+\varepsilon\,\mathcal D_{\text{KL}}(\gamma^*\Vert p_{\text{src}}\otimes p_{\text{tgt}})\)。假設 KL 項是有限常數 \(K\)，得 \(V_\varepsilon\le V_0+\varepsilon K\)，取上極限 \(\limsup_{\varepsilon\to0}V_\varepsilon\le V_0\)。
下界。KL 非負，所以 \(V_\varepsilon\ge\int c\,d\gamma_\varepsilon^*\)；由 \(V_0\) 是最小運送成本的定義，任何計畫的成本都至少 \(V_0\)，所以 \(V_\varepsilon\ge V_0\) 對所有 \(\varepsilon>0\) 成立，\(\liminf_{\varepsilon\to0}V_\varepsilon\ge V_0\)。
上下界合起來就是 \(\lim_{\varepsilon\to0}V_\varepsilon=V_0\)。最佳計畫本身的收斂需要額外的緊緻性論證：任何極限計畫都是 OT 最佳的，OT 最佳解唯一時就完全收斂。
轉述者注：連續分佈之間的確定性 OT 配對（集中在一個映射的圖形上）相對於 \(p\otimes q\) 的熵是無窮大，所以上界論證的「\(K\) 有限」在連續情形通常不成立，這正是書說需要用有限熵的配對逼近的原因。離散的經驗分佈則沒問題：\(n\) 個等權點之間的排列配對，\(K=\log n\)。Demo A 用的就是這個。
SB\(_\varepsilon\) 在 \(\varepsilon\to0\) 時化成 OT
為了直接和 Benamou–Brenier 比較，這一小節把時間縮放成 \(T=1\)。對每個 \(\varepsilon>0\)，令 \(\mathbf v_t^\varepsilon\) 是 SB 問題（B18 布朗參考的控制形式）的一個最小化解，\(p_t^\varepsilon\) 是 \(\mathbf v_t^\varepsilon\) 誘導的受控 SDE 的邊際，它滿足對應的 Fokker–Planck 方程。相對地，令 \((p_t^0,\mathbf v_t^0)\) 是 Benamou–Brenier 形式的一個最小化解。下面的定理說 \(\varepsilon\to0\) 時 SB 問題收斂到 OT 問題。（書的註腳：嚴格的表述用適當縮放的 Schrödinger 泛函的 \(\Gamma\)-收斂；配上適當的緊緻性假設，就得到最佳值和最小化解極限點的收斂。這需要更多技術背景，書只陳述概念上的結果。）這個結果和上一個定理一樣在實務上重要：SB\(_\varepsilon\) 可以用 Sinkhorn 類演算法有效率地求解，給出一個數值上好處理、可微的最佳運送替代，在高維或大規模的設定特別有價值，那裡直接的求解器（例如基於 Benamou–Brenier 形式的）計算量太大。
啟發式的理由（書）
完整嚴格的證明超出範圍，見 Léonard (2012, 2014)。隨機控制形式裡受控的 SDE 是 \(d\mathbf x_t=\mathbf v_t^\varepsilon(\mathbf x_t)\,dt+\sqrt\varepsilon\,d\mathbf w_t\)。\(\varepsilon\to0\) 時雜訊項消失，SDE 形式上趨近確定性的 ODE \(d\mathbf x_t=\mathbf v_t^0(\mathbf x_t)\,dt\)。配上控制形式的目標 \(\frac1{2\varepsilon}\int\!\!\int\Vert\mathbf v_t\Vert^2p_t\)：乘上 \(2\varepsilon\) 後正好是 Benamou–Brenier 的動能，所以縮放過的 SB 目標收斂到 Benamou–Brenier 的作用量。同時邊際密度滿足 Fokker–Planck 方程 \(\partial_tp_t^\varepsilon+\nabla\cdot(p_t^\varepsilon\mathbf v_t^\varepsilon)=\frac\varepsilon2\Delta p_t^\varepsilon\)；\(\varepsilon\to0\) 時擴散項消失，形式上化成連續方程 \(\partial_tp_t^0+\nabla\cdot(p_t^0\mathbf v_t^0)=0\)。
轉述者注：為什麼要乘 \(2\varepsilon\)：SB\(_\varepsilon\) 本身是一個 KL，量的是「為了改漂移付出的能量，以雜訊強度 \(\varepsilon\) 為單位」；雜訊越小，同樣的漂移改變越貴，SB\(_\varepsilon\) 會像 \(1/\varepsilon\) 一樣爆大。乘上 \(2\varepsilon\) 把單位換回普通的動能。
到這裡，已經介紹了 EOT 和 SB 之間（在各自假設下的）基本等價，以及它們透過極限過程和 OT 的重要連結，如第 1 節的關係圖。接下來看 diffusion model 怎麼連到這些概念。
Demo AEOT 的夾擠，以及 SB 的二維路徑轉述者補充
沿用 B18 Demo A 的 40 + 40 個點（成本 \(\Vert\mathbf x-\mathbf y\Vert^2\)、等權）。離散時 OT 的最佳配對是一個排列，相對於 \(p\otimes q\) 的 KL 恰好是 \(K=\log40\approx3.689\)，所以定理的上界論證成立：\(V_0\le V_\varepsilon\le V_0+\varepsilon\log40\)。上圖是 SB 的路徑：依 EOT 計畫為每個來源點抽一個目標，再畫擴散係數 \(\sigma=\sqrt{\varepsilon/2}\) 的布朗橋（第 2 節的換算）；下圖是 \(V_\varepsilon\) 和兩條界線。
上圖：\(\varepsilon=0.032\) 時布朗橋的擴散係數只有 0.13，路徑幾乎是直線，配對接近 OT（書中圖的左格）；\(\varepsilon=3.2\) 時 \(\sigma\approx1.26\)，路徑在三個目標團之間亂竄（右格）。下圖是定理的夾擠，瀏覽器實測：
| \(\varepsilon\) | 成本 | \(\varepsilon\cdot\)KL | \(V_\varepsilon\) | 上界 \(V_0+\varepsilon\log40\) |
|---|---|---|---|---|
| 0.032 | 26.585 | 0.080 | 26.666 | 26.690 |
| 0.1 | 26.623 | 0.193 | 26.815 | 26.943 |
| 0.5 | 26.849 | 0.501 | 27.351 | 28.423 |
| 1 | 27.056 | 0.707 | 27.764 | 30.263 |
| 10 | 29.250 | 0.771 | 30.021 | 63.463 |
\(V_0=26.574\)。每一列都滿足 \(V_0\le V_\varepsilon\le V_0+\varepsilon\log40\)，而且 \(\varepsilon\to0\) 時 \(V_\varepsilon\) 從上方逼近 \(V_0\)：證明裡的上下界就是這兩條虛線。小 \(\varepsilon\) 時上界很緊（\(\varepsilon=0.032\) 時只差 0.024），大 \(\varepsilon\) 時上界很鬆。因為最佳的 EOT 計畫不必是 OT 計畫，\(V_\varepsilon\) 的增長遠慢於 \(\varepsilon\log40\)。
04diffusion model 的 SDE 是不是 SB 的最佳解？書 §7.4、§7.4.1
diffusion model 是 Schrödinger bridge 的特例
SB 框架推廣了（score-based）diffusion model：它允許在任意的來源和目標分佈之間做非線性的插值，做法是加上由純量位勢 \(\Psi(\mathbf x,t)\)、\(\widehat\Psi(\mathbf x,t)\) 推出的控制漂移項，引導一個參考 diffusion 過程去匹配指定的端點邊際（B18 的 Schrödinger 系統），並遵循分解
$$\nabla\log\Psi(\mathbf x,t)+\nabla\log\widehat\Psi(\mathbf x,t)=\nabla\log p_t^{\text{SB}}(\mathbf x).$$這個推廣讓模型能超越標準的高斯先驗，從更廣的分佈生成樣本。
和 diffusion model 的連結。diffusion model 是 SB 框架的特例。假設位勢是常數 \(\Psi(\mathbf x,t)\equiv1\)。在這個假設下，Schrödinger 系統的第二條方程化成標準的 Fokker–Planck 方程，它的解是參考過程的邊際密度：
$$\widehat\Psi(\mathbf x,t)=p_t^{\text{SB}}(\mathbf x).$$對應的 SB 前向 SDE 就變成沒有控制的參考過程 \(d\mathbf x_t=\mathbf f(\mathbf x_t,t)\,dt+g(t)\,d\mathbf w_t\)，SB 的反向 SDE 化簡成
$$d\mathbf x_t=\big[\mathbf f(\mathbf x_t,t)-g^2(t)\nabla\log p_t^{\text{SB}}(\mathbf x_t)\big]dt+g(t)\,d\bar{\mathbf w}_t,$$正好是 diffusion model 使用的 Anderson 反向時間 SDE（B08）。這個對應說明 diffusion model 可以解讀成 SB 的零控制極限：位勢沒有引入任何額外的漂移。
\(\Psi\equiv1\) 時兩條方程各發生什麼
第一條（\(\Psi\) 的方程）：\(\partial_t\Psi=0\)、\(\nabla\Psi=0\)、\(\Delta\Psi=0\)，常數 1 自動滿足。第二條（\(\widehat\Psi\) 的方程）就是 \(\partial_t\widehat\Psi=-\nabla\cdot(\widehat\Psi\mathbf f)+\frac{g^2}2\Delta\widehat\Psi\)，參考過程的 Fokker–Planck 方程，所以 \(\widehat\Psi\) 就是參考過程的邊際密度。邊界條件變成 \(\widehat\Psi(\cdot,0)=p_{\text{src}}\)、\(\widehat\Psi(\cdot,T)=p_{\text{tgt}}\)：第二個只有在「參考過程從 \(p_{\text{src}}\) 出發，在時間 \(T\) 剛好走到 \(p_{\text{tgt}}\)」時才成立。這就是下一段說的相容性。
邊界條件與一般性。上面的化簡只是形式上的，除非邊界限制相容。對任意的來源／目標 \((p_{\text{src}},p_{\text{tgt}})\)，選 \(\Psi\equiv1\) 一般不滿足 Schrödinger 系統的邊界條件。完整的 SB 透過學出非平凡的位勢、誘導非線性的控制漂移來解決這個問題，把參考動態彎曲成可以匹配任何指定的端點。相對地，diffusion model 把一端固定成簡單的先驗（通常是高斯），只學反向時間的 score 去抵達資料。從這個觀點，SB 是更有彈性的總框架：有非平凡的位勢時，它連接任意的端點；\(\Psi\equiv1\) 時，它塌縮成上面 diffusion model 的情形。書另外提醒：在標準的線性 diffusion model 裡，\(p_T\approx p_{\text{prior}}\) 只在 \(T\to\infty\) 時成立，所以和先驗的匹配只是近似的。
05diffusion model 是 Schrödinger 半橋書 §7.4.2
這一節說明為什麼 diffusion model 不是完整的 Schrödinger bridge，而可以透過比較寬鬆的 Schrödinger 半橋概念來理解。半橋只強制一個端點限制（\(p_{\text{prior}}\) 或 \(p_{\text{data}}\) 之一），而不是兩個，是完整橋的單邊變體。
Schrödinger 半橋
SB 問題找一個隨機過程，它的分佈在 KL 意義下最接近一個簡單的參考過程，同時匹配兩個端點分佈 \(p_{\text{src}}\)、\(p_{\text{tgt}}\)。解完整的橋需要同時強制兩個邊界條件，常常計算上很困難。一個有用的放寬是半橋問題：只匹配其中一端。正式地，令 \(R\) 是參考路徑分佈。前向半橋找一個路徑分佈 \(P\)，在唯一的限制 \(P_0=p_{\text{src}}\) 下最小化
$$\min_{P:\,P_0=p_{\text{src}}}\mathcal D_{\text{KL}}(P\Vert R).$$類似地，反向半橋只限制終端分佈：\(\min_{P:\,P_T=p_{\text{tgt}}}\mathcal D_{\text{KL}}(P\Vert R)\)。白話地說，前向半橋問：在所有從想要的初始分佈出發的過程中，哪一個最像參考？反向半橋對「在想要的終端分佈結束」的過程問同樣的問題。把這兩個放寬交替結合，可以逼近完整的 SB。
半橋有封閉形式的解（轉述者補充）
用 KL 的鏈式法則，這次只拆出一個端點：
$$\mathcal D_{\text{KL}}(P\Vert R)=\mathcal D_{\text{KL}}(P_0\Vert R_0)+\mathbb E_{\mathbf x\sim P_0}\Big[\mathcal D_{\text{KL}}\big(P(\cdot\mid\mathbf x_0=\mathbf x)\,\Vert\,R(\cdot\mid\mathbf x_0=\mathbf x)\big)\Big].$$限制只固定 \(P_0=p_{\text{src}}\)，第二項取 0 最好：所以前向半橋的解是 \(P^*=p_{\text{src}}(\mathbf x_0)\,R(\cdot\mid\mathbf x_0)\)，「從 \(p_{\text{src}}\) 出發、然後照參考的動態走」。同理，反向半橋的解是 \(p_{\text{tgt}}(\mathbf x_T)\,R(\cdot\mid\mathbf x_T)\)，「在 \(T\) 從 \(p_{\text{tgt}}\) 出發、照參考的時間反轉倒著走」。這就是為什麼：diffusion 的前向加噪過程（從 \(p_{\text{data}}\) 出發照參考 SDE 走）是前向半橋的最佳解；而 DSB 的反向一步需要參考過程的時間反轉，也就是 score。
diffusion model 錯過精確的端點匹配
diffusion model 和 SB 框架的一個關鍵差別，在於終端分佈 \(p_T\) 的處理。在標準的 diffusion model 裡，前向 SDE 通常對 \(\mathbf x_t\) 是線性的（B10），設計成 \(p_T\) 只在 \(T\to\infty\) 時近似先驗：\(p_T\approx p_{\text{prior}}\)。但在有限時間，\(p_T\) 是 \(\alpha_T\mathbf x_0+\sigma_T\bm\epsilon\) 的分佈，一般仍依賴 \(p_{\text{data}}\)，不必精確等於指定的高斯先驗（書附錄 C 的線性 SDE 封閉解，B35）。相對地，SB 框架透過加入形如 \(g^2(t)\nabla_{\mathbf x}\log\Psi(\mathbf x,t)\) 的額外控制漂移，在有限時間 \(T\) 強制精確的邊際匹配：不論初始資料分佈 \(p_0=p_{\text{data}}\) 是什麼，終端分佈都精確滿足 \(p_T=p_{\text{prior}}\)。總結：
- diffusion model：\(p_T\approx p_{\text{prior}}\)，只在 \(T\to\infty\) 時漸近成立；
- Schrödinger bridge：在有限的 \(T\) 精確地 \(p_T=p_{\text{prior}}\)，靠解出控制位勢 \(\Psi\)、\(\widehat\Psi\) 達成。
Diffusion Schrödinger Bridge
固定的前向加噪過程可以看成相對於選定參考動態、錨定在 \(p_{\text{data}}\) 的前向 Schrödinger 半橋。它的終端邊際是那個參考過程產生的分佈，一般只近似 \(p_{\text{prior}}\)；所以它不是指定的一對 \((p_{\text{data}},p_{\text{prior}})\) 之間的完整橋。
為了處理這一點，Diffusion Schrödinger Bridge（DSB；De Bortoli et al. 2021）依照迭代比例擬合（Iterative Proportional Fitting，IPF）演算法的想法（一種交替投影法），交替地匹配兩個端點邊際，把 diffusion model 擴充成解完整的 SB 問題（書的註腳：雖然這裡用 \(p_{\text{data}}\) 和 \(p_{\text{prior}}\) 描述，DSB 框架適用於任何一對端點分佈）：
- 步驟 0：參考過程。用參考前向 SDE 初始化 \(P^{(0)}:=R_{\text{fwd}}\)：\(d\mathbf x_t=\mathbf f(\mathbf x_t,t)\,dt+g(t)\,d\mathbf w_t\)，\(\mathbf x_0\sim p_{\text{data}}\)。這保證 \(P_0^{(0)}=p_{\text{data}}\)，但通常 \(P_T^{(0)}\ne p_{\text{prior}}\)。
- 步驟 1：反向一趟。計算在時間 \(T\) 匹配 \(p_{\text{prior}}\)、又貼近 \(P^{(0)}\) 的過程： $$P^{(1)}=\arg\min_{P:\,P_T=p_{\text{prior}}}\mathcal D_{\text{KL}}\big(P\Vert P^{(0)}\big).$$ 做法是用神經網路 \(\mathbf s_{\bm\phi^\times}\) 逼近 oracle score，得到反向時間 SDE \(d\mathbf x_t=\big[\mathbf f(\mathbf x_t,t)-g^2(t)\mathbf s_{\bm\phi^\times}(\mathbf x_t,t)\big]dt+g(t)\,d\bar{\mathbf w}_t\)，從 \(\mathbf x_T\sim p_{\text{prior}}\) 倒著模擬。
- 迭代。\(P^{(1)}\) 滿足 \(P_T^{(1)}=p_{\text{prior}}\)，但它的初始邊際 \(P_0^{(1)}\) 通常偏離 \(p_{\text{data}}\)。IPF 接著學一個前向 SDE，把 \(P_0^{(1)}\) 調回 \(p_{\text{data}}\)，再做一次反向一趟強制 \(p_{\text{prior}}\)。這個交替一直繼續，逐步改良，直到收斂到最佳的橋 \(P^*\)，它同時滿足 \(P_0^*=p_{\text{data}}\) 和 \(P_T^*=p_{\text{prior}}\)。De Bortoli et al. (2021) 在溫和的條件下證明了收斂。
轉述者注：步驟 1 正好就是「拿訓練好的 diffusion model，從精確的高斯先驗出發取樣」。由上面補充框的半橋解，\(P^{(1)}=p_{\text{prior}}(\mathbf x_T)\,P^{(0)}(\cdot\mid\mathbf x_T)\)，它的初始邊際 \(P_0^{(1)}\) 偏離 \(p_{\text{data}}\) 的程度，就是「先驗不匹配」造成的誤差。Demo B 精確地算出這個誤差。
上面的 DSB 表述在歷史上很重要、概念上也很清楚，但實作上可能很花計算：前向–反向投影是反覆進行的，每一輪 IPF 都要解一個獨立的 score matching 問題，近似誤差也可能在各輪之間累積。更廣地說，越來越多的工作試圖減輕這些困難，發展穩定性和可擴展性更好的 Schrödinger bridge 表述，有些也減少了在迭代過程中反覆擬合獨立 diffusion model 的需要。書不詳談這些發展，只提出來給有興趣的讀者參考（Shi et al. 2023；Liu et al. 2024）。
Demo B半橋、先驗不匹配，以及 IPF轉述者補充
一維，\(p_{\text{data}}=0.6\,\mathcal N(1.2,0.25^2)+0.4\,\mathcal N(-1,0.2^2)\)、\(p_{\text{prior}}=\mathcal N(0,1)\)。參考是 VP 型的 OU 過程 \(dx=-\frac12x\,dt+dw\)，跑時間 \(T\)，轉移是 \(\mathcal N(e^{-T/2}x,\,1-e^{-T})\)。在 241 點的格子上精確地做 DSB 的靜態版本：步驟 0 是前向半橋（照參考加噪），步驟 1 是反向半橋（把終端換成精確的 \(\mathcal N(0,1)\)、照參考的時間反轉倒回去，也就是理想的 diffusion 取樣），之後交替投影。每一步都是對端點聯合分佈的一次縮放，就是 Sinkhorn／IPF。
投影次數 0 是步驟 0：初始邊際就是 \(p_{\text{data}}\)，但終端邊際和 \(\mathcal N(0,1)\) 不同。投影次數 1 是步驟 1：終端被換成精確的 \(\mathcal N(0,1)\)，倒回去的初始邊際卻偏離 \(p_{\text{data}}\)（左圖的兩個峰高度不對）。這就是「score 精確、但從精確的高斯先驗而不是 \(p_T\) 出發」造成的先驗不匹配。瀏覽器實測的 L1 誤差：
| \(T\) | 步驟 0：\(p_T\) vs. \(\mathcal N(0,1)\) | 步驟 1：生成的 \(p_0\) vs. \(p_{\text{data}}\) | 12 次投影後 |
|---|---|---|---|
| 0.5 | 0.31 | 0.18 | \(1.7\times10^{-2}\) |
| 1 | 0.18 | 0.12 | \(8.3\times10^{-4}\) |
| 2 | 0.098 | 0.044 | \(1.5\times10^{-6}\) |
| 4 | 0.035 | 0.0062 | \(4.0\times10^{-12}\) |
前兩行就是本頁第 5 節的對照：diffusion model 的 \(p_T\approx p_{\text{prior}}\) 只在 \(T\) 大時才好；\(T=4\) 時先驗不匹配只剩 0.6%，\(T=0.5\) 時是 18%。最後一行是 IPF：每一對前向／反向投影都讓誤差下降一個固定的比例，\(T\) 越大下降得越快（上面補充框說的「等效正則化越強」），12 次之後的誤差從 \(T=0.5\) 的 \(1.7\times10^{-2}\) 到 \(T=4\) 的 \(4\times10^{-12}\)：\(T=4\) 時兩端已經幾乎匹配到數值精度，\(T\) 小時還要繼續投影，才會收斂到完整的 SB。下圖每一點是兩端誤差中較大的那一個，因為剛投影過的那一端誤差永遠是 \(10^{-16}\)。