メインコンテンツまでスキップ

DDPMにおける変分下界(ELBO)の導出とノイズ予測 MSE への帰着

概要 (画像は、Geminiで作成)

💡この記事のゴール

DDPM の学習で最小化する変分下界(ELBO)を時刻ごとの KL ダイバージェンスに分解し、条件付きの逆過程 q(xt−1∣xt,x0)q(\mathbf{x}_{t-1} \mid \mathbf{x}_t, \mathbf{x}_0) をガウス分布として導いて、ノイズ予測の二乗誤差(MSE)に帰着するまでの式の流れを、1ステップずつ追えるようになること。時刻ごとの重みを数値で確かめ、重みを1にそろえた簡略化損失 LsimpleL_{\text{simple}} が何を変えているのかを説明できるようになること。

概要と全体像​

DDPM(Denoising Diffusion Probabilistic Models)において、 負の対数尤度の最小化は変分下界(ELBO: Evidence Lower Bound) の最大化(=ELBO損失 LVLBL_{\text{VLB}} の最小化)と同値になります。

一見複雑な確率分布のカルバック・ライブラー(KL)ダイバージェンスの総和である LVLBL_{\text{VLB}} は、以下の 3 つのステップを経て、 「実際に加えたノイズ ϵ\boldsymbol{\epsilon}」と「モデルが予測したノイズ ϵθ\boldsymbol{\epsilon}_\theta」の、時刻ごとの重みが付いた二乗誤差(MSE)に帰着します。DDPM の論文は、さらにこの重みを外した LsimpleL_{\text{simple}} で学習しています。DDPM の仕組みと、LsimpleL_{\text{simple}} で学習する PyTorch のスクラッチ実装は、「DDPM(拡散モデル)とは?Pythonでスクラッチ実装して仕組みを理解する」で解説しています。

  1. マルコフ性の利用によるELBOの項別分解
  2. 条件付き逆過程 q(xt−1∣xt,x0)q(\mathbf{x}_{t-1} \vert{} \mathbf{x}_t, \mathbf{x}_0) のガウス分布による解析的表示
  3. 平均 μθ\boldsymbol{\mu}_\theta からノイズ ϵθ\boldsymbol{\epsilon}_\theta へのパラメータ再表記

全体の流れを図にすると、次のようになります。最後の重みを外す段階だけは等式ではなく、損失の重み付けの変更です。

負の対数尤度は直接計算できないので、Jensen の不等式で変分上界 L_VLB で押さえる。L_VLB はマルコフ性とベイズの定理で時刻ごとの KL ダイバージェンスに分けられ、ガウス分布どうしの KL は平均の二乗誤差と定数になる。平均をノイズ ε の予測で表すと重み付きのノイズの二乗誤差になり、重みを 1 にしたものが L_simple である負の対数尤度は直接計算できないので、Jensen の不等式で変分上界 L_VLB で押さえる。L_VLB はマルコフ性とベイズの定理で時刻ごとの KL ダイバージェンスに分けられ、ガウス分布どうしの KL は平均の二乗誤差と定数になる。平均をノイズ ε の予測で表すと重み付きのノイズの二乗誤差になり、重みを 1 にしたものが L_simple である

ELBO の展開と項の分解​

なぜ負の対数尤度を最小化するのか?​

生成モデルの根本的な目的は、モデルが学習データ(実画像など)x0\mathbf{x}_0 を生成する確率、すなわち尤度 pθ(x0)p_\theta(\mathbf{x}_0) を最大化することです。 これは統計学における最尤推定(Maximum Likelihood Estimation: MLE)のアプローチであり、 数学的にはその対数をとってマイナスを掛けた負の対数尤度 −log⁡pθ(x0)-\log p_\theta(\mathbf{x}_0) を最小化することと同値になります。 モデルが真のデータ分布に近づくほど、この値は小さくなります。

潜在変数と変分下界(ELBO)の導入​

しかし、データ x0x_0 に対する負の対数尤度 −log⁡pθ(x0)-\log p_\theta(x_0) を直接計算・最小化することは困難です。 モデルの生成過程は最終的な x0x_0 だけでなく、そこに至るまでの無数のノイズ状態(潜在変数)x1:Tx_{1:T} を経由するため、以下の式のようにすべての可能な経路を考慮した積分(周辺化)が必要になるからです。

log⁡pθ(x0)=log⁡∫pθ(x0:T)dx1:T\log p_\theta(x_0) = \log \int p_\theta(x_{0:T}) dx_{1:T}

数学や機械学習の解析において、このように対数関数の内側に積分や総和が含まれる形(log⁡∫f(x)dx\log \int f(x) dx)は非常に扱いづらいとされています。 対数の内側で足し合わせが行われていると、各変数に関する項を独立して分解することができず、解析的に数式を解くことができないためです。 また、高次元の潜在空間ですべての経路を計算することも現実的ではありません。

そこで、この複雑な積分を回避するため、拡散過程(順過程)の確率分布 q(x1:T∣x0)q(x_{1:T} \mid x_0) を分母と分子に掛け合わせ、積分の式を期待値の形に書き換えます。

log⁡pθ(x0)=log⁡∫q(x1:T∣x0)pθ(x0:T)q(x1:T∣x0)dx1:T=log⁡Eq(x1:T∣x0)[pθ(x0:T)q(x1:T∣x0)]\log p_\theta(x_0) = \log \int q(x_{1:T} \mid x_0) \frac{p_\theta(x_{0:T})}{q(x_{1:T} \mid x_0)} dx_{1:T} = \log \mathbb{E}_{q(x_{1:T} \mid x_0)} \left[ \frac{p_\theta(x_{0:T})}{q(x_{1:T} \mid x_0)} \right]

ここで、対数関数(log⁡\log)は上に凸な関数です。そのため、イェンセンの不等式(Jensen's Inequality) log⁡E[f(x)]≥E[log⁡f(x)]\log \mathbb{E}[f(x)] \ge \mathbb{E}[\log f(x)] を適用して、期待値と対数の順序を入れ替えます。
これにより対数が式の内側に入るため、数式の展開(分解)が可能になり、計算可能な対数尤度の下界(変分下界:ELBO)が得られます。

log⁡pθ(x0)≥Eq(x1:T∣x0)[log⁡pθ(x0:T)q(x1:T∣x0)]\log p_\theta(\mathbf{x}_0) \ge \mathbb{E}_{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} \left[ \log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} \right]

この不等式は、特定の1つのデータ点 x0\mathbf{x}_0 に対する対数尤度の下界を示しています。 しかし、モデルの学習において最小化したいのは、特定の1点に対する誤差ではなく、データセット全体(すなわちデータ分布 q(x0)q(\mathbf{x}_0))にわたる平均的な負の対数尤度 です。

そのため、まず両辺にマイナスを掛けて不等号の向きを反転させた上で、データ分布 q(x0)q(\mathbf{x}_0) の下での期待値 Eq(x0)\mathbb{E}_{q(\mathbf{x}_0)} を取ります。

Eq(x0)[−log⁡pθ(x0)]≤Eq(x0)[Eq(x1:T∣x0)[−log⁡pθ(x0:T)q(x1:T∣x0)]]\mathbb{E}_{q(\mathbf{x}_0)}\left[ -\log p_\theta(\mathbf{x}_0) \right] \le \mathbb{E}_{q(\mathbf{x}_0)} \left[ \mathbb{E}_{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} \left[ -\log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} \right] \right]

確率の乗法定理 q(x0:T)=q(x0)q(x1:T∣x0)q(\mathbf{x}_{0:T}) = q(\mathbf{x}_0) q(\mathbf{x}_{1:T} \vert \mathbf{x}_0) から、右辺のデータ分布 q(x0)q(\mathbf{x}_0) と条件付き拡散過程 q(x1:T∣x0)q(\mathbf{x}_{1:T} \vert \mathbf{x}_0) の二重の期待値は、データとすべてのノイズ状態の同時分布 q(x0:T)q(\mathbf{x}_{0:T}) による期待値として、以下のように1つにまとめることができます。

Eq(x0)[−log⁡pθ(x0)]≤Eq(x0:T)[−log⁡pθ(x0:T)q(x1:T∣x0)]\mathbb{E}_{q(\mathbf{x}_0)}\left[ -\log p_\theta(\mathbf{x}_0) \right] \le \mathbb{E}_{q(\mathbf{x}_{0:T})}\left[ -\log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} \right]

これによって、左辺(本来最小化したい、データセット全体の平均的な負の対数尤度)を間接的に最小化するための、計算可能な上界が得られます。これが LVLBL_{\text{VLB}} の正体です。ELBO(対数尤度の変分下界)にマイナスを付けたものなので、負の対数尤度から見ると「上界」になります(記号の VLB は variational lower bound(変分下界)の略ですが、損失として使うときは、このように符号を反転した値を指します)。

LVLB=Eq[−log⁡pθ(x0:T)q(x1:T∣x0)]L_{\text{VLB}} = \mathbb{E}_{q}\left[ -\log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} \right]

(※以降、数式を簡潔にするため、データとすべてのノイズ状態の同時分布 q(x0:T)q(\mathbf{x}_{0:T}) による期待値 Eq(x0:T)\mathbb{E}_{q(\mathbf{x}_{0:T})} を、単に Eq\mathbb{E}_{q} と表記します)

直接計算できない負の対数尤度の代わりに、この LVLBL_{\text{VLB}} を最小化することで、間接的に尤度を最大化します。

マルコフ連鎖の性質やベイズの定理を用いてこの式を展開していくと、各タイムステップ tt ごとの KL ダイバージェンスの和に分解することができます。

この変形プロセスを、ステップ・バイ・ステップで追ってみましょう。

LVLBL_{\text{VLB}} の各タイムステップへの分解プロセス​

LVLBL_{\text{VLB}} の定義式の中身にある分数(対数の引数) pθ(x0:T)q(x1:T∣x0)\frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} を分解していきます。

Step 1: マルコフ連鎖の定義の適用​

生成過程(逆過程)および拡散過程(順過程)はどちらもマルコフ連鎖であるため、同時確率および条件付き確率は以下のように展開できます。

  • 生成過程: pθ(x0:T)=p(xT)∏t=1Tpθ(xt−1∣xt)p_\theta(\mathbf{x}_{0:T}) = p(\mathbf{x}_T) \prod_{t=1}^T p_\theta(\mathbf{x}_{t-1} \vert \mathbf{x}_t)
  • 拡散過程: q(x1:T∣x0)=∏t=1Tq(xt∣xt−1)q(\mathbf{x}_{1:T} \vert \mathbf{x}_0) = \prod_{t=1}^T q(\mathbf{x}_t \vert \mathbf{x}_{t-1})

これらを代入すると、以下のようになります。

pθ(x0:T)q(x1:T∣x0)=p(xT)∏t=1Tpθ(xt−1∣xt)∏t=1Tq(xt∣xt−1)\frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} = \frac{p(\mathbf{x}_T) \prod_{t=1}^T p_\theta(\mathbf{x}_{t-1} \vert \mathbf{x}_t)}{\prod_{t=1}^T q(\mathbf{x}_t \vert \mathbf{x}_{t-1})}

ここで、積の最初(t=1t=1)とそれ以外(t≥2t \ge 2)を分けて書き出します。

pθ(x0:T)q(x1:T∣x0)=p(xT)pθ(x0∣x1)∏t=2Tpθ(xt−1∣xt)q(x1∣x0)∏t=2Tq(xt∣xt−1)\frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} = \frac{p(\mathbf{x}_T) p_\theta(\mathbf{x}_0 \vert \mathbf{x}_1) \prod_{t=2}^T p_\theta(\mathbf{x}_{t-1} \vert \mathbf{x}_t)}{q(\mathbf{x}_1 \vert \mathbf{x}_0) \prod_{t=2}^T q(\mathbf{x}_t \vert \mathbf{x}_{t-1})}

Step 2: ベイズの定理による拡散過程の逆向き変形​

拡散過程の遷移確率 q(xt∣xt−1)q(\mathbf{x}_t \vert \mathbf{x}_{t-1}) は、元のデータ x0\mathbf{x}_0 が与えられた状態でもマルコフ連鎖の性質を満たすため、q(xt∣xt−1)=q(xt∣xt−1,x0)q(\mathbf{x}_t \vert \mathbf{x}_{t-1}) = q(\mathbf{x}_t \vert \mathbf{x}_{t-1}, \mathbf{x}_0) です。これをベイズの定理を用いて、条件が逆向きの確率に書き換えます。

q(xt∣xt−1,x0)=q(xt−1∣xt,x0)q(xt∣x0)q(xt−1∣x0)q(\mathbf{x}_t \vert \mathbf{x}_{t-1}, \mathbf{x}_0) = \frac{q(\mathbf{x}_{t-1} \vert \mathbf{x}_t, \mathbf{x}_0) q(\mathbf{x}_t \vert \mathbf{x}_0)}{q(\mathbf{x}_{t-1} \vert \mathbf{x}_0)}

この変形を、分母の t≥2t \ge 2 の積 ∏t=2Tq(xt∣xt−1)\prod_{t=2}^T q(\mathbf{x}_t \vert \mathbf{x}_{t-1}) に代入します。

∏t=2Tq(xt∣xt−1)=∏t=2Tq(xt−1∣xt,x0)q(xt∣x0)q(xt−1∣x0)\prod_{t=2}^T q(\mathbf{x}_t \vert \mathbf{x}_{t-1}) = \prod_{t=2}^T \frac{q(\mathbf{x}_{t-1} \vert \mathbf{x}_t, \mathbf{x}_0) q(\mathbf{x}_t \vert \mathbf{x}_0)}{q(\mathbf{x}_{t-1} \vert \mathbf{x}_0)}

この式の右側の分数の積を展開すると、隣り合う項の分子と分母の間で q(xs∣x0)q(\mathbf{x}_s \vert \mathbf{x}_0) が順番に相殺(テレスコーピング:Telescoping)されます。

∏t=2Tq(xt∣x0)q(xt−1∣x0)=q(x2∣x0)q(x1∣x0)⋅q(x3∣x0)q(x2∣x0)…q(xT∣x0)q(xT−1∣x0)=q(xT∣x0)q(x1∣x0)\prod_{t=2}^T \frac{q(\mathbf{x}_t \vert \mathbf{x}_0)}{q(\mathbf{x}_{t-1} \vert \mathbf{x}_0)} = \frac{q(\mathbf{x}_2 \vert \mathbf{x}_0)}{q(\mathbf{x}_1 \vert \mathbf{x}_0)} \cdot \frac{q(\mathbf{x}_3 \vert \mathbf{x}_0)}{q(\mathbf{x}_2 \vert \mathbf{x}_0)} \dots \frac{q(\mathbf{x}_T \vert \mathbf{x}_0)}{q(\mathbf{x}_{T-1} \vert \mathbf{x}_0)} = \frac{q(\mathbf{x}_T \vert \mathbf{x}_0)}{q(\mathbf{x}_1 \vert \mathbf{x}_0)}

これによって、分母の積は以下のように整理されます。

∏t=2Tq(xt∣xt−1)=(∏t=2Tq(xt−1∣xt,x0))⋅q(xT∣x0)q(x1∣x0)\prod_{t=2}^T q(\mathbf{x}_t \vert \mathbf{x}_{t-1}) = \left( \prod_{t=2}^T q(\mathbf{x}_{t-1} \vert \mathbf{x}_t, \mathbf{x}_0) \right) \cdot \frac{q(\mathbf{x}_T \vert \mathbf{x}_0)}{q(\mathbf{x}_1 \vert \mathbf{x}_0)}

Step 3: 分数全体の再構築と約分​

これを Step 1 の式の分母に代入します。すると、分母にある q(x1∣x0)q(\mathbf{x}_1 \vert \mathbf{x}_0) がちょうど相殺されて消えます。

pθ(x0:T)q(x1:T∣x0)=p(xT)pθ(x0∣x1)∏t=2Tpθ(xt−1∣xt)q(x1∣x0)⋅(∏t=2Tq(xt−1∣xt,x0))⋅q(xT∣x0)q(x1∣x0)=p(xT)pθ(x0∣x1)∏t=2Tpθ(xt−1∣xt)q(xT∣x0)∏t=2Tq(xt−1∣xt,x0)\begin{aligned} \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} &= \frac{p(\mathbf{x}_T) p_\theta(\mathbf{x}_0 \vert \mathbf{x}_1) \prod_{t=2}^T p_\theta(\mathbf{x}_{t-1} \vert \mathbf{x}_t)}{q(\mathbf{x}_1 \vert \mathbf{x}_0) \cdot \left( \prod_{t=2}^T q(\mathbf{x}_{t-1} \vert \mathbf{x}_t, \mathbf{x}_0) \right) \cdot \frac{q(\mathbf{x}_T \vert \mathbf{x}_0)}{q(\mathbf{x}_1 \vert \mathbf{x}_0)}} \\ &= \frac{p(\mathbf{x}_T) p_\theta(\mathbf{x}_0 \vert \mathbf{x}_1) \prod_{t=2}^T p_\theta(\mathbf{x}_{t-1} \vert \mathbf{x}_t)}{q(\mathbf{x}_T \vert \mathbf{x}_0) \prod_{t=2}^T q(\mathbf{x}_{t-1} \vert \mathbf{x}_t, \mathbf{x}_0)} \end{aligned}

この式を、同じタイムステップの変数同士になるようにグループ分け(並び替え)します。

pθ(x0:T)q(x1:T∣x0)=(p(xT)q(xT∣x0))⋅(∏t=2Tpθ(xt−1∣xt)q(xt−1∣xt,x0))⋅pθ(x0∣x1)\frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} = \left( \frac{p(\mathbf{x}_T)}{q(\mathbf{x}_T \vert \mathbf{x}_0)} \right) \cdot \left( \prod_{t=2}^T \frac{p_\theta(\mathbf{x}_{t-1} \vert \mathbf{x}_t)}{q(\mathbf{x}_{t-1} \vert \mathbf{x}_t, \mathbf{x}_0)} \right) \cdot p_\theta(\mathbf{x}_0 \vert \mathbf{x}_1)

Step 4: 負の対数(−log⁡-\log)と期待値 Eq\mathbb{E}_q の適用​

この結果を負の対数尤度の上界(LVLBL_{\text{VLB}})の定義式に適用し、対数の性質を用いて「積を和(∑\sum)に展開」し、さらにマイナスの符号を「対数の分子と分母の反転」に利用します。

LVLB=Eq[−log⁡pθ(x0:T)q(x1:T∣x0)]=Eq[−log⁡(p(xT)q(xT∣x0))−∑t=2Tlog⁡(pθ(xt−1∣xt)q(xt−1∣xt,x0))−log⁡pθ(x0∣x1)]=Eq[log⁡q(xT∣x0)p(xT)]+∑t=2TEq[log⁡q(xt−1∣xt,x0)pθ(xt−1∣xt)]−Eq[log⁡pθ(x0∣x1)]\begin{aligned} L_{\text{VLB}} &= \mathbb{E}_q \left[ -\log \frac{p_\theta(\mathbf{x}_{0:T})}{q(\mathbf{x}_{1:T} \vert \mathbf{x}_0)} \right] \\ &= \mathbb{E}_q \left[ -\log \left( \frac{p(\mathbf{x}_T)}{q(\mathbf{x}_T \vert \mathbf{x}_0)} \right) - \sum_{t=2}^T \log \left( \frac{p_\theta(\mathbf{x}_{t-1} \vert \mathbf{x}_t)}{q(\mathbf{x}_{t-1} \vert \mathbf{x}_t, \mathbf{x}_0)} \right) - \log p_\theta(\mathbf{x}_0 \vert \mathbf{x}_1) \right] \\ &= \mathbb{E}_q \left[ \log \frac{q(\mathbf{x}_T \vert \mathbf{x}_0)}{p(\mathbf{x}_T)} \right] + \sum_{t=2}^T \mathbb{E}_q \left[ \log \frac{q(\mathbf{x}_{t-1} \vert \mathbf{x}_t, \mathbf{x}_0)}{p_\theta(\mathbf{x}_{t-1} \vert \mathbf{x}_t)} \right] - \mathbb{E}_q \left[ \log p_\theta(\mathbf{x}_0 \vert \mathbf{x}_1) \right] \end{aligned}

Step 5: KLダイバージェンスの定義への書き換え​

最後に、KLダイバージェンスの定義 DKL(P∥Q)=EP[log⁡P(x)Q(x)]D_{\text{KL}}(P \parallel Q) = \mathbb{E}_P \left[ \log \frac{P(x)}{Q(x)} \right] に基づいて各項を整理します。

期待値 Eq\mathbb{E}_q (同時分布 q(x0:T)q(\mathbf{x}_{0:T}))の下では、それぞれの項において該当しない確率変数は周辺化によって消去されるため、以下のように最終的に美しいKLダイバージェンスの期待値として分解された式が得られます。

LVLB=EqDKL(q(xT∣x0)∥p(xT))⏟LT (学習パラメータ無)+∑t=2TEqDKL(q(xt−1∣xt,x0)∥pθ(xt−1∣xt))⏟Lt−1 (主となる拡散損失)−Eq[log⁡pθ(x0∣x1)]⏟L0 (再構成誤差)L_{\text{VLB}} = \mathbb{E}_q \underbrace{D_{\text{KL}}(q(\mathbf{x}_T \vert \mathbf{x}_0) \parallel p(\mathbf{x}_T))}_{L_T \text{ (学習パラメータ無)}} + \sum_{t=2}^T \mathbb{E}_q \underbrace{D_{\text{KL}}(q(\mathbf{x}_{t-1} \vert \mathbf{x}_t, \mathbf{x}_0) \parallel p_\theta(\mathbf{x}_{t-1} \vert \mathbf{x}_t))}_{L_{t-1} \text{ (主となる拡散損失)}} - \underbrace{\mathbb{E}_q \left[ \log p_\theta(\mathbf{x}_0 \vert \mathbf{x}_1) \right]}_{L_0 \text{ (再構成誤差)}}

ここで中心となるのは、任意のステップ tt における Lt−1L_{t-1} の項です。

3種類の項を並べると、次のようになります。

マルコフ性とベイズの定理で分解した L_VLB の3種類の項。L_T は q(x_T|x₀) と p(x_T) の KL で、学習するパラメータを含まない。Lₜ₋₁(t = 2〜T)は、条件付きの真の逆過程 q(xₜ₋₁|xₜ, x₀) とモデル p_θ(xₜ₋₁|xₜ) の KL で、主となる拡散損失。L₀ は −log p_θ(x₀|x₁) の再構成誤差マルコフ性とベイズの定理で分解した L_VLB の3種類の項。L_T は q(x_T|x₀) と p(x_T) の KL で、学習するパラメータを含まない。Lₜ₋₁(t = 2〜T)は、条件付きの真の逆過程 q(xₜ₋₁|xₜ, x₀) とモデル p_θ(xₜ₋₁|xₜ) の KL で、主となる拡散損失。L₀ は −log p_θ(x₀|x₁) の再構成誤差

(図は、diagram-designで作成)

条件付き真の逆過程 q(xt−1∣xt,x0)q(\mathbf{x}_{t-1} \vert{} \mathbf{x}_t, \mathbf{x}_0) の導出​

本来、単なる q(xt−1∣xt)q(\mathbf{x}_{t-1} \vert{} \mathbf{x}_t) はデータ全体分布を知る必要があるため計算不能です。 しかし、元データ x0\mathbf{x}_0 で条件付けすることで、ベイズの定理により解析的に解くことが可能になります。

q(xt−1∣xt,x0)=q(xt∣xt−1,x0)q(xt−1∣x0)q(xt∣x0)q(\mathbf{x}_{t-1} \vert{} \mathbf{x}_t, \mathbf{x}_0) = q(\mathbf{x}_t \vert{} \mathbf{x}_{t-1}, \mathbf{x}_0) \frac{q(\mathbf{x}_{t-1} \vert{} \mathbf{x}_0)}{q(\mathbf{x}_t \vert{} \mathbf{x}_0)}

ここで、拡散過程の一括サンプリング公式(αt=1−βt,αˉt=∏s=1tαs\alpha_t = 1 - \beta_t, \bar{\alpha}_t = \prod_{s=1}^t \alpha_s)より:

  • q(xt∣xt−1)=N(xt;αtxt−1,(1−αt)I)q(\mathbf{x}_t \vert{} \mathbf{x}_{t-1}) = \mathcal{N}(\mathbf{x}_t; \sqrt{\alpha_t}\mathbf{x}_{t-1}, (1-\alpha_t)\mathbf{I})
  • q(xt−1∣x0)=N(xt−1;αˉt−1x0,(1−αˉt−1)I)q(\mathbf{x}_{t-1} \vert{} \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_{t-1}; \sqrt{\bar{\alpha}_{t-1}}\mathbf{x}_0, (1-\bar{\alpha}_{t-1})\mathbf{I})
  • q(xt∣x0)=N(xt;αˉtx0,(1−αˉt)I)q(\mathbf{x}_t \vert{} \mathbf{x}_0) = \mathcal{N}(\mathbf{x}_t; \sqrt{\bar{\alpha}_t}\mathbf{x}_0, (1-\bar{\alpha}_t)\mathbf{I})

これらのガウス分布の確率密度関数を代入して指数部を整理すると、q(xt−1∣xt,x0)q(\mathbf{x}_{t-1} \vert{} \mathbf{x}_t, \mathbf{x}_0) もまたガウス分布 N(xt−1;μ~t(xt,x0),β~tI)\mathcal{N}(\mathbf{x}_{t-1}; \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0), \tilde{\beta}_t \mathbf{I}) になることが分かります。 その分散は β~t=1−αˉt−11−αˉtβt\tilde{\beta}_t = \frac{1-\bar{\alpha}_{t-1}}{1-\bar{\alpha}_t}\beta_t で、真の平均 μ~t\tilde{\boldsymbol{\mu}}_t は以下のように定まります。

μ~t(xt,x0)=αˉt−1βt1−αˉtx0+αt(1−αˉt−1)1−αˉtxt\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \frac{\sqrt{\bar{\alpha}_{t-1}}\beta_t}{1-\bar{\alpha}_t} \mathbf{x}_0 + \frac{\sqrt{\alpha_t}(1-\bar{\alpha}_{t-1})}{1-\bar{\alpha}_t} \mathbf{x}_t

x_0 で条件付けた逆過程の関係を図にすると、次のようになります。

条件付きの真の逆過程。q(xₜ₋₁|xₜ) はデータ全体の分布を知る必要があって計算できないが、元のデータ x₀ で条件付けた q(xₜ₋₁|xₜ, x₀) は、ベイズの定理で 3 つのガウス分布から求まる。結果は平均 μ̃ₜ、分散 β̃ₜ = (1 − ᾱₜ₋₁)/(1 − ᾱₜ) · βₜ のガウス分布で、平均は x₀ と xₜ の重み付きの和になる条件付きの真の逆過程。q(xₜ₋₁|xₜ) はデータ全体の分布を知る必要があって計算できないが、元のデータ x₀ で条件付けた q(xₜ₋₁|xₜ, x₀) は、ベイズの定理で 3 つのガウス分布から求まる。結果は平均 μ̃ₜ、分散 β̃ₜ = (1 − ᾱₜ₋₁)/(1 − ᾱₜ) · βₜ のガウス分布で、平均は x₀ と xₜ の重み付きの和になる

(図は、diagram-designで作成)

ガウス分布同士の KL ダイバージェンスの計算​

生成モデルの逆過程 pθ(xt−1∣xt)=N(xt−1;μθ(xt,t),Σθ(xt,t))p_\theta(\mathbf{x}_{t-1} \vert{} \mathbf{x}_t) = \mathcal{N}(\mathbf{x}_{t-1}; \boldsymbol{\mu}_\theta(\mathbf{x}_t, t), \Sigma_\theta(\mathbf{x}_t, t)) と置きます。(※DDPMでは簡単のため分散 Σθ\Sigma_\theta は固定値 σt2I\sigma_t^2 \mathbf{I} とします)
2つの多変量ガウス分布間の KL ダイバージェンスの公式を適用すると、θ\theta によらない定数 CC を除き、「平均の二乗誤差」に帰着します。

Lt−1=Eq[DKL(q(xt−1∣xt,x0)∥pθ(xt−1∣xt))]=Eq[12σt2∥μ~t(xt,x0)−μθ(xt,t)∥2]+CL_{t-1} = \mathbb{E}_q \left[ D_{\text{KL}}(q(\mathbf{x}_{t-1} \vert{} \mathbf{x}_t, \mathbf{x}_0) \parallel p_\theta(\mathbf{x}_{t-1} \vert{} \mathbf{x}_t)) \right] = \mathbb{E}_q \left[ \frac{1}{2\sigma_t^2} \left\Vert{} \tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) - \boldsymbol{\mu}_\theta(\mathbf{x}_t, t) \right\Vert{}^2 \right] + C

定数 CC は、2 つの分布の分散(β~t\tilde{\beta}_t と σt2\sigma_t^2)の違いから生じる項で、平均 μθ\boldsymbol{\mu}_\theta には関係しないので、学習では無視できます。

つまり、モデル pθp_\theta の学習目標は「目標の平均 μ~t\tilde{\boldsymbol{\mu}}_t を予測すること」となります。

ノイズ予測 ϵθ\boldsymbol{\epsilon}_\theta への変換と最終形の導出​

ここで、順過程のサンプリング式 xt(x0,ϵ)=αˉtx0+1−αˉtϵ\mathbf{x}_t(\mathbf{x}_0, \boldsymbol{\epsilon}) = \sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon} (ただし ϵ∼N(0,I)\boldsymbol{\epsilon} \sim \mathcal{N}(\mathbf{0}, \mathbf{I}))を利用して、x0\mathbf{x}_0 を xt\mathbf{x}_t と ϵ\boldsymbol{\epsilon} で書き換えます。

x0=1αˉt(xt−1−αˉtϵ)\mathbf{x}_0 = \frac{1}{\sqrt{\bar{\alpha}_t}}\left( \mathbf{x}_t - \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon} \right)

これを先ほど求めた真の平均 μ~t\tilde{\boldsymbol{\mu}}_t の式に代入して整理すると、驚くほど綺麗な形に代入・消去されます。

μ~t(xt,x0)=1αt(xt−βt1−αˉtϵ)\tilde{\boldsymbol{\mu}}_t(\mathbf{x}_t, \mathbf{x}_0) = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}} \boldsymbol{\epsilon} \right)

この数式構造に対応させるため、ニューラルネットワークの平均予測関数 μθ\boldsymbol{\mu}_\theta も同様の形式にパラメータ化(再定義)します。

μθ(xt,t)=1αt(xt−βt1−αˉtϵθ(xt,t))\boldsymbol{\mu}_\theta(\mathbf{x}_t, t) = \frac{1}{\sqrt{\alpha_t}} \left( \mathbf{x}_t - \frac{\beta_t}{\sqrt{1-\bar{\alpha}_t}} \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t) \right)

この μ~t\tilde{\boldsymbol{\mu}}_t と μθ\boldsymbol{\mu}_\theta を Lt−1L_{t-1} の差分の式に代入します。

μ~t−μθ=βtαt(1−αˉt)(ϵ−ϵθ(xt,t))\tilde{\boldsymbol{\mu}}_t - \boldsymbol{\mu}_\theta = \frac{\beta_t}{\sqrt{\alpha_t(1-\bar{\alpha}_t)}} \left( \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\mathbf{x}_t, t) \right)

これを二乗誤差の式に書き戻すと、以下のようになります。

Lt−1=Ex0,ϵ[βt22σt2αt(1−αˉt)∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2]+CL_{t-1} = \mathbb{E}_{\mathbf{x}_0, \boldsymbol{\epsilon}} \left[ \frac{\beta_t^2}{2\sigma_t^2 \alpha_t (1-\bar{\alpha}_t)} \left\Vert{} \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, t) \right\Vert{}^2 \right] + C

(tt はここでは固定した 1 つの時刻なので、期待値は x0\mathbf{x}_0 と ϵ\boldsymbol{\epsilon} についてだけ取ります。以下、二乗誤差に掛かる係数を λt=βt22σt2αt(1−αˉt)\lambda_t = \frac{\beta_t^2}{2\sigma_t^2 \alpha_t (1-\bar{\alpha}_t)} と書きます。)

ここまでの書き換えを図にまとめると、次のようになります。

平均からノイズの予測への書き換え。x₀ = (xₜ − √(1 − ᾱₜ) ε)/√ᾱₜ を真の平均に代入すると、μ̃ₜ = (xₜ − βₜ/√(1 − ᾱₜ) · ε)/√αₜ になる。モデルの平均 μ_θ も同じ形にして、ε の代わりにノイズの予測 ε_θ(xₜ, t) を入れる。2 つの差は βₜ/√(αₜ(1 − ᾱₜ)) · (ε − ε_θ) になり、Lₜ₋₁ は重み λₜ = βₜ²/(2σₜ² αₜ(1 − ᾱₜ)) が付いたノイズの二乗誤差になる平均からノイズの予測への書き換え。x₀ = (xₜ − √(1 − ᾱₜ) ε)/√ᾱₜ を真の平均に代入すると、μ̃ₜ = (xₜ − βₜ/√(1 − ᾱₜ) · ε)/√αₜ になる。モデルの平均 μ_θ も同じ形にして、ε の代わりにノイズの予測 ε_θ(xₜ, t) を入れる。2 つの差は βₜ/√(αₜ(1 − ᾱₜ)) · (ε − ε_θ) になり、Lₜ₋₁ は重み λₜ = βₜ²/(2σₜ² αₜ(1 − ᾱₜ)) が付いたノイズの二乗誤差になる

(図は、diagram-designで作成)

数値で確かめる​

ここまでの式変形のうち、真の平均の 2 つの書き方が一致すること、ガウス分布どうしの KL が「重み λt\lambda_t × ノイズの二乗誤差 + 定数」と一致することを、乱数のベクトルで確かめます。あわせて、重み λt\lambda_t が時刻 tt でどう変わるかを見ます。

import numpy as np
import matplotlib.pyplot as plt
import japanize_matplotlib # グラフ日本語表示用

# 1. DDPM の論文と同じ線形スケジュール(T = 1000、β は 1e-4 から 0.02)
T = 1000
betas = np.linspace(1e-4, 0.02, T)
alphas = 1.0 - betas
abar = np.cumprod(alphas) # ᾱ_t。配列の添字は t - 1

# 2. 真の平均 μ̃_t の 2 つの書き方(x0 を使う形と ε を使う形)が一致するかを確かめる
rng = np.random.default_rng(0)
t = 500 # 論文の t(1〜T)
a, ab, ab_prev, b = alphas[t - 1], abar[t - 1], abar[t - 2], betas[t - 1]
x0 = rng.standard_normal(16) # 16 次元の「画像」の代わり
eps = rng.standard_normal(16)
xt = np.sqrt(ab) * x0 + np.sqrt(1 - ab) * eps
mu_x0 = np.sqrt(ab_prev) * b / (1 - ab) * x0 + np.sqrt(a) * (1 - ab_prev) / (1 - ab) * xt
mu_eps = (xt - b / np.sqrt(1 - ab) * eps) / np.sqrt(a)
print(f"x0 で書いた平均と ε で書いた平均の差の最大値: {np.abs(mu_x0 - mu_eps).max():.1e}")

# 3. 2 つのガウス分布の KL が「重み × ノイズの二乗誤差 + 定数」と一致するかを確かめる
def kl_gauss(m1, v1, m2, v2):
"""KL(N(m1, v1 I) || N(m2, v2 I))(分散が全成分で等しいガウス分布)"""
d = m1.size
return 0.5 * (d * v1 / v2 + np.sum((m2 - m1) ** 2) / v2 - d + d * np.log(v2 / v1))

beta_tilde = (1 - ab_prev) / (1 - ab) * b # 真の逆過程 q(x_{t-1} | x_t, x0) の分散
sigma2 = b # モデルの分散 σ_t² = β_t(論文の選び方の 1 つ)
const = kl_gauss(mu_x0, beta_tilde, mu_x0, sigma2) # 平均が一致しているときの KL(θ によらない定数)
weight = b ** 2 / (2 * sigma2 * a * (1 - ab))
for scale in [0.0, 0.1, 1.0]:
eps_theta = eps + scale * rng.standard_normal(16) # 予測のずれの大きさを変える
mu_theta = (xt - b / np.sqrt(1 - ab) * eps_theta) / np.sqrt(a)
kl = kl_gauss(mu_x0, beta_tilde, mu_theta, sigma2)
rhs = weight * np.sum((eps - eps_theta) ** 2) + const
print(f"予測のずれ {scale}: KL {kl:.6f}、重み × 二乗誤差 + 定数 {rhs:.6f}")

# 4. 二乗誤差に掛かる重み λ_t = β_t² / (2 σ_t² α_t (1 - ᾱ_t)) が、t によってどう変わるか
lam = betas ** 2 / (2 * betas * alphas * (1 - abar))
for s in [1, 10, 100, 1000]:
print(f"t = {s:4d}: λ_t = {lam[s - 1]:.4f}")

plt.figure(figsize=(8, 4))
plt.semilogy(np.arange(1, T + 1), lam)
plt.xlabel("t"); plt.ylabel("λ_t(対数目盛)")
plt.title("ε の二乗誤差に掛かる重み λ_t(σ_t² = β_t)")
plt.grid(True, which="both", alpha=0.4)
plt.show()

式変形の結果を、数値で 1 つずつ確かめるコードです。

  • スケジュール: DDPM の論文と同じ T=1000T = 1000、βt\beta_t を 10−410^{-4} から 0.020.02 まで線形に増やす設定です。αˉt\bar{\alpha}_t は np.cumprod で累積の積として求めます。
  • 真の平均の確認: 時刻 t=500t = 500 で、16 次元の x0\mathbf{x}_0 と ϵ\boldsymbol{\epsilon} を乱数で作り、xt\mathbf{x}_t を一括サンプリングの式で求めます。μ~t\tilde{\boldsymbol{\mu}}_t を x0\mathbf{x}_0 で書いた形(mu_x0)と ϵ\boldsymbol{\epsilon} で書いた形(mu_eps)で計算し、差を比べます。次元の 16 は、ベクトルでも式が成り立つことを見るための小さな値で、結果は次元によりません。
  • KL と二乗誤差の確認: kl_gauss は、分散が全成分で等しい 2 つのガウス分布の KL を公式どおりに計算します。真の逆過程(分散 β~t\tilde{\beta}_t)とモデル(分散 σt2=βt\sigma_t^2 = \beta_t)の KL を、予測のずれの大きさを 0・0.1・1.0 と変えて計算し、「λt∥ϵ−ϵθ∥2\lambda_t \lVert \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta \rVert^2 + 定数」と比べます。定数は、平均が一致しているときの KL として求めます。
  • 重みの変化: σt2=βt\sigma_t^2 = \beta_t のときの λt=βt2αt(1−αˉt)\lambda_t = \frac{\beta_t}{2\alpha_t(1-\bar{\alpha}_t)} を、t=1t = 1 から 10001000 まで計算し、対数目盛で描きます。

実行結果​

x0 で書いた平均と ε で書いた平均の差の最大値: 2.2e-16
予測のずれ 0.0: KL 0.000003、重み × 二乗誤差 + 定数 0.000003
予測のずれ 0.1: KL 0.000892、重み × 二乗誤差 + 定数 0.000892
予測のずれ 1.0: KL 0.120690、重み × 二乗誤差 + 定数 0.120690
t = 1: λ_t = 0.5001
t = 10: λ_t = 0.0737
t = 100: λ_t = 0.0101
t = 1000: λ_t = 0.0102

ε の二乗誤差に掛かる重み λ_t の、時刻 t による変化

  • 式変形は正しい: 2 つの書き方の平均の差は 2.2×10−162.2 \times 10^{-16}(浮動小数点の誤差)でした。KL と「重み × 二乗誤差 + 定数」も、予測のずれの大きさによらず小数第 6 位まで一致しています。
  • 重みは時刻で大きく違う: λt\lambda_t は t=1t = 1 で 0.50、t=10t = 10 で 0.074 と、小さい tt ほど大きく、t=100t = 100 以降は 0.005〜0.01 程度です。LVLBL_{\text{VLB}} に忠実に学習すると、ノイズがほとんど乗っていない小さい tt の項が損失の大部分を占めることになります。

結論(簡略化損失関数 LsimpleL_{\text{simple}})​

DDPMの論文「Denoising Diffusion Probabilistic Models」(Ho et al., 2020)では、上記損失関数の前についている係数 λt\lambda_t を 1 にした方が、サンプル生成品質が良くなることが実験的に示されました。論文の Table 2(CIFAR-10)では、重み付きの損失(ϵ\boldsymbol{\epsilon} を予測、分散は固定)の FID が 13.51 だったのに対し、重みを外した LsimpleL_{\text{simple}} は 3.17 でした(FID は小さいほど良い)。論文は、重みを外すと小さい tt の項の重みが相対的に下がり、ノイズの多い難しい tt の学習に集中できるためだと説明しています。上の数値の確認で見たとおり、本来の重み λt\lambda_t は小さい tt ほど大きいので、それを 1 にそろえると、小さい tt の項が相対的に軽くなります。
こうして最終的に得られたのが、LsimpleL_{\text{simple}} です。

Lsimple(θ):=Et,x0,ϵ[∥ϵ−ϵθ(αˉtx0+1−αˉtϵ,t)∥2]L_{\text{simple}}(\theta) := \mathbb{E}_{t, \mathbf{x}_0, \boldsymbol{\epsilon}} \left[ \left\Vert{} \boldsymbol{\epsilon} - \boldsymbol{\epsilon}_\theta(\sqrt{\bar{\alpha}_t}\mathbf{x}_0 + \sqrt{1-\bar{\alpha}_t}\boldsymbol{\epsilon}, t) \right\Vert{}^2 \right]

これにより、確率論の複雑なKLダイバージェンスの計算は、 「実際に加えたガウスノイズ ϵ\boldsymbol{\epsilon} と U-Net 等のモデルが予測したノイズ ϵθ\boldsymbol{\epsilon}_\theta の単純な二乗誤差(MSE)」 で学習する形になります。ただし、LsimpleL_{\text{simple}} は LVLBL_{\text{VLB}} と完全に一致するわけではありません。各時刻の項は定数を除いて重み λt\lambda_t 倍の違いしかありませんが、その重みを変えているので、尤度の上界そのものではなく、重み付けを変えた損失です。

本来の重みと、重みを外したときの FID を並べると、次のようになります。

ノイズの二乗誤差に掛かる重み λₜ(σₜ² = βₜ、T = 1000)は、t = 1 で 0.5001、t = 10 で 0.0737、t = 100 で 0.0101、t = 1000 で 0.0102。DDPM の論文の Table 2(CIFAR-10)では、重み付きの損失(ε を予測、分散は固定)の FID が 13.51、重みを外した L_simple が 3.17(小さいほど良い)ノイズの二乗誤差に掛かる重み λₜ(σₜ² = βₜ、T = 1000)は、t = 1 で 0.5001、t = 10 で 0.0737、t = 100 で 0.0101、t = 1000 で 0.0102。DDPM の論文の Table 2(CIFAR-10)では、重み付きの損失(ε を予測、分散は固定)の FID が 13.51、重みを外した L_simple が 3.17(小さいほど良い)

(図は、diagram-designで作成)

まとめ​

本記事では、DDPM(Denoising Diffusion Probabilistic Models)の学習において、一見複雑に見える確率論的なアプローチが、なぜ最終的に極めてシンプルな「ノイズ予測の二乗誤差(MSE)」へと帰着するのか、その数学的な導出プロセスを解説しました。

具体的には、以下のステップに沿って数式を展開し、その本質を紐解きました。

  • 変分下界(ELBO)の導入と分解: 直接計算が困難な負の対数尤度を最小化するために、イェンゼンの不等式を用いて変分下界 LVLBL_{\text{VLB}} を導出し、各タイムステップにおけるKLダイバージェンスの和に分解しました。
  • 条件付き逆過程の解析的表示: 元のデータ x0\mathbf{x}_0 で条件付けることで、通常は計算できない逆過程 q(xt−1∣xt,x0)q(\mathbf{x}_{t-1} \vert{} \mathbf{x}_t, \mathbf{x}_0) をガウス分布として解析的に導出し、その真の平均 μ~t\tilde{\boldsymbol{\mu}}_t を明らかにしました。
  • ノイズ予測へのパラメータ化: ガウス分布間のKLダイバージェンスが平均の二乗誤差に帰着することを示した上で、一括サンプリング公式を用いて「平均の予測」を「ノイズ ϵ\boldsymbol{\epsilon} の予測」へと変換しました。
  • 簡略化損失関数 LsimpleL_{\text{simple}} の導出: 重み λt\lambda_t は小さい tt ほど大きく(t=1t = 1 で 0.50、t=100t = 100 以降は 0.005〜0.01)、それを 1 にそろえた LsimpleL_{\text{simple}} は小さい tt の項を相対的に軽くします。論文では、これで FID が 13.51 から 3.17 に良くなりました。LsimpleL_{\text{simple}} は LVLBL_{\text{VLB}} と一致するのではなく、重み付けを変えた損失であることも確認しました。

拡散モデルは、一見すると難解な確率微分方程式や数式に満ちていますが、その根底にはこのように美しく合理的な数式の展開が存在しています。この基盤となるメカニズムを理解することは、Stable Diffusionなどのより発展的な画像生成AIや、応用モデルを学ぶ上での非常に強力な武器になります。本記事の数値の確認のコードを手元で動かし、時刻 tt や予測のずれを変えて、式変形が成り立つことを確かめてみてください。

参考文献​

本記事の文章・構成の一部に生成AIを使用しています。