メインコンテンツまでスキップ

イェンセンの不等式とは?

概要 (画像は、Geminiで作成)

💡この記事のゴール

「平均してから対数を取った値(log-sum)は、対数を取ってから平均した値(sum-log)以上になる」というイェンセンの不等式が、なぜ成り立つのかを、対数関数のグラフで説明できるようになること。等号が成り立つ条件と、それが EM アルゴリズムの E-step にどうつながるかを理解すること。

概要​

EMアルゴリズムの記事では、対数尤度が反復のたびに下がらないことを示すために、次の不等式を使いました。

log⁡(∑zq(z) u(z))⏟log-sum:平均してから対数 ≥ ∑zq(z)log⁡u(z)⏟sum-log:対数を取ってから平均(q(z)≥0, ∑zq(z)=1)\underbrace{\log \left( \sum_{z} q(z) \, u(z) \right)}_{\text{log-sum:平均してから対数}} \ \geq \ \underbrace{\sum_{z} q(z) \log u(z)}_{\text{sum-log:対数を取ってから平均}} \qquad \left( q(z) \geq 0, \ \sum_z q(z) = 1 \right)

これが イェンセンの不等式 です(Jensen, 1906)。u(z)u(z) は正の値、q(z)q(z) は合計が1の重みです。左辺は「u(z)u(z) を重み q(z)q(z) で平均してから対数を取ったもの」、右辺は「u(z)u(z) の対数を取ってから、同じ重みで平均したもの」で、違うのは、平均と対数のどちらを先にするかだけです。

EM アルゴリズムでこの不等式が役に立つのは、対数の中に和がある左辺は、パラメータで微分すると項どうしが絡み合って扱いにくい一方、和の中に対数がある右辺は、項ごとに別々に扱えるからです。扱いにくい左辺の代わりに、それを超えない右辺(下限)を大きくしていけば、左辺も押し上げられます。

本記事では、この不等式がなぜ成り立つのかを、対数関数のグラフを使って説明します。2点の場合から始めて、3点以上の場合、等号が成り立つ条件へと進み、最後に Python で数値を確かめます。

💡 動作確認した環境

本記事のコードは、Python 3.13、NumPy 2.5.3、SciPy 1.18.1、matplotlib 3.11.2 で動作を確認しました。どのコードも CPU で数秒で終わります。乱数のシードを固定しているので、同じ環境では同じ結果になります。

グラフの日本語表示には japanize-matplotlib を使います。インストールされていない場合は、事前に次のコマンドを実行してください(Google ColabやJupyterでは先頭の ! を付けたまま、ターミナルでは ! を外して実行します)。Python 3.12 以降で import 時にエラーが出る場合は、setuptools も一緒にインストールしてください。

!pip install japanize-matplotlib setuptools

2点の場合をグラフで見る​

まず、zz が2通りしかない場合を考えます。値を u1,u2u_1, u_2、重みを qq と 1−q1 - q とすると、不等式は次のようになります。

log⁡(q u1+(1−q) u2) ≥ qlog⁡u1+(1−q)log⁡u2\log \big( q \, u_1 + (1 - q) \, u_2 \big) \ \geq \ q \log u_1 + (1 - q) \log u_2

具体的に、u1=1u_1 = 1、u2=9u_2 = 9、重みを q=0.5q = 0.5 ずつにして、両辺を計算してみます。

  • 左辺(log-sum): 平均は 0.5×1+0.5×9=50.5 \times 1 + 0.5 \times 9 = 5 なので、log⁡5≈1.609\log 5 \approx 1.609 です。
  • 右辺(sum-log): log⁡1=0\log 1 = 0、log⁡9≈2.197\log 9 \approx 2.197 なので、その平均は (0+2.197)/2≈1.099(0 + 2.197) / 2 \approx 1.099 です。

たしかに左辺のほうが大きくなりました。この2つの値を、対数関数 log⁡u\log u のグラフの上に描くと、次のようになります。

対数関数 log u の曲線と、u₁ = 1 と u₂ = 9 の2点を結ぶ弦。重み0.5ずつの平均 u = 5 で、曲線上の値 log 5 = 1.609(平均してから対数、log-sum)は、弦の上の値 (log 1 + log 9)/2 = 1.099(対数を取ってから平均、sum-log)より大きい。log は上に凸なので、曲線はいつも弦より上にあり、log-sum ≥ sum-log になる対数関数 log u の曲線と、u₁ = 1 と u₂ = 9 の2点を結ぶ弦。重み0.5ずつの平均 u = 5 で、曲線上の値 log 5 = 1.609(平均してから対数、log-sum)は、弦の上の値 (log 1 + log 9)/2 = 1.099(対数を取ってから平均、sum-log)より大きい。log は上に凸なので、曲線はいつも弦より上にあり、log-sum ≥ sum-log になる

(図は、diagram-designで作成)

2つの値は、どちらも横軸の同じ位置(平均の u=5u = 5)での高さです。

  • 左辺は、曲線上の点の高さ: 横軸で先に平均を取って u=5u = 5 に移り、そこで曲線の高さ log⁡5\log 5 を読んだものです。
  • 右辺は、弦の上の点の高さ: 曲線上の2点 (1,log⁡1)(1, \log 1) と (9,log⁡9)(9, \log 9) を結ぶ線分(弦)を引くと、弦の上の点は、両端の点を重み qq と 1−q1 - q で混ぜた位置にあります。横の位置が qu1+(1−q)u2q u_1 + (1 - q) u_2 になる点では、高さも同じ重みで混ざって qlog⁡u1+(1−q)log⁡u2q \log u_1 + (1 - q) \log u_2 になります。直線の上では、横の位置と高さが同じ割合で動くからです。

つまり、イェンセンの不等式は「同じ横の位置では、曲線のほうが弦より上にある」と言い換えられます。

対数関数が「上に凸」だから、曲線は弦より上にある​

グラフで見ると、log⁡u\log u の曲線は、uu が小さいところでは急に上がり、uu が大きくなるにつれて傾きがゆるやかになる、山なりの形をしています。傾き(微分)は 1/u1/u で、uu が大きいほど小さくなります。

傾きがだんだん小さくなる曲線では、2点を結ぶ弦を引くと、その間の曲線は必ず弦より上にふくらみます。左端から出発すると、曲線は最初のうち弦より急な傾きで上がって弦の上に出て、後半はゆるやかになって右端で弦に追いつかれるからです。このように、どの2点の間でも曲線が弦より上にある関数を 上に凸(concave)と呼びます。式で書くと、どの u1,u2>0u_1, u_2 > 0 とどの 0≤q≤10 \leq q \leq 1 についても、次が成り立つことです。

log⁡(q u1+(1−q) u2) ≥ qlog⁡u1+(1−q)log⁡u2\log \big( q \, u_1 + (1 - q) \, u_2 \big) \ \geq \ q \log u_1 + (1 - q) \log u_2

これは、2点の場合のイェンセンの不等式そのものです。2点の場合のイェンセンの不等式は、「対数関数が上に凸である」ことを式で書いたものだと言えます。

相加平均と相乗平均の関係​

2点の場合の不等式の両辺に exp⁡\exp を取ると、exp⁡\exp は大小を変えないので、次のようになります。

q u1+(1−q) u2 ≥ u1 q u2 1−qq \, u_1 + (1 - q) \, u_2 \ \geq \ u_1^{\,q} \, u_2^{\,1 - q}

左辺は重み付きの相加平均、右辺は重み付きの相乗平均です。q=0.5q = 0.5 なら、高校で習う「相加平均 ≥ 相乗平均」u1+u22≥u1u2\frac{u_1 + u_2}{2} \geq \sqrt{u_1 u_2} そのものです。上の例では、相加平均が 55、相乗平均が 1×9=3\sqrt{1 \times 9} = 3 で、sum-log の 1.0991.099 は、ちょうど log⁡3\log 3 に当たります。log-sum と sum-log の比較は、相加平均と相乗平均の比較を、対数の目盛りで見たものだと言えます。

3点以上でも成り立つ理由​

EM アルゴリズムの下限では、zz が3通り以上の場合も使います。3点の場合を、2点の場合を2回使って確かめます。重みを q1,q2,q3q_1, q_2, q_3(合計1)とし、q1<1q_1 < 1 とします。

まず、2点目と3点目だけを、重みを足して1になるように正規化した重み q21−q1\frac{q_2}{1 - q_1} と q31−q1\frac{q_3}{1 - q_1} で平均した値を uˉ\bar{u} とします。

uˉ=q21−q1u2+q31−q1u3\bar{u} = \frac{q_2}{1 - q_1} u_2 + \frac{q_3}{1 - q_1} u_3

すると、3点の平均は「u1u_1 と uˉ\bar{u} を、重み q1q_1 と 1−q11 - q_1 で平均したもの」と書き直せます。

q1u1+q2u2+q3u3=q1u1+(1−q1) uˉq_1 u_1 + q_2 u_2 + q_3 u_3 = q_1 u_1 + (1 - q_1) \, \bar{u}

これに2点の場合の不等式を、2回使います。

log⁡(q1u1+(1−q1) uˉ)≥q1log⁡u1+(1−q1)log⁡uˉ(u1 と uˉ の2点で使う)≥q1log⁡u1+(1−q1)(q21−q1log⁡u2+q31−q1log⁡u3)(u2 と u3 の2点で使う)=q1log⁡u1+q2log⁡u2+q3log⁡u3\begin{aligned} \log \big( q_1 u_1 + (1 - q_1) \, \bar{u} \big) &\geq q_1 \log u_1 + (1 - q_1) \log \bar{u} && (u_1 \text{ と } \bar{u} \text{ の2点で使う}) \\ &\geq q_1 \log u_1 + (1 - q_1) \left( \frac{q_2}{1 - q_1} \log u_2 + \frac{q_3}{1 - q_1} \log u_3 \right) && (u_2 \text{ と } u_3 \text{ の2点で使う}) \\ &= q_1 \log u_1 + q_2 \log u_2 + q_3 \log u_3 \end{aligned}

3点の場合も成り立ちました。4点以上でも、同じように「1点と、残りの点の平均」の2点に分けることを繰り返せば成り立ちます(数学的帰納法)。

グラフで言えば、曲線上の点をいくつ取っても、それらを重みで混ぜた点(重心)は、点を結んだ多角形の内側にあり、その多角形は曲線の下にあります。重心の横の位置での曲線の高さ(左辺)は、重心の高さ(右辺)以上になる、ということです。

重み q(z)q(z) を確率分布と見ると、∑zq(z) u(z)\sum_z q(z) \, u(z) は、zz が分布 qq に従うときの u(z)u(z) の期待値 Eq[u(z)]\mathbb{E}_q[u(z)] です。そのため、イェンセンの不等式は、期待値を使って次のようにも書けます。

log⁡Eq[u(z)] ≥ Eq[log⁡u(z)]\log \mathbb{E}_q[u(z)] \ \geq \ \mathbb{E}_q[\log u(z)]

隠れた変数 zz が連続の値を取る場合は、和が積分 ∫q(z) u(z) dz\int q(z) \, u(z) \, dz に変わりますが、積分も重み付きの平均なので、同じく成り立ちます。

3点の場合の分け方を図にすると、次のようになります。

3 点以上でイェンセンの不等式が成り立つ理由。2 点目と 3 点目を、重み q_2/(1 − q_1) と q_3/(1 − q_1) で平均した値を ū とすると、3 点の平均は u_1 と ū を重み q_1 と 1 − q_1 で平均したものになる。まず u_1 と ū の 2 点で不等式を使い、次に u_2 と u_3 の 2 点で使うと、log(q_1u_1 + q_2u_2 + q_3u_3) ≥ q_1 log u_1 + q_2 log u_2 + q_3 log u_3 になる。4 点以上も同じ分け方を繰り返す(数学的帰納法)3 点以上でイェンセンの不等式が成り立つ理由。2 点目と 3 点目を、重み q_2/(1 − q_1) と q_3/(1 − q_1) で平均した値を ū とすると、3 点の平均は u_1 と ū を重み q_1 と 1 − q_1 で平均したものになる。まず u_1 と ū の 2 点で不等式を使い、次に u_2 と u_3 の 2 点で使うと、log(q_1u_1 + q_2u_2 + q_3u_3) ≥ q_1 log u_1 + q_2 log u_2 + q_3 log u_3 になる。4 点以上も同じ分け方を繰り返す(数学的帰納法)

(図は、diagram-designで作成)

等号が成り立つ条件​

グラフから、等号が成り立つのは、曲線上の点と弦の上の点が重なるときだけだと分かります。log⁡u\log u は、傾きが少しずつ変わり続ける曲線なので、2点が離れていれば、その間で曲線は必ず弦より上にふくらみます。重なるのは、弦が長さを持たない、つまり u1=u2u_1 = u_2 のとき(または、どちらかの重みが0で、1点だけを見ているとき)です。

3点以上でも同じで、等号が成り立つのは、重みが0でないすべての zz で、u(z)u(z) が同じ値 のときです。

この条件が、EM アルゴリズムの E-step そのものです。EM アルゴリズムの記事では、u(z)=P(ki,z∣θ)/qi(z)u(z) = P(k_i, z \mid \theta) / q_i(z) として、この不等式で対数尤度の下限を作りました。等号の条件「u(z)u(z) が zz によらず一定」は、qi(z)q_i(z) を P(ki,z∣θ)P(k_i, z \mid \theta) に比例させれば満たされます。合計を1にそろえると、qi(z)q_i(z) は隠れた変数の事後確率(負担率)になります。E-step で負担率を計算することは、イェンセンの不等式の等号を成り立たせて、下限を対数尤度にぴったり接触させる操作でした。

Python で確かめる​

不等式と等号の条件​

2点の手計算と、でたらめな値での3点以上の場合、等号の条件を、数値で確かめます。

import numpy as np

# 1. 2点の場合:u = 1 と 9 を、重み 0.5 ずつで平均する
u = np.array([1.0, 9.0])
q = np.array([0.5, 0.5])
print(f"log-sum(平均してから対数): log({q @ u:.1f}) = {np.log(q @ u):.4f}")
print(f"sum-log(対数を取ってから平均): ({np.log(u[0]):.4f} + {np.log(u[1]):.4f}) / 2 = {q @ np.log(u):.4f}")

# 2. 3点以上の場合:でたらめな u と重み q の組を10万通り作り、いつも log-sum ≥ sum-log かを確かめる
rng = np.random.default_rng(0)
n_trials, n_points = 100_000, 5
U = rng.uniform(0.01, 10, size=(n_trials, n_points)) # 正の値 u(z)
W = rng.dirichlet(np.ones(n_points), size=n_trials) # 重み q(z):0以上で、合計が1
gap = np.log((W * U).sum(axis=1)) - (W * np.log(U)).sum(axis=1) # log-sum − sum-log
print(f"\n10万通りでの差(log-sum − sum-log): 最小 {gap.min():.2e} 負になった回数 {(gap < 0).sum()}")

# 3. 等号の条件:u がすべて同じ値なら、差は0になる
u_same = np.full(n_points, 3.0)
w = W[0]
print(f"u がすべて3のとき: log-sum {np.log(w @ u_same):.4f} sum-log {w @ np.log(u_same):.4f}")

イェンセンの不等式の両辺を、いくつかの場合で計算するコードです。

  • (1) 2点の場合: 上の手計算と同じ u=(1,9)u = (1, 9)、重み (0.5,0.5)(0.5, 0.5) で、両辺を計算します。q @ u は、重みと値の内積で、重み付きの平均 ∑zq(z)u(z)\sum_z q(z) u(z) です。q @ np.log(u) は、対数の重み付きの平均 ∑zq(z)log⁡u(z)\sum_z q(z) \log u(z) です。
  • (2) 3点以上の場合: 5点の値 u(z)u(z) と重み q(z)q(z) の組を、乱数で10万通り作り、すべての組で「log-sum − sum-log」が0以上になるかを確かめます。
    • U(10万 × 5): 値 u(z)u(z) です。対数が取れるように、0.01〜10 の正の値から一様に引いています。
    • W(10万 × 5): 重み q(z)q(z) です。rng.dirichlet(np.ones(5)) は、0以上で合計が1になる5つの数を、偏りなくでたらめに引きます。重みの条件(0以上、合計1)を、作るだけで満たせるので使っています。
    • gap(10万): 組ごとの「log-sum − sum-log」です。(W * U).sum(axis=1) が行ごとの重み付きの平均、(W * np.log(U)).sum(axis=1) が行ごとの対数の重み付きの平均です。
    • 10万通り・5点: 結果は、組の数や点の数に左右されないので、どんな組でも不等式が破れないことを見るのに十分な数にしています。
  • (3) 等号の条件: 値をすべて同じ3にして、重みは (2) の1組目を使います。重みがどんな値でも、値がすべて同じなら両辺が一致することを確かめます。

実行結果​

log-sum(平均してから対数): log(5.0) = 1.6094
sum-log(対数を取ってから平均): (0.0000 + 2.1972) / 2 = 1.0986

10万通りでの差(log-sum − sum-log): 最小 3.66e-05 負になった回数 0
u がすべて3のとき: log-sum 1.0986 sum-log 1.0986
  • 2点の場合: 手計算と同じく、log-sum が 1.60941.6094、sum-log が 1.09861.0986 で、log-sum のほうが大きくなりました。
  • 3点以上の場合: 10万通りのどの組でも、差は負になりませんでした。最も小さい差は 3.66×10−53.66 \times 10^{-5} で、5つの値がたまたま近い組です。値が近いほど、曲線上の点が近くに集まり、曲線と弦の隙間が小さくなるからです。
  • 等号の条件: 値がすべて3のときは、重みに関係なく、両辺がどちらも log⁡3≈1.0986\log 3 \approx 1.0986 になりました。

3つの確認の結果を表にすると、次のようになります。

Python での確認の結果。u = 1 と 9(重み 0.5 ずつ)では、log-sum が log 5.0 = 1.6094、sum-log が (0.0000 + 2.1972)/2 = 1.0986 で、log-sum のほうが大きい。ランダムな 10 万通りでは、差(log-sum − sum-log)の最小は 3.66e-05 で、負になった回数は 0。u がすべて 3 のときは、両辺がどちらも 1.0986 で等しいPython での確認の結果。u = 1 と 9(重み 0.5 ずつ)では、log-sum が log 5.0 = 1.6094、sum-log が (0.0000 + 2.1972)/2 = 1.0986 で、log-sum のほうが大きい。ランダムな 10 万通りでは、差(log-sum − sum-log)の最小は 3.66e-05 で、負になった回数は 0。u がすべて 3 のときは、両辺がどちらも 1.0986 で等しい

(図は、diagram-designで作成)

EM アルゴリズムの下限で確かめる​

EM アルゴリズムの記事の、コインの例で確かめます。表が10回中8回出たコイン1枚について、隠れた変数 zz(z=0z = 0 がふつうのコイン、z=1z = 1 がいびつなコイン)の重み q(z)q(z) を変えながら、下限と対数尤度を比べます。パラメータは、EM アルゴリズムの記事の初期値(混入率 π=0.5\pi = 0.5、いびつなコインの表の確率 p=0.6p = 0.6)です。

log⁡P(k)⏟対数尤度(log-sum)=log⁡∑zq(z)P(k,z)q(z) ≥ ∑zq(z)log⁡P(k,z)q(z)⏟下限 B(q)(sum-log)\underbrace{\log P(k)}_{\text{対数尤度(log-sum)}} = \log \sum_{z} q(z) \frac{P(k, z)}{q(z)} \ \geq \ \underbrace{\sum_{z} q(z) \log \frac{P(k, z)}{q(z)}}_{\text{下限 } \mathcal{B}(q)\text{(sum-log)}}
import numpy as np
import matplotlib.pyplot as plt
import japanize_matplotlib
from scipy.stats import binom

# 1. EMアルゴリズムの記事のコイン:表が8回のコイン、パラメータは初期値 π = 0.5、p = 0.6
pi, p, k = 0.5, 0.6, 8
joint = np.array([(1 - pi) * binom.pmf(k, 10, 0.5), # P(k, z=0):ふつうのコインを引き、表が8回
pi * binom.pmf(k, 10, p)]) # P(k, z=1):いびつなコインを引き、表が8回
log_lik = np.log(joint.sum()) # 対数尤度 log P(k)(log-sum)
gamma = joint[1] / joint.sum() # 負担率(事後確率)P(z=1 | k)


def lower_bound(q1, joint):
"""下限 B(q) = Σ_z q(z) log{P(k, z) / q(z)}(sum-log)。q(z=1) = q1、q(z=0) = 1 - q1"""
q = np.array([1 - q1, q1])
return q @ np.log(joint / q)


# 2. q(z=1) をいろいろ変えて、下限が対数尤度を超えないこと、負担率で接することを確かめる
for q1 in [0.1, 0.5, gamma, 0.9]:
print(f"q(z=1) = {q1:.3f}: 下限 {lower_bound(q1, joint):.4f} 対数尤度 {log_lik:.4f} "
f"差 {log_lik - lower_bound(q1, joint):.4f}")

# 3. 可視化:q(z=1) を 0.01〜0.99 で動かしたときの下限
q1s = np.linspace(0.01, 0.99, 197)
plt.figure(figsize=(7, 4))
plt.plot(q1s, [lower_bound(q1, joint) for q1 in q1s], label='下限 B(q)(sum-log)')
plt.axhline(log_lik, color='red', linestyle='--', label=f'対数尤度 log P(k) = {log_lik:.3f}(log-sum)')
plt.axvline(gamma, color='gray', linestyle=':', label=f'負担率 γ = {gamma:.3f}')
plt.xlabel('q(z=1):いびつなコインに割り当てる確率')
plt.ylabel('値')
plt.title('下限は対数尤度を超えず、q が負担率のときに接する')
plt.legend()
plt.grid(True, alpha=0.3)
plt.tight_layout()
plt.show()

コイン1枚について、重み qq を変えながら下限を計算し、対数尤度と比べるコードです。

  • (1) 同時確率 joint: 「種類が zz のコインを引き、かつ表が8回出る」確率 P(k,z)P(k, z) を、z=0,1z = 0, 1 の順に並べた配列です。それぞれ「種類を引く確率(1−π1 - \pi または π\pi)× その種類のコインで表が8回出る確率(二項分布)」で、値は約 0.02200.0220 と約 0.06050.0605 です。
    • log_lik: 2つを足した P(k)P(k) の対数で、イェンセンの不等式の左辺(log-sum)にあたります。
    • gamma: z=1z = 1 の事後確率(負担率)P(z=1∣k)=P(k,1)/P(k)P(z{=}1 \mid k) = P(k, 1) / P(k) です。「表が8回出た」という結果を見たあとで、このコインがいびつなコインである確率を表し、0.0605/(0.0220+0.0605)≈0.7330.0605 / (0.0220 + 0.0605) \approx 0.733 になります。表が8回という偏った結果は、ふつうのコインよりいびつなコインで出やすいので、引く前の確率 π=0.5\pi = 0.5 よりも大きくなります。EM アルゴリズムの記事の手計算の γ(8)≈0.733\gamma(8) \approx 0.733 と同じものです。
  • lower_bound(q1, joint): 重み q=(1−q1, q1)q = (1 - q_1, \ q_1) での下限 B(q)=∑zq(z)log⁡P(k,z)q(z)\mathcal{B}(q) = \sum_z q(z) \log \frac{P(k, z)}{q(z)} です。イェンセンの不等式の u(z)u(z) を P(k,z)/q(z)P(k, z) / q(z) に置き換えた右辺(sum-log)にあたります。joint / q が u(z)u(z) の配列で、その対数と重みの内積を取っています。
  • (2) 重みの比較: q(z=1)q(z{=}1) を、0.1・0.5・負担率・0.9 の4通りにして、下限と対数尤度の差を表示します。負担率の前後の値を選び、負担率のときだけ差が0になるかを見るためです。
  • (3) 可視化: q(z=1)q(z{=}1) を 0.01〜0.99 で動かしたときの下限の曲線に、対数尤度(赤の破線)と負担率の位置(灰色の点線)を重ねます。0と1をよけているのは、q(z)=0q(z) = 0 だと P(k,z)/q(z)P(k, z) / q(z) が0での割り算になるからです。

実行結果​

q(z=1) = 0.100: 下限 -3.3916 対数尤度 -2.4957 差 0.8959
q(z=1) = 0.500: 下限 -2.6187 対数尤度 -2.4957 差 0.1230
q(z=1) = 0.733: 下限 -2.4957 対数尤度 -2.4957 差 0.0000
q(z=1) = 0.900: 下限 -2.5818 対数尤度 -2.4957 差 0.0861

下限と対数尤度

  • 下限は、対数尤度を超えない: q(z=1)q(z{=}1) をどの値にしても、下限は対数尤度 −2.4957-2.4957 以下でした。イェンセンの不等式のとおりです。
  • 負担率のときだけ、ぴったり接する: q(z=1)=0.733q(z{=}1) = 0.733(負担率)のとき、差は 0.00000.0000 になりました。このとき u(z)=P(k,z)/q(z)u(z) = P(k, z) / q(z) は、z=0z = 0 でも z=1z = 1 でも P(k)≈0.0825P(k) \approx 0.0825 になり、「u(z)u(z) がすべて同じ値」という等号の条件を満たします。図でも、下限の曲線は、負担率の位置で対数尤度の線に下から接しています。
  • 負担率から離れるほど、差が大きくなる: 差は、q(z=1)=0.5q(z{=}1) = 0.5 で 0.12300.1230、0.10.1 で 0.89590.8959 でした。この差は、重み qq と事後確率 P(z∣k)P(z \mid k) の分布のずれ(KL ダイバージェンス)に等しくなります(下の折りたたみ)。
差が KL ダイバージェンスになることの導出

同時確率を P(k,z)=P(k) P(z∣k)P(k, z) = P(k) \, P(z \mid k) と分けて、下限の式に入れます。

B(q)=∑zq(z)log⁡P(k) P(z∣k)q(z)=∑zq(z)log⁡P(k)−∑zq(z)log⁡q(z)P(z∣k)\mathcal{B}(q) = \sum_z q(z) \log \frac{P(k) \, P(z \mid k)}{q(z)} = \sum_z q(z) \log P(k) - \sum_z q(z) \log \frac{q(z)}{P(z \mid k)}

第1項は、log⁡P(k)\log P(k) が zz によらず、∑zq(z)=1\sum_z q(z) = 1 なので、log⁡P(k)\log P(k) そのものです。したがって、対数尤度と下限の差は、次のようになります。

log⁡P(k)−B(q)=∑zq(z)log⁡q(z)P(z∣k)=KL(q ∥ P(z∣k))\log P(k) - \mathcal{B}(q) = \sum_z q(z) \log \frac{q(z)}{P(z \mid k)} = \mathrm{KL}\big( q \,\|\, P(z \mid k) \big)

KL ダイバージェンスは、2つの分布が同じときだけ0で、それ以外は正になります。これは、イェンセンの不等式の「差は0以上で、等号は qq が事後確率のときだけ」を、別の角度から言い直したものです。

実行結果の数値でも確かめられます。事後確率は P(z=1∣k)≈0.733P(z{=}1 \mid k) \approx 0.733、P(z=0∣k)≈0.267P(z{=}0 \mid k) \approx 0.267 なので、q(z=1)=0.5q(z{=}1) = 0.5 のとき、次のようになり、実行結果の差 0.12300.1230 と一致します。

0.5log⁡0.50.267+0.5log⁡0.50.733≈0.5×0.629+0.5×(−0.383)≈0.1230.5 \log \frac{0.5}{0.267} + 0.5 \log \frac{0.5}{0.733} \approx 0.5 \times 0.629 + 0.5 \times (-0.383) \approx 0.123

EM アルゴリズムの E-step は、この図の頂点(負担率)を選んで、下限を対数尤度に接触させる操作です。続く M-step では、qq を固定したままパラメータを動かして下限を押し上げます。下限は対数尤度を超えないので、対数尤度も押し上げられます。

下に凸な関数では、向きが逆になる​

ここまでは上に凸な log⁡\log を使いましたが、イェンセンの不等式は、ほかの関数でも成り立ちます。上に凸な関数 ff では、log⁡\log と同じく f(平均)≥平均(f)f(\text{平均}) \geq \text{平均}(f) です。

反対に、f(u)=u2f(u) = u^2 のように、傾きがだんだん大きくなる谷型の関数(下に凸、convex)では、曲線が弦より下にくるので、向きが逆になります。

(∑zq(z) u(z))2 ≤ ∑zq(z) u(z)2\left( \sum_z q(z) \, u(z) \right)^2 \ \leq \ \sum_z q(z) \, u(z)^2

右辺から左辺を引いたものは、重み q(z)q(z) での u(z)u(z) の分散です。この不等式は「分散は0以上」を言い換えたものになっています。どちらの向きになるかは、関数のグラフが山型(上に凸)か谷型(下に凸)かで決まります。

2つの形の関数を並べると、次のようになります。

イェンセンの不等式の向き。log のように上に凸(concave)な関数では、曲線が弦より上にあるので、f(平均) ≥ 平均の f。u² のように下に凸(convex)な関数では、曲線が弦より下にあるので、(Σ q u)² ≤ Σ q u² になり、右辺から左辺を引いたものは u の分散なので、分散は 0 以上を言い換えたものになる。図の曲線の形は説明用イェンセンの不等式の向き。log のように上に凸(concave)な関数では、曲線が弦より上にあるので、f(平均) ≥ 平均の f。u² のように下に凸(convex)な関数では、曲線が弦より下にあるので、(Σ q u)² ≤ Σ q u² になり、右辺から左辺を引いたものは u の分散なので、分散は 0 以上を言い換えたものになる。図の曲線の形は説明用

(図は、diagram-designで作成)

対数変換した予測を戻すときにも現れる​

イェンセンの不等式は、EM アルゴリズム以外でも、身近なところに現れます。売上のように右に裾の長い値を予測するとき、対数 log⁡y\log y に変換してから学習し、予測を exp⁡\exp で元に戻すことがあります。このとき、モデルが予測するのは E[log⁡y]\mathbb{E}[\log y] で、それを戻した exp⁡(E[log⁡y])\exp(\mathbb{E}[\log y]) は、イェンセンの不等式から、平均 E[y]\mathbb{E}[y] 以下になります。

まず、イェンセンの不等式から、対数を取ってから平均した値(sum-log)は、平均してから対数を取った値(log-sum)以下です。これまでの式の左右を入れ替え、戻した予測の側を左に書いています。

E[log⁡y]⏟sum-log ≤ log⁡E[y]⏟log-sum\underbrace{\mathbb{E}[\log y]}_{\text{sum-log}} \ \leq \ \underbrace{\log \mathbb{E}[y]}_{\text{log-sum}}

次に、両辺に exp⁡\exp をかけます。exp⁡\exp は値が大きいほど結果も大きくなる(増加する)関数なので、不等号の向きは変わりません。また、exp⁡\exp と log⁡\log は打ち消し合うので、右辺は E[y]\mathbb{E}[y] に戻ります。

exp⁡(E[log⁡y])⏟戻した予測 ≤ exp⁡(log⁡E[y])=E[y]⏟平均\underbrace{\exp \big( \mathbb{E}[\log y] \big)}_{\text{戻した予測}} \ \leq \ \exp \big( \log \mathbb{E}[y] \big) = \underbrace{\mathbb{E}[y]}_{\text{平均}}

戻した予測は、平均ではなく相乗平均に近い値になるので、合計を小さく見積もります。機械学習による CLV 予測の記事では、対数変換して学習したモデルの予測の合計が、実際の合計の0.689倍にとどまりました。

予測を戻すときの関係を図にすると、次のようになります。

対数変換した予測を戻すときのイェンセンの不等式。E[log y] ≤ log E[y] の両辺に exp をかけると、exp(E[log y]) ≤ E[y] になる。対数のスケールで予測した値を exp で戻した値は、平均ではなく相乗平均に近い値になるので、売上のように右に裾の長い値の合計を小さく見積もる対数変換した予測を戻すときのイェンセンの不等式。E[log y] ≤ log E[y] の両辺に exp をかけると、exp(E[log y]) ≤ E[y] になる。対数のスケールで予測した値を exp で戻した値は、平均ではなく相乗平均に近い値になるので、売上のように右に裾の長い値の合計を小さく見積もる

(図は、diagram-designで作成)

まとめ​

  • イェンセンの不等式: 上に凸な関数 log⁡\log では、平均してから対数を取った値(log-sum)は、対数を取ってから平均した値(sum-log)以上になります。u=(1,9)u = (1, 9) を重み0.5ずつで平均すると、log-sum が 1.6091.609、sum-log が 1.0991.099 でした。
  • グラフでの意味: log-sum は曲線上の点の高さ、sum-log は2点を結ぶ弦の上の点の高さです。log⁡\log は傾きがだんだん小さくなる山なりの関数なので、曲線はいつも弦より上にあります。
  • 3点以上: 「1点と、残りの点の平均」の2点に分けて、2点の場合を繰り返し使えば成り立ちます。10万通りのでたらめな値と重みでも、差が負になることはありませんでした。期待値や積分の形でも同じく成り立ちます。
  • 等号の条件: 重みが0でないすべての zz で u(z)u(z) が同じ値のときだけ、等号が成り立ちます。EM アルゴリズムでは、q(z)q(z) を負担率にするとこの条件が満たされ、下限が対数尤度に接します(コインの例で、q(z=1)=0.733q(z{=}1) = 0.733 のときに差が0)。それ以外の qq での差は、qq と事後確率の KL ダイバージェンスです。

参考文献​

  • J. L. W. V. Jensen (1906). Sur les fonctions convexes et les inégalités entre les valeurs moyennes. Acta Mathematica, 30, 175–193.
  • C. M. Bishop (2006). Pattern Recognition and Machine Learning. Springer.(1.6節でイェンセンの不等式、9.4節で EM アルゴリズムの下限を扱っています)

本記事の文章・構成の一部に生成AIを使用しています。