メインコンテンツまでスキップ

MMMとHVAをつなぐマーケティング意思決定のループとは?

概要 (画像は、Geminiで作成)

💡この記事のゴール

MMM関連とHVA関連の記事で学んだ手法を、「測る → モデル化する → 配分する → 狙う → 実行する → 確かめる」という1つの意思決定のループとして捉え直すこと。そのために、MMM(どのチャネルにいくら)とHVA(そのチャネルで誰を)の役割分担、ジオ実験とRCTが両方のモデルの土台になっていること、実験とモデル更新の頻度の決め方、そしてHVAのターゲティングがMMMの前提である応答曲線を変えてしまうという相互作用を理解すること。

概要​

マーケティングの予算の使い方には、大きく2つの問いがあります。

  1. どのチャネルに、いくら配分するか(マクロの意思決定)
  2. そのチャネルで、誰を狙うか(ミクロの意思決定)

1つ目の問いは MMM関連 の記事で、2つ目の問いは HVA関連 の記事で扱っています。MMM関連の記事では、観察データの内生性とジオ実験から始めて、マーケティングミックスモデル(MMM)を推定し、予算配分の最適化まで進みました。HVA関連の記事では、RFM分析から始めて、顧客の将来の価値(CLV)を予測し、施策の効果を評価して、HVA(High Value Audience)分析で「施策によって価値が上がる顧客」を狙う方法までを扱いました。

MMM関連とHVA関連の記事は、それぞれ独立に読めるように書いてきました。しかし実務では、2つの問いは切り離せません。MMMが決めたチャネルの予算は、HVAのターゲティングの予算になります。逆に、HVAで狙う顧客を変えると、そのチャネルの広告の効き方が変わり、MMMの推定の前提が崩れます。そして、どちらのモデルも、実験で確かめた因果効果なしには信頼できません。

本記事では、新しい手法は導入しません。 これまでの記事の手法と結果をつなぎ、次の順に整理します。

  1. 関連記事の地図
  2. MMM(マクロ)とHVA(ミクロ)の役割分担
  3. 実験(ジオ実験・RCT)が、両方のモデルの土台になっていること
  4. 「測る → モデル化する → 配分する → 狙う → 実行する → 確かめる」のループと、実験・モデル更新の頻度の決め方
  5. HVAのターゲティングが、チャネルの応答曲線を変えるという相互作用
💡 記号について

MMMとHVAの記号は、それぞれの記事の書き方に合わせます。MMMでは、チャネル mm の週あたりの広告費を xmx_m、応答曲線(週の広告費 → 週の売上増分)を fm(xm)f_m(x_m)、総予算を BB と書きます(予算配分の記事と同じ)。HVAでは、顧客 ii への施策の効果(価値アップリフト)を τi\tau_i、費用を cic_i、施策を行うかを πi∈{0,1}\pi_i \in \lbrace 0, 1 \rbrace と書きます(HVA分析の記事と同じ)。HVAの記事では施策の予算も BB と書きましたが、本記事では区別のため、チャネル mm に配分された予算(期間全体)を BmB_m と書きます。

関連記事の地図​

MMM関連・HVA関連の記事の関係を図にまとめます。上段がMMM関連の記事、下段がHVA関連の記事で、どちらも「効果を測る」記事と「モデル化する(予測する)」記事を経て、「配分する」「狙う」記事にたどり着きます。中段の「共通の土台」は、効果検証の基本を扱った記事です。

MMM関連・HVA関連の記事の地図。MMM関連の記事とHVA関連の記事が共通の土台から出発し、本記事の意思決定のループで合流するMMM関連・HVA関連の記事の地図。MMM関連の記事とHVA関連の記事が共通の土台から出発し、本記事の意思決定のループで合流する

(図は、diagram-designで作成)

各記事の役割を、表にまとめておきます。

分野記事役割
共通の土台RCT・DiD・CausalImpact・メタラーナー・DR法施策の効果を偏りなく測る方法の基本
MMM内生性観察データでは、広告の効果を正しく測れない理由
MMM合成コントロール法とジオ実験地域単位の実験で、広告の効果を測る
MMMMCMCMMMをベイズ推定するための道具
MMMMMMアドストック・飽和を入れたモデルと、実験によるキャリブレーション
MMMMMMライブラリPyMC-Marketing・Meridian・Robyn での実践
MMM予算配分の最適化応答曲線と限界ROASで、チャネルの予算を決める
HVARFM分析過去の購買の集計と、CLVの定義
HVA生存時間分析契約型のビジネスで、いつ解約するかを予測する
HVABG/NBDモデルとGamma-Gammaモデル非契約型のビジネスで、購買回数と金額を予測する
HVA機械学習によるCLV予測行動ログなどの特徴量から、CLVを予測する
HVAアップリフトモデルの評価施策の効果の予測を、方策価値で評価する
HVAサロゲートインデックス短期の実験から、長期の効果を推定する
HVAHVA分析予算の制約のもとで、施策で価値が上がる顧客を狙う

マクロとミクロの役割分担​

MMMが答える問い:どのチャネルにいくら​

MMMは、チャネルごと・週ごとに集計した広告費と売上から、各チャネルの応答曲線を推定します。予算配分の記事では、毎週同じ額 xmx_m を出し続けた定常状態の応答曲線を、Hill関数 hmh_m と定常アドストック係数 AmA_m を使って次のように書きました。

fm(xm)=βm hm(Amxm)=βm(Amxm)Sm(Amxm)Sm+KmSmf_m(x_m) = \beta_m\, h_m(A_m x_m) = \beta_m \frac{(A_m x_m)^{S_m}}{(A_m x_m)^{S_m} + K_m^{S_m}}

総予算 BB のもとで売上の増分の合計 ∑mfm(xm)\sum_m f_m(x_m) を最大にする配分 xm∗x_m^* では、すべてのチャネルの限界ROAS(応答曲線の傾き)がそろいます(応答曲線が凹関数の場合)。

f1′(x1∗)=f2′(x2∗)=⋯=fM′(xM∗)=λf_1'(x_1^*) = f_2'(x_2^*) = \cdots = f_M'(x_M^*) = \lambda

λ\lambda は「総予算をあと1円増やしたら、売上がいくら増えるか」を表す影の価格です。導出と、S字カーブで局所解に陥る場合の対処は予算配分の記事を参照してください。

HVAが答える問い:そのチャネルで誰を​

一方、HVA分析は、顧客ごとのデータから、施策で価値がどれだけ上がるか(価値アップリフト)τ^i\hat{\tau}_i と費用 c^i\hat{c}_i を予測し、予算の範囲で価値の増加が最大になる顧客を選びます。チャネル mm に配分された予算を BmB_m とすると、HVA分析の記事の問題は次のとおりです。

max⁡π∑i=1Nτ^iπis.t.∑i=1Nc^iπi≤Bm,πi∈{0,1}\max_{\pi} \sum_{i=1}^{N} \hat{\tau}_i \pi_i \quad \text{s.t.} \quad \sum_{i=1}^{N} \hat{c}_i \pi_i \le B_m, \quad \pi_i \in \lbrace 0, 1 \rbrace

τ^i>0\hat{\tau}_i \gt 0 の顧客を「効果 ÷ 費用」τ^i/c^i\hat{\tau}_i / \hat{c}_i の大きい順に、予算に収まるまで選ぶ貪欲法で、十分によい解が得られました。

2つの問いの違い​

2つのモデルは、扱うデータの単位も、因果効果の拠り所も違います。

MMM(マクロ)HVA(ミクロ)
問いどのチャネルに、いくら配分するかそのチャネル・施策で、誰を狙うか
データの単位チャネル × 週(集計データ)顧客(個票データ)
主な成果売上(数週間〜数か月の持ち越しを含む)1年間の粗利・CLV
因果効果の拠り所ジオ実験の結果によるキャリブレーション顧客単位のRCTによる学習と評価
出力応答曲線・限界ROAS・配分 xm∗x_m^*価値アップリフト・方策 π\pi
扱えないことチャネルの中で、誰に届けるかチャネル間の配分、顧客を特定できない媒体(TVなど)

MMMは、TVのように顧客を特定できない媒体も含めて、すべてのチャネルを同じ物差しで比べられます。その代わり、チャネルの中で「誰に届けるか」は分かりません。HVA分析は、顧客を特定して施策を届けられる場面(メール・アプリ・顧客リストを使う広告など)でしか使えませんが、チャネルの中での配り方を最適にできます。

2つのモデルは、予算 BmB_m でつながっています。 MMMが決めたチャネル mm の配分 xm∗x_m^*(を期間全体に直したもの)が、HVAのターゲティングの予算 BmB_m になります。

💡 2つの「限界の効率」をそろえる

MMMの最適配分では、チャネルの限界ROAS fm′(xm∗)f_m'(x_m^*) がすべて λ\lambda にそろいます。HVAの貪欲法でも、最後に選ばれた顧客の「効果 ÷ 費用」τ^i/c^i\hat{\tau}_i / \hat{c}_i が、その予算での「あと1円増やしたら価値がいくら増えるか」に当たります。成果の単位(MMMは売上、HVAは粗利)をそろえれば、どちらも「最後の1円の効率をそろえる」という同じ考え方です。チャネルの間では限界ROASを、チャネルの中では顧客の「効果 ÷ 費用」の足切りをそろえる、と整理できます。

実験が両方の土台になる​

観察データだけでは、どちらのモデルも偏る​

MMMもHVA分析も、観察データだけで推定すると、因果効果を大きく見誤ります。広告費や施策の配り方が、売上や購買の見込みに反応して決まるからです(内生性の記事)。MMM関連・HVA関連の記事では、どちらでも同じ構造の偏りを確かめました。

分野観察データだけで推定した場合実験を使った場合真の値
MMM(MMMの記事)検索広告の平均売上貢献 48.1 /週(約1.8倍の過大推定)2つのジオ実験でキャリブレーション:27.5 /週26.6 /週
HVA(アップリフトモデルの評価の記事)過去のキャンペーンの単純な差:30日の購買率 +33.4ポイント(約3倍)RCT の施策群と対照群の差:+10.7ポイント+11.0ポイント

表の数値を並べると、次のようになります。

MMM では、検索広告の平均売上貢献が、観察データだけで 48.1 /週、2 つのジオ実験でキャリブレーションすると 27.5 /週、真の値は 26.6 /週。HVA では、30 日の購買率の差が、過去のキャンペーンの単純な差で +33.4 ポイント、RCT で +10.7 ポイント、真の値は +11.0 ポイントMMM では、検索広告の平均売上貢献が、観察データだけで 48.1 /週、2 つのジオ実験でキャリブレーションすると 27.5 /週、真の値は 26.6 /週。HVA では、30 日の購買率の差が、過去のキャンペーンの単純な差で +33.4 ポイント、RCT で +10.7 ポイント、真の値は +11.0 ポイント

(図は、diagram-designで作成)

MMMでは、需要が高い時期ほど検索広告費が増えるため、需要の分まで広告の効果に見えてしまいました。HVAでは、最近訪問した、買いそうな顧客ほどクーポンが配られていたため、もともと買う顧客の購買まで施策の効果に見えてしまいました。仕組みは同じで、広告や施策が「効きそうなところ」ではなく「どうせ売れるところ」に集まることが原因です。

ジオ実験はMMMを、RCTはHVAを支える​

この偏りを断つのが実験です。ただし、MMMとHVAで使う実験の種類と、実験結果の使い方は異なります。

ジオ実験(地域単位)RCT(顧客単位)
割り付けの単位地域顧客
使える媒体TV・検索広告など、地域で出稿を変えられる媒体メール・アプリ・顧客リストを使う広告など
測れるものその出稿水準でのリフト(応答曲線の1点)施策の効果(顧客ごとの効果の学習データ)
結果の使い方MMMのキャリブレーション(尤度として追加)アップリフトモデルの学習と、方策価値による評価
担当記事合成コントロール法とジオ実験RCT・アップリフトモデルの評価

ジオ実験で内生性が消える理由(出稿を設計で固定して「需要 → 広告量」の経路を断ち、合成コントロール法で観測できない地域差を補正する)は、合成コントロール法の記事で説明しました。

どちらの実験も、測れるのは その実験の条件での効果 だけです。ジオ実験で分かるのは、実験した出稿水準でのリフトであり、応答曲線全体ではありません。MMMの記事では、出稿水準の低い実験1つだけでは検索広告の過大推定を補正しきれず(42.1 /週)、水準の高い実験を加えて初めて真値の近くまで補正できました。RCT も同じで、実験で分かるのは「実験した施策を、実験した顧客の集団に配ったときの効果」です。

そこで、実験で確かめた局所的な事実を、モデルで広げる、という役割分担になります。MMMは、ジオ実験で確かめたリフトを手がかりに、実験していない出稿水準やチャネルの効果を応答曲線として推定します。アップリフトモデルは、RCT のデータから、まだ施策を行っていない顧客の効果を予測します。逆に言えば、モデルの予測が実験の条件から離れるほど(過去に出したことのない予算、実験していない顧客層)、モデルの外挿に頼る度合いが大きくなります。

長期の効果は、サロゲートでつなぐ​

もう1つの共通の課題が、効果の時間の長さです。ジオ実験もRCTも、実施期間は数週間〜数か月が普通です。一方、HVA分析で最大にしたいのは1年間の粗利やCLVで、広告にもブランドへの印象を通じた長期の効果があります。

サロゲートインデックスの記事では、短期の効果(30日の購買率)と長期の効果(1年の売上)がずれ、30日の購買率だけで見積もると長期の効果を大きく過大評価することを確かめました。観察データで「短期指標 → 長期の結果」のモデルを作り、実験データに当てはめることで、1年待たずに長期の効果を推定できます。同じ考え方は、MMMの長期効果の推定にも使えます。

意思決定のループ​

ループの6つの段階​

ここまでの話を、1つのループとしてまとめます。

マーケティング意思決定のループ。測る、モデル化する、配分する、狙う、実行する、確かめるの6段階が回り、結果がMMMとHVAが共有する確かめた因果効果に書き戻されるマーケティング意思決定のループ。測る、モデル化する、配分する、狙う、実行する、確かめるの6段階が回り、結果がMMMとHVAが共有する確かめた因果効果に書き戻される

(図は、diagram-designで作成)

  1. 測る:ジオ実験とRCTで、因果効果を直接測ります。ループの起点で、他のすべての段階はこの結果を頼りにします。
  2. モデル化する:ジオ実験の結果でキャリブレーションしたMMMと、RCT のデータで学習したアップリフトモデル(価値アップリフト・CLVの予測)を作ります。
  3. 配分する:MMMの応答曲線から、限界ROASがそろうようにチャネルの予算 xm∗x_m^* を決めます。
  4. 狙う:チャネルの予算 BmB_m の範囲で、「効果 ÷ 費用」の大きい顧客を選びます。顧客を特定できないチャネルでは、この段階はなく、配分した予算をそのまま出稿します。
  5. 実行する:配分とターゲティングを実行します。このとき、比較のための対照群(ホールドアウト)を必ず残しておきます。 対照群がないと、次の段階で効果を確かめられません。
  6. 確かめる:ホールドアウトと比べて、実行した配分やターゲティングの効果を確かめます。ターゲティングの方策の価値はDRスコアによる方策価値の推定で、長期の効果はサロゲートインデックスで見積もれます。この結果が、次の「測る」の材料になり、ループの最初に戻ります。

図の中央は、各段階が書き戻す「確かめた因果効果」です。実験の結果、ホールドアウトとの比較、MMMの事後分布は、どれも次のループの出発点になります。1回の分析で終わるのではなく、ループを回すたびにこの「確かめた因果効果」が増え、モデルが現実に近づいていく、というのがループの考え方です。

どの頻度で実験し、いつMMMを更新するか​

ループの速さは、段階ごとに違います。次の表は、頻度の決め方の目安の例です(業種・予算規模・データの量によって変わります)。

何を頻度の目安前倒しするきっかけ
MMMの再推定四半期ごと(データが十数週分たまるたび)新しい実験の結果が出た、配分やターゲティングを大きく変えた
ジオ実験チャネルを順番に、年に数回次の3つの条件に当てはまるチャネルが出てきた
顧客単位のRCT・ホールドアウト施策ごとに、常に対照群を残す新しい施策や、新しいターゲティングのルールを始める
長期の効果の確認実験ごとにサロゲートで推定し、年に1回程度は長期の結果を直接確かめる新しい種類の施策を始める

ジオ実験は、売上の機会の損失やテスト地域の確保にコストがかかるので、どのチャネルから実験するかを選ぶ必要があります。優先すべきなのは、次の条件に当てはまるチャネルです。

  • 効果の不確実性が大きい:MMMの事後分布の幅が広いチャネルです。MMMの記事の多重共線性の例のように、データだけでは効果を切り分けられないチャネルは、実験でしか確かめられません。
  • 決定への影響が大きい:事後分布を使った予算配分で、推奨配分のばらつきが大きいチャネルです。効果の見積もりが少し変わるだけで、配分が大きく変わります。
  • 過去のデータの範囲の外に出る:最適化の結果、これまでに出したことのない予算が推奨されたチャネルです。応答曲線の外挿に頼っているので、実験した水準とは別の水準で確かめる価値があります。

また、予算配分の記事で紹介したトンプソンサンプリングのように、配分そのものに探索を織り込むと、実験をしなくても、効果の分からないチャネルのデータが自然に集まります。ただし、観察データである以上、内生性の問題は残るので、実験の代わりにはなりません。

予測精度ではなく、実験で確かめる​

ループを回すときに注意したいのは、モデルの良し悪しを予測精度で判断しない ことです。MMMの記事では、実験を入れないモデルの方がホールドアウト期間の予測誤差は小さいのに、検索広告の効果は大きく過大推定していました。アップリフトモデルの評価の記事でも、AUCが最も高い反応モデルが、施策の効果の大きい顧客を最も選べませんでした。

どちらも、「売上や購買を当てる力」と「施策を変えたときに何が起きるかを当てる力」は別物だ、ということです。ループの「確かめる」段階で使う物差しは、予測精度ではなく、実験やホールドアウトとの比較で測った因果効果です。

ターゲティングが応答曲線を変える​

HVAの予算曲線も、応答曲線である​

MMMとHVAをつなぐうえで、最も注意が必要な相互作用があります。HVAのターゲティングを導入すると、そのチャネルの応答曲線が変わる ことです。

HVA分析の記事では、予算を変えたときの粗利の増加を、3つの方策で比べました。予算100万円での粗利の増加は、ランダムに選ぶと15.9万円、pCLVの上位を選ぶと24.1万円、価値アップリフト ÷ 費用の順に選ぶと212.3万円でした。そして、予算を増やすほど1円あたりの増加は小さくなり、曲線は寝ていきました。

3つの方策の粗利の増加を並べると、次のようになります。

HVA 分析の記事の、予算 100 万円での粗利の増加。ランダムに選ぶと 15.9 万円、pCLV の上位を選ぶと 24.1 万円、価値アップリフト ÷ 費用の順に選ぶと 212.3 万円HVA 分析の記事の、予算 100 万円での粗利の増加。ランダムに選ぶと 15.9 万円、pCLV の上位を選ぶと 24.1 万円、価値アップリフト ÷ 費用の順に選ぶと 212.3 万円

(図は、diagram-designで作成)

この「予算 → 価値の増加」の曲線は、MMMの応答曲線 fm(xm)f_m(x_m)(週の広告費 → 週の売上増分)と同じ形の、「予算 → 増分」の曲線です。効果の大きい顧客から順に予算を使うので、予算を増やすほど効果の小さい顧客に届くことになり、収穫逓減の形になります。そして、同じ予算でも、誰を狙うか(方策 π\pi)によって曲線の高さも形も変わります。 つまり、応答曲線は本来、ターゲティングの方策にも依存しています。

fm(xm)  ⟶  fm(xm; π)f_m(x_m) \;\longrightarrow\; f_m(x_m;\ \pi)

MMMは、過去のデータが作られたときのターゲティング(ランダムに近い配信、pCLVの上位への配信など)のもとでの応答曲線を推定しています。HVAのターゲティングに切り替えると、同じ予算でも売上の増分が変わるので、過去のデータで推定した応答曲線は、もう今の状態を表していません。

何が起きるか​

具体的には、次のようなことが起きえます。

ターゲティングを変えたときの応答曲線の変化を模式的に描くと、次のようになります。

模式図。横軸はチャネルの予算、縦軸は増分。過去のデータで MMM が推定した応答曲線 f(x; 過去の方策) は緩やかに立ち上がる。HVA のターゲティングに切り替えた f(x; HVA の方策) は、少ない予算での傾き(限界 ROAS)が大きく、狙う価値のある顧客が尽きると早く頭打ちになる。曲線の形は説明用模式図。横軸はチャネルの予算、縦軸は増分。過去のデータで MMM が推定した応答曲線 f(x; 過去の方策) は緩やかに立ち上がる。HVA のターゲティングに切り替えた f(x; HVA の方策) は、少ない予算での傾き(限界 ROAS)が大きく、狙う価値のある顧客が尽きると早く頭打ちになる。曲線の形は説明用

(図は、diagram-designで作成)

  • 応答曲線の立ち上がりが急になる:効果の大きい顧客から狙うので、少ない予算での1円あたりの効果(限界ROAS)が上がります。
  • 飽和が早くなる:狙う価値のある顧客の数には限りがあるので、予算を増やすと早く頭打ちになります。HVA分析で、効果がマイナスと予測される顧客には予算が余っても配らないとしたのは、この上限を表しています。
  • 配分の結論が変わる:応答曲線が変われば、限界ROASがそろう配分 xm∗x_m^* も変わります。古い応答曲線のまま配分を決めると、ターゲティングで効率が上がったチャネルに予算を回しそこねたり、逆に飽和したチャネルに予算を積みすぎたりします。

これは、CausalImpactの記事で見た「関係の安定」の前提が崩れるのと同じ構造です。MMMは、学習期間の間、広告費と売上の関係が変わらないことを前提にしています。ターゲティングを変えた前後のデータを区別せずに1つのMMMで推定すると、2つの状態の平均のような、どちらとも違う応答曲線が推定されてしまいます。

どう対処するか​

ループの考え方に沿えば、対処は「変えたら測り直す」です。

  1. ターゲティングを変えたチャネルは、ジオ実験で測り直す:新しいターゲティングを実施地域だけで行うジオ実験にすれば、そのチャネルの「新しい方策のもとでのリフト」が測れます。この結果で、MMMをキャリブレーションし直します。
  2. MMMの学習期間を区切る:ターゲティングを変えた時点の前後で、応答曲線が変わりうることを前提に、変更後のデータの比重を高めたり、変更前後で効果のパラメータを分けたりします。
  3. HVAの予算 BmB_m を、配分の見直しにあわせて更新する:MMMの配分が変われば、HVAで狙う顧客の足切り(最後に選ばれる顧客の「効果 ÷ 費用」)も変わります。

逆向きの相互作用もあります。MMMの配分でチャネルの予算が大きく増えると、HVAの貪欲法は「効果 ÷ 費用」の小さい顧客まで狙うことになり、1円あたりの効果は下がります。MMMとHVAは、どちらか一方を先に決めて終わりではなく、ループを回しながら互いの前提を更新していく関係にあります。

実務でループを回すときの注意​

  • 成果の物差しをそろえる:MMMは売上(数週間〜数か月)、HVAは1年間の粗利で効果を測りました。チャネルの間とチャネルの中で「最後の1円の効率」を比べるには、粗利率を掛けて売上を粗利に直すなど、物差しをそろえる必要があります。長期の効果まで含める場合は、サロゲートインデックスで短期の結果を長期の結果に読み替えます。
  • ホールドアウトを残し続ける:ターゲティングを始めると、全員に最適な施策を配りたくなります。しかし、対照群がなくなると、施策の効果も、ターゲティングの価値も測れなくなります。HVA分析の記事で注記したとおり、方策を作ったのと同じデータで評価すると楽観的になりうるので、評価には改めて実験を行うのが確実です。
  • 効果のシグナルは小さい:広告の効果は、売上のばらつきに比べて非常に小さく、実験でも測るのに大きなサンプルが必要です(Lewis & Rao, 2015。内生性の記事でも紹介しました)。実験の検出力を事前に計算し、測れない実験は行わない判断も必要です(ジオ実験の設計)。
  • 最適化の結果は、段階的に適用する:推奨配分を一度に全面適用せず、効果を確かめながら少しずつ動かします(予算配分の記事のまとめ)。ターゲティングも、一部の顧客やチャネルから始め、ホールドアウトとの比較で効果を確かめてから広げます。
  • キャリブレーションの方法はライブラリによって異なる:ジオ実験の結果をMMMに取り込む方法は、尤度として加える方法(MMMの記事)、実験結果を事前分布に反映する方法(Zhang et al., 2024)、実験結果とのずれを目的関数に加える方法(Robyn)などがあります。ライブラリごとの違いはMMMライブラリの記事で比べました。MMMが実務で答えにくい問いと、その改善の方向は、Chan & Perry (2017) にもまとまっています。

まとめ​

本記事では、MMM関連とHVA関連の記事を、1つの意思決定のループとしてつなぎ直しました。

  • マクロとミクロの役割分担:MMMは「どのチャネルにいくら」を、チャネル × 週の集計データから決めます。HVA分析は「そのチャネルで誰を」を、顧客ごとのデータから決めます。MMMが決めたチャネルの予算が、HVAのターゲティングの予算になります。どちらも「最後の1円の効率をそろえる」という同じ考え方です。
  • 実験が両方の土台:観察データだけでは、MMMもHVA分析も、「どうせ売れるところ」に広告や施策が集まることによる偏りで、効果を大きく見誤りました。ジオ実験はMMMのキャリブレーションに、RCTはアップリフトモデルの学習と評価に使います。実験で確かめた局所的な事実を、モデルで広げるという役割分担です。
  • ループの設計:「測る → モデル化する → 配分する → 狙う → 実行する → 確かめる」を回し、確かめた因果効果を積み上げます。ジオ実験は、不確実性が大きく、決定への影響が大きく、過去のデータの範囲の外に出るチャネルから優先します。モデルの良し悪しは、予測精度ではなく、実験やホールドアウトとの比較で判断します。
  • ターゲティングと応答曲線の相互作用:HVAのターゲティングを導入すると、そのチャネルの応答曲線が変わり、MMMの前提が崩れます。ターゲティングを変えたら、ジオ実験で測り直してMMMをキャリブレーションし直す、というようにループを回し続ける必要があります。

マーケティングの意思決定は、1つのモデルを作って終わりではありません。実験で確かめ、モデルで広げ、配分し、狙い、その結果をまた確かめる。このループを回し続けることが、MMMとHVA分析の両方を信頼できるものにする、最も確実な方法です。

参考文献​