パラメータ推定 - グリッドベースのアプローチ

序章

近似事後分布 $P_r(\theta|d)$ に対する最も単純な数値的アプローチは規則的なグリッドで評価された(必ずしも正規化されていない)密度値。分布上の積分は単純な合計として近似され、他の標準導出量の計算は非常に簡単です。

グリッドアプローチの長所と短所

グリッドベースの手法の利点

精度/速度。評価の規則的な間隔は最小限の冗長性を意味するため、標準導出の推定誤差はサンプルサイズの増加とともに減少します。
再現性。(グリッドパラメータが固定されていると仮定するだけで、事後密度を直接推定できるため) 再計算しても結果は同じになります。
規則的なグリッドを構築するアルゴリズムは複雑ではないため、シンプルです。
正規化されていない事後値のグリッドを使用できるため、正規化の必要はありません。

グリッドベースの方法の欠点または制限

事後値が重要であるパラメータ値の範囲について、何らかの外部知識が必要です(事前の範囲で十分な場合もありますが、通常は十分ではありません)。
事後誤差がある場合、根底にある「系統的」誤差は周期的であるか、グリッド点間の間隔に応じたスケールで変化します。
このアプローチは、低次元の問題にのみ適しています(パラメーターが 3 ～ 4 を超える問題は計算上実行不可能です)。
任意の次元のグリッドを処理するコードを記述するのは扱いにくい場合があります。

事後サンプル配列を生成し、それを有用な出力に処理するために必要なアルゴリズムは非常に単純で、特に多次元環境では、純粋な数式よりもはるかに単純です。アルゴリズムの観点からそれらを説明する方がはるかに自然です。ここで、バイナリ事後分布 $P_r(θ|d) = P_r(x,y|d)$ 、ここで $N_p = 2、 θ = (x,y)$ ; 高次元 (または低次元) の問題への一般化は概念的に簡単です。

メッシュの生成

グリッドベースの方法の場合、分布 $P_r(x,y|d)$ (つまり、評価する能力) は十分な出発点ではありません。考慮するパラメーター値の範囲を決定するには、いくつかの情報が必要です。 $x_{min}、x_{max}、y_{min}、および y_{max}$ 的值，使得 $P_r(x_{min}≤x≤x_{max}，y_{min} ≤ y ≤ y_{max}|d)$ $\ll$ 1(即，由 $x_{min}、x_{max}、y_{min}和y_{max }$ 境界領域には、ほぼすべての確率が含まれます)。ただし、すべてではないにしても、ほとんどのグリッドポイントが低確率領域に含まれるため、この範囲を単に任意に大きくするだけでは十分ではありません。これを行うための一般的なアルゴリズム (サンプリング法) はありますが、これらに頼らなければならないことは、グリッドベースの手法の目的を大幅に無効にすることになります。したがって、ここでは $x_{min}、x_{max}、y_{min}、および y_{max }$ の妥当な値は外部情報からわかりますが、そのような制約がすぐに利用できない場合、グリッドベースの手法はすぐに役に立たなくなる可能性があることは強調しすぎることはありません。

次に決定すべきことは、列数 $N_cによって与えられるグリッドの解像度です。$ と行数 $N_r$ 意味。この選択は、精度と速度の間のトレードオフの影響を受けます。

$10^2$ より大きい値です。 $1 0^{通常、値2}$ は不要です。製品ラインと同様に、これにもある程度の試行錯誤が必要です。

したがって、グリッドは $x_{\min } \leq x \leq x_{\max } をカバーします。$ 和 $y_{\min } \leq y \leq y_{\max }$ $N_{\mathrm{c}} \times N_{\mathrm{r}}$ の範囲 $N \times N$ 面積は $\Delta x \times \Delta yです。$ の cell 配列 $\Delta x=\left(x_{\max }-x_{\min }\right) / 2$ , $\Delta y=\left(y_{\max }-y_{\min }\right) / 2$ 。この時点から、以下に指定されたアルゴリズムに従います。

1. 各列の組み合わせについて、 $c\left(\in\left\{1,2, \ldots, N_{\mathrm{c}}\right\ } \右）$ と行の組み合わせ $r\left(\in\left\{1,2, \ldots, N_{\mathrm{r}}\right\}\右）$ 計算するには、

$\left(x_{c}, y_{r}\right)=\left[x_{\min }+\frac{c-1 / 2}{N_{\mathrm{c}}}\left(x_{\ max }-x_{\min }\right), y_{\min }+\frac{r-1 / 2}{N_{\mathrm{r}}}\left(y_{\max }-y_{\min }\そうそう]、$

ここで、各グリッドセルの中央にある点が選択されます。

配列内の各要素について、正規化されていない事後確率を計算します。

$。p_{c, r}^{\prime}=\operatorname{Pr}(x, y) \operatorname{Pr}(\boldsymbol{d} \mid x, y) 。$

3. 計算による事後サンプルの数値正規化

$。p_{c, r}=\frac{p_{c, r}^{\prime}}{\sum_{c=1}^{N_{\mathrm{c}}} \sum_{r=1}^{ N_{\mathrm{r}}} p_{c, r}^{\prime}} 。$

このステップは不要な場合もありますが、数値的には安価で、その後の分析が簡素化されます。

事後確率の区分的定数近似は、次のようにして提供されます。

$\begin{ array}{c} \operatorname{Pr}(x, y \mid \boldsymbol{d}) \simeq \frac{1}{\left(x_{\max }-x_{\min }\right)\left( y_{\max }-y_{\min }\right)} \sum_{c=1}^{N_{\mathrm{c}}} \sum_{r=1}^{N_{\mathrm{r}} }\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad\qquad \\ \Theta\left[x-\left(x_{c}-\Delta x / 2\right) \right] \Theta\left[\left(x_{c}+\Delta x / 2\right)-x\right] \Theta\left[y-\left(y_{c}-\Delta y / 2\ right)\right] \Theta\left[\left(y_{c}+\Delta y / 2\right)-y\right] p_{c, r}\qquad\qquad\qquad, \end{array}$

グリッドでカバーされる領域の外側はゼロです。 ${p_{c,r}}$ から取得することもできます。 $p_{c 、}$ すべての x と y に対して定義された分布に従うことになりますが、重要なのは、連続関数 $P_r(x_c,y_r|d) であるということです。$ は、有限の数値集合 ${p_{c,r}}$ 真ん中。

参考文献

https://docslib.org/doc/8720468/parameter-estimation-daniel-mortlock-mortlock-ic-ac-uk-last-modi-ed-september-12-2013

フェローズ、F.、ホブソン、MP、ブリッジズ、M. (2009)。MULTINEST: 宇宙論と素粒子物理学のための効率的で堅牢なベイズ推論ツール。王立天文学協会の月刊通知、398、1601 ～ 1614 年。

ゲルマン、A. およびルービン、DB (1992)。複数のシーケンスを使用した反復シミュレーションからの推論。統計科学、7、457–511。

スキリング、J. (2004)。ネストされたサンプリング。AIP Conference Proceedings of the 24th International Workshop on Bayesian Inference and Maximum Entropy Methods in Science and Engineering、Lecture Notes in Physics、volume 735、Berlin Springer Verlag、395 ～ 405 ページ。