1. 指数分布族
1.1 定義
指数族分布 (指数族分布)。指数分布 (指数分布) とは異なります。指数分布族は、特定の分布を指すのではなく、特性を満たす一連の分布の総称です。確率統計では、確率分布が次の式を満たす場合、それを指数族分布と呼びます。
p ( y ; θ ) = b ( y ) exp ( η ( θ ) T ( y ) − A ( θ ) ) p(y;\theta)=b(y)exp\left(\eta(\theta)T (y)-A(\theta)\right)p （および;私）=b ( y ) e x p( η ( θ ) T ( y )−A ( θ ) )
のうち、\etaηは分布の自然パラメータ (自然パラメータ);T ( y ) T(y)T ( y )は十分な統計量であり、通常はT ( y ) = y T(y)=yT ( y )=y。a ( η ) a(\eta)a ( η )は対数分配関数、e − a ( η ) e^{-a(\eta)}e− a ( η )は、確率密度関数が確率変数yyにあることを保証するために、式で正規化の役割を果たしますT , a , b T, a, bの場合、 yの積分はT 、a 、bが決定されると、分布η \etaηはパラメータです。
正規分布、ベルヌーイ分布、指数分布、ポアソン分布、ガンマ分布などの一般的に使用される分布はすべて、指数分布ファミリーに属します。
1.2 ベルヌーイ分布
次の方程式を導出しましょう:
p ( y ; θ ) = θ y ( 1 − θ ) 1 − y = exp ( y log θ + ( 1 − y ) log ( 1 − θ ) ) = exp ( log θ 1 − θ y + log ( 1 − θ ) ) \begin{align}p(y;\theta)&=\theta^y(1-\theta)^{1-y}\\[ 2ex ] & =exp\left(y\log\theta+\left(1-y\right)\log\left(1-\theta\right)\right) \\[2ex] &=exp\left(\log \frac{ \theta}{1-\theta}y+\log(1-\theta)\right)\end{align}p （および;私）な=私y (1−私）1 − y=e × p( _ログ_私+( 1−や）ログ_( 1−私) )=e × p(ログ1−私私y+ログ( 1 _−私) )な
b
( y ) = 1 η ( θ ) = log θ 1 − θ T ( y ) = y A ( θ ) = − log ( 1 − θ ) = log ( 1 ). + e η ( θ ) ) \begin{align} &b(y)=1 \\[2ex] &\eta(\theta)=\log\frac{\theta}{1-\theta}\\[2ex] &T(y )=y \\[2ex] &A(\theta)=-log(1-\theta)=log(1+e^{\eta(\theta)}) \end{align}なb ( y )=1h (私)=ログ_1−私私T ( y )=yあ(私)=−ログ( 1 _ _−私）=ログ( 1 _ _+eh ( i ) )。な
1.3 ガウス分布
平均値μ \muμと分散σ \sigmaσの関数として σ の方程式を決定します
。 − log σ − μ 2 2 σ 2 \begin{align} p(y;\mu,\sigma)&=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{ ( y-\mu)^2}{2\sigma^2}} \\[2ex] &=\frac{1}{\sqrt{2\pi}}e^{\eta(\mu,\sigma) T (y)-\log\sigma-\frac{\mu^2}{2\sigma^2}}\\[2ex]\end{align}p （および;メートル、s )な=午後2時なp1e−2p _2( y − μ )2=午後2時な1eη ( μ , σ ) T ( y ) −ログ_ _p −2p _2メートル2なな
逆方程式を次のようにします。
b ( y ) = 1 2 π η ( σ ) = [ µ σ 2 , − 1 2 σ 2 ] T ( y ) = [ y , y 2 ] A ( θ ) . = µ 2 2 σ 2 + log σ \begin{align} &b(y)=\frac{1}{\sqrt{2\pi}} \\[2ex] &\eta(\sigma)=[\ frac {\mu}{\sigma^2},-\frac{1}{2\sigma^2}]\\[2ex] &T(y)=[y,y^2] \\[2ex] &A( \ theta)=\frac{\mu^2}{2\sigma^2}+\log\sigma\end{align}なb ( y )=午後2時な1時（秒）=[p2メートル、−2p _21]T ( y )=[ y ,y2 ]あ(私)=2p _2メートル2+ログ_pな
1.4 その他の指数分布族
- 多変量分類問題のモデル化に使用される多項分布 (multinomial)。
- ポアソン分布 (Poisson)。Web サイトへの訪問者数、店舗の顧客数などのカウント プロセスをモデル化するために使用されます。
- 待ち時間などの時間間隔をモデル化するために使用されるガンマ分布 (ガンマ) および指数分布 (指数)。
- 確率分布のためのベータ分布 (ベータ) とディリクレ分布 (ディリクレ);
- 共分散行列分布のウィシャート分布 (ウィシャート)。
2. 一般化線形モデル (GLM)
よく知られている線形回帰とロジスティック回帰は glm に属し、線形回帰はガウス分布を仮定し、ロジスティック回帰はベルヌーイ分布を仮定していますが、なぜそうなのかはよくわかっていません。
2.1 3 つの仮定
- 指定された引数xxでxとパラメータθ \thetaθの場合、従属変数yyy は指数分布族に従う
- 与えられたxxx、最終的な目標はT ( y ) T(y)T(y)的期望 E [ T ( y ) ∣ x ] E[T(y)|x] E [ T ( y ) ∣ x ]
- 自然パラメータη \etaη は、独立変数xxxの線形関係η = θ T x η=\theta^Txの=私Tx _
一般化された線形モデルは、フィッティングyyによってフィッティングされます。yの条件付き平均/期待値xxxとパラメータθ \theta与えられたθ )、yyy は指数分布族の分布に適合し、標準の線形モデルを拡張します
2.2 ベルヌーイ分布
ベルヌーイ分布については、二項分類問題であるため、 p ( y ∣ x ; θ ) ∼ ベルヌーイ ( Φ ) p(y|x;\theta) \sim ベルヌーイ(\Phi) を選択します。p ( y ∣ x ;私）～B er n o u ll i ( Φ )の平均はϕ \phiϕは、指数分布族の唯一のパラメーターです。上記の導出によると:
h θ ( x ) = E [ y ∣ x ; θ ] = Φ \begin{align} h_\theta(x) &= E[y|x;\theta] \\[2ex] & =\Phi \end{align}時間私( × )な=E [ y ∣ x ;私]=ふな
η = log ϕ 1 − ϕ = θ T x \begin{align} \eta&=\log\frac{\phi}{1-\phi}\\[2ex] &=\theta^Tx \\[2ex] \end{整列}のな=ログ_1−φφ=私Tx _な
式:
y = 1 1 + e − η = 1 1 + e − θ T x \begin{align} y&=\frac{1}{1+e^{-\eta}}\\[2ex] &= \ frac{1}{1+e^{-\theta^Tx}}\\[2ex]\end{align}yな=1+e−h _1=1+e−私Tx _1 なな
上式はロジスティック回帰の式であり、ロジスティック回帰における y のベルヌーイ分布の仮定に対応します。
2.3 ガウス分布
ガウス分布の場合、yyyの平均はパラメータμ \muμ、上記の導出によると:
y = μ = η = θ T x (σ = 1 と仮定) y=\mu=\eta=\theta^Tx (\sigma=1 と仮定)y=メートル=の=私T x(σを仮定=1 )
上記の式とyyyがガウス分布であるという仮定を繰り返します。
3. GLM モデリング プロセス
- 問題に従って、指数分布族の分布をペアyyとして選択します。yの仮定
- この分布の下でη \etaを計算しますη， 実際にはη = η ( w T ) \eta=\eta(w^T)の=h ( wT)，其中 w T w^T wTは分布の真のパラメーターであり、η \etaηは単純にw T w^TwTをパラメータとする
- この分布の期待値を計算し、η \etaを使用します。ηは、たとえば、上記のベルヌーイ分布でy = ϕ = 1 1 + e − η y=\phi=\frac{1}{1+e^{−η}} を意味します。y=φ=1 + e−h _1
- η = θ T x \eta=\theta^Tx をGLM の仮定に従って置き換えます。の=私T xは GLM モデル
4. まとめ
- 式を定義しましょう: p ( y ; θ ) = b ( y ) exp ( η ( θ ) T ( y ) − A ( θ ) ) p(y;\theta)=b(y)exp\left(\ eta(\theta)T(y)-A(\theta)\right)p （および;私）=b ( y ) e x p( η ( θ ) T ( y )−A (私) )
- 正規分布、ベルヌーイ分布、指数分布、ポアソン分布、ガンマ分布などの一般的に使用される分布はすべて、指数分布ファミリーに属します。
- 一般化された線形モデルは、フィッティングyyによってフィッティングされます。yの条件付き平均/期待値xxxとパラメータθ \theta与えられたθ )、yyy は指数分布族の分布に適合し、標準の線形モデルを拡張します。
この記事は個人の学習記録としてのみ使用され、商用目的で使用されることはありません。ご理解とご協力をお願いいたします。
参考：https://shangzhih.github.io/zhi-shu-fen-bu-zu-he-yan-yi-xian-xing-hui-gui.html