【線形代数 07】マルコフ行列とフーリエ行列

  この記事は、行列式と固有値の適用例として見ることができます。ただし、私が興味がある部分、つまり離散ソース チャネル モデルと循環行列の対角化について説明します。

マルコフ行列

この行列は確率理論における確率の定義から導出されるため、各要素は実際には負ではない確率値になります。マルコフ行列 (マルコフ行列) は、確率行列 (確率行列)、遷移確率行列 (遷移確率行列) とも呼ばれます。英語の数学文献の慣例では、確率の行ベクトルと確率の右ランダム行列を使用することになっているため、 を参照してください。 Wikipedia へ 上記の定義は次のとおりです。

ランダム行列は有限状態空間SSを記述しますマルコフ連鎖X t X_ton$S$${バツ}_{}$、iiからのタイムステップ内の場合$私は$JJに$j\; が$移動する確率は$Pr(j|i)=P_{私、}$、ランダム行列$ピーズ$Ⅱ_$i$行、jj$j$列要素は、Pi , j P_{i,j}で構成されます。$P_{私、}$出：
$$P=\lfloor \begin{array}{cccccc}{P}_{1、1\_}& P_{1、2\_}& \dots & P_{1、}& \dots & P_{1、}\\ P_{2、1\_}& P_{2、2\_}& \dots & P_{2、}& \dots & P_{2、}\\ ⋮& ⋮& \ddots & ⋮& \ddots & ⋮\\ P_{私、}& P_{私、}& \dots & P_{私、}& \dots & P_{私、}\\ ⋮& ⋮& \ddots & ⋮& \ddots & ⋮\\ P_{S、}& P_{Ｓ、}& & P_{S、}& & P_{S、}\end{array}\rfloor 。$$

自然

明らかな結論は、行列$P$の固有値は$1$ (右のランダム行列に対応し、各行の合計が 1、各列の合計が 1 の場合、転置検証を行うだけです。同じ理由)、つまりP
$$Px\_=1\cdot$$
確率の完全性と加法性に基づいて、$$xを検証できます。つまり、転送プロセスは避けられないため、各確率の合計は\; 1\; になります。$$

ある確率空間から別の確率空間に移動する場合でも、確率の完全性、非負性、リスト可能性、および加法性は依然として保持されます。したがって、A、BA、Bの場合$AとB$は 2$n\times n$の伝達行列、その積 (確率伝達)、べき乗 (自己進化)、および算術平均は依然として伝達行列、つまり
$$ＡＢ、Ａ\_{}^{ん}、\frac{あ+}{2}$$

AとA^nについて考えてみましょう${あ}^n$当$n\to \infty$のシーンは$A$の最大の固有値は 1 であり、残りの固有値の絶対値は 1 未満であるため、${あ}^{n\; は}$実際にはλ = 1 \lambda=1となる傾向があります。$私=$定常状態は$1で表されます。$

離散ソースチャネルモデル

「情報理論」を勉強したことのある友人なら同様の形式の伝達行列に精通しているはずなので、例として離散ソース チャネル モデルを使用します。正確には、ソースは確率行列として記述することができます。いわゆるソース分布とは、送信される各信号が特定の送信可能性を占めることを意味します。行ベクトルPX P_Xなど$P_{}$3 値の同様に尤度の高いソース分布を記述するには、
$$P_{}=\left[\begin{array}{ccc}& & \end{array}\right]$$
このようなチャネル伝達モデルに直面すると仮定する

と、対応するチャネル伝達行列は
$$P_{}=\lfloor \begin{array}{cc}0.8& 0.2\\ 0.5& 0.5\\ & \end{array}\rfloor 行i\left(Xの確率空間\right)\to 列j\left(Yの確率空間\right)$$には、 PY = PXP ij = [ 1 / 3 1 / 3 1 / 3 ] [ 0.8 0.2 0.5 0.5 0.2 0.8 ] = [ 0.5 0.5 ] P_Y=P_XP_{ij のシンク確率分布があります
。
$$P_{}=P_{}{P}_{}=[\begin{array}{ccc}& & \end{array}】\lfloor \begin{array}{cc}0.8& 0.2\\ 0.5& 0.5\\ & \end{array}\rfloor =\left[\begin{array}{cc}& \end{array}\right]$$
しかし、実際には、チャネルの$C$ = max ⁡ [ H ( Y ) − H ( Y ∣ X ) ] C=\max [H(Y)-H(Y|X) ]
$$C=\mathrm{最大}\left[H\right(Y)-H(Y|X)]$$
および既知の
$$H\left(Y\right)\le H(0.5、0.5）=1ビット、H(Y|X)\ge H(0.2、0.8)=0.7219ビット$$
そして 2 つの式が等しい場合、対応するソース分布は
$$P_{}=\left[\begin{array}{ccc}& & \end{array}\right]$$
したがって、チャネル容量は
$$C=H(0.5、0.5）-H(0.2、0.8)=0.2781ビット$$
これにより、選択されたチャネルの遷移確率が 0.5 から外れるほど良好であり、等確率エラーの送信は無効である。

フーリエ行列

ベースを選ぶ

フーリエ変換は信号処理の古典的な演算ですが、ウェーブレット変換と比較すると、基底関数の違いが違います。では、人々が快適に感じる基底関数を選択するにはどうすればよいでしょうか? 1 つの答えは、正規直交基底のセットを選択することです。したがって、これらの基底ベクトルをまとめて変換行列を形成すると、その行列は正規行列となり、その逆行列が共役転置になります。

老人は、「私の空間は無限次元だから、無限に多くが必要だ。」つまり、無限次元空間は無限次元基底によって記述されるべきである、というような言葉を言いました。次に、n 次元空間の場合、実際には n 個の正規直交基底を使用します。つまり、
$$v={バツ}_{}{q}_{}+{バツ}_{}{q}_{}+\cdots +{バツ}_{}{q}_{}+\cdots +{バツ}_{}{q}_{}$$
其中${バツ}_{}$対応するベース$q_{}$伸長係数に この係数を取得するにはどうすればよいでしょうか? これは正規直交性の工夫を反映しており、2 つの辺に共役転置ベクトルqi H v = x 1 qi H q 1 + x 2 qi H q 2 + ⋯ + xiqi H qi + ⋯ + xnqi H を乗算できるようにするためです。
$$q_{私}^{}v={バツ}_{}{q}_{私}^{}{q}_{}+{バツ}_{}{q}_{私}^{}{q}_{}+\cdots +{バツ}_{}{q}_{私}^{}{q}_{}+\cdots +{バツ}_{}{q}_{私}^{}{q}_{}={バツ}_{}$$
このとき、直交しているため0が得られ、自己標準化により1が得られるので、係数xi x_iを求めるのに便利です。${バツ}_{}$。

直交性が非常に役立つことは注目に値します。信号解析では、よく知られたフーリエ級数は、直交三角関数、つまりsin ⁡ ( nx ) \sin(nx)を基礎として使用します。$\sin \left(nx\right)$和$\cos (nx)の場合、単一周期内のそれらの積分が\; 0、$つまり直交していることが確認できます。この直交性の考え方は、OFDM サブキャリア選択の原理でもあります。

フーリエ行列

フーリエ行列の定義については、Wikipedia を参照してください。

N 点の離散フーリエ変換は、$n\times m$の行列乗算は、 X = F x X = Fxで表されます。$バツ=Fx$、$x$は元の入力信号、$X$は離散フーリエ変換によって得られる出力信号です。a$n\times n$の$F\; は、$ F = ( ω ij ) i , j = 0 , … , N − 1 / NF=(\omega ^{ { ij}})_{ { i,j=0,\ldots ,N-1として定義できます。} }/{\sqrt {N}}$F=({ああ}^{イジ}{)}_{i,j=0,\dots ,N-}/\sqrt{N}$、すなわち
$$F=\frac{}{\sqrt{N}}\lfloor \begin{array}{cccccc}1& 1& 1& 1& \cdots & 1\\ 1& おお& {おお}^2& {おお}^3& \cdots & {おお}^{N-1}\\ 1& {おお}^2& {おお}^4& {おお}^6& \cdots & {おお}^{2(N-1)}\\ 1& {おお}^3& {おお}^6& {おお}^9& \cdots & {おお}^{3(N-1)}\\ ⋮& ⋮& ⋮& ⋮& & ⋮\\ & {おお}^{N-}& {おお}^{2(N-1}& {おお}^{3(N-1}& & {おお}^{(N-1)(N-1}\end{array}\rfloor$$

其中 $w$は1 1として定義されますnnの$1$n 乗根の主値$、$つまり
$$w=e^{\frac{-2\pi i}{N}}$$
列jjの場合に注意してください。$j$の列ベクトルは次のとおりです:
$$q_{}={[\begin{array}{c}{w}^{\alpha \times (j-1}\end{array}】}^T/\sqrt{N}ある=0、1、2、\cdots 、N-1$$
この時点で、別の列$q_{j+}$2 つの内積を作成すると、
$$q_{j+k}^{}{q}_{}=\frac{}{N}\sum _{\alpha =0}^{N-}{w}^{\alpha \times (j-1)}{w}^{-\alpha \times (j+k-1)}=\sum _{\alpha =0}^{N-}{w}^{}$$k = 0 k=0
のときの$${}^{-}$$$${}^{\alpha }$$$${}^k$$$k=0$の場合、つまり自身の係数の 2 乗を求めると、このときの内積の結果が 1 であることがわかり、標準化されていることが確認できます。
そして、$-ｋ\_\ne 0$ 、 w − kw^{-k}であることがわかります。$w^{-k}$はNNです1の根の$N$$係数\alpha \; は$単位円上の回転として機能します。− k = 1 -k=1はどうでしょうか$-ｋ\_=1$を例にとると、α \alpha0 0からの$\alpha$$フェッチするのに0$回$N-1$、この$N\; 個$の結果が単位円上に再構成されます1 1NNの$1$$N$ NN_Unity の根の$N$倍。そこで問題は、なぜこの$N$個の単位根の合計は$0$ ? 百度百科には次の 3 つの説明が記載されています。

基本的な方法は等比級数の合計です。つまり、$$\sum _{\alpha =0}{w}^{ある}=\frac{1-w^{}}{1-w}=0$$
2 番目の証明は、これらが複素平面上の正多角形の頂点を形成しており、対称性から多角形の重心が原点にあることがわかります。最後の証明では、円除算方程式xn − 1 x_{n-1}方程式 の根と係数に関するヴェダーの定理${バツ}_{n-}$項ですが、係数はゼロです。

どの解釈が採用されても、結論は一貫しています。つまり、$k\ne 0$の場合、内積の結果は 0 となり、直交性が検証されます。すると、フーリエ行列は正規行列となり、
$$F^{-1}=F^H$$

FFT オーバーヘッド$いいえ、{\_}_{}N/2$の説明

まずは理論的な観点から。デジタル信号処理では、FFT を完成させるための代表的な考え方として、時間選択 DIT と周波数選択 DIF の 2 つがあることが知られていますが、どちらの方法でもソート後は計算量が半分になります。DIT
の場合、 x ( n ) x(n)の場合$x\left(n\right)$シーケンスのパリティがソートされ、結果は$X\left(k\right)$は前半と後半です。


DIFの場合はx ( n ) x(n)です。$x\left(n\right)$シーケンスの前半と後半をソートし、その結果を出力$X\left(k\right)$は奇数と偶数に分けられます。

DFT 演算の定義は X ( k ) = ∑ n = 0 N − 1 x ( n ) w N nk , k = 0 , 1 , ⋯ , N − 1 X(k)=\sum_{ であることも知られています。
$$X\left(k\right)=\sum _{n=0}^{N-}x\left(n\right)w_N^{}、k=0、1、\cdots 、N-1$$

演算の中で乗算の演算オーバーヘッドが最も大きくなります。NN用$N$点の DFT の場合、行列乗算のコストは N で、合計 N 点があり、コストは$N^2$、FFT は最終的に$ログ\_{\_}_{}N$レベルのバタフライ演算の場合、各ステージでのバタフライ演算の乗算コストは$N/2$ (つまり、2 つの係数ごとに 1 回共有できるため、計算の半分が節約されます)、したがって、総コストは$いいえ、{\_}_{}N/2$。

上記のプロセスを行列変換の観点から理解しました。64 ポイント FFT を 32 ポイント FFT に変換するプロセスを示しましょう。
$$F_{}=[\begin{array}{cc}私& D_{}\\ & -D{\_}_{}\end{array}】[\begin{array}{cc}{F}_{}& 0\\ & F_{}\end{array}】\lfloor \begin{array}{ccccccc}& 0& 0& 0& \cdots & 0& 0\\ 0& 0& & 0& \cdots & 0& 0\\ ⋮& ⋮& ⋮& ⋮& \ddots & ⋮& ⋮\\ 0& 0& 0& 0& \cdots & & 0\\ 0& & 0& 0& \cdots & 0& 0\\ 0& 0& 0& & \cdots & 0& 0\\ ⋮& ⋮& ⋮& ⋮& \ddots & ⋮& ⋮\\ & & & & & & \end{array}\rfloor 奇数偶数$$
ここで$D_{}$は補正用の対角行列で、要素はお馴染みの補正係数です$w$は、バタフライ演算の補正係数であることがわかります。つまり、
$$D_{}=\lfloor \begin{array}{ccccc}{w}^0& 0& 0& 0& \cdots \\ 0& w^1& 0& 0& \cdots \\ 0& 0& w^2& 0& \cdots \\ ⋮& ⋮& ⋮& \ddots & ⋮\\ & & & & w^{}\end{array}\rfloor$$
一番右の行列はスイッチング行列$P_{}$、パリティソートの機能を実現します。このプロセスを観察すると、乗算オーバーヘッドの増加は主に$D_{}$したがって、このステージの計算は 2 つの$F_{}$乗算量と$D_{}$乗算演算の。など、$F_{}$さらに$F_{}\cdots$その結果、基本要素のブロックは$F_{}$、次のように示されます
$$[\begin{array}{cc}私& D_{}\\ & -D{\_}_{}\end{array}】\lfloor \begin{array}{cc}\begin{array}{cc}私& D_{}\\ & D_{}\end{array}& \text{0}\\ & \begin{array}{cc}私& D_{}\\ & -D{\_}_{}\end{array}\end{array}\rfloor \cdots \lfloor \begin{array}{cc}\begin{array}{ccc}私& D_{}& \\ 私& D_{}& \\ & & \end{array}& \text{0}\\ & \begin{array}{cc}私& D_{}\\ & -D{\_}_{}\end{array}\end{array}\rfloor \lfloor \begin{array}{cc}\begin{array}{cc}{F}_{}& \\ & \end{array}& \text{0}\\ & \begin{array}{c}{F}_{}\end{array}\end{array}\rfloor \lfloor \begin{array}{cc}\begin{array}{cc}{P}_{}& \\ & \end{array}& \text{0}\\ & \begin{array}{c}{P}_{}\end{array}\end{array}\rfloor \cdots [\begin{array}{cc}{P}_{}& 0\\ & P_{}\end{array}】\left[\begin{array}{c}{P}_{}\end{array}\right]$$補正行列の合計はlog ⁡ 2 N \log_2N
ことがわかります。${ログ\_}_{}N$レベル、各レベルには$N/2$乗算演算。したがって、最終的な運用コストは$いいえ、{\_}_{}N/2$。N=1024 N=1024で計算量の削減を直感的に感じてみましょう$N=1024$を例にとると、
$$\frac{N^{}}{いいえ、{\_}_{}N/2}=\frac{1024^{}}{1024\ast 5}\approx 205$$ FFT によりフーリエ変換処理の高性能化が可能であることが
わかります。

円行列の対角化の説明

この説明の背景は OFDM におけるサイクリック プレフィックスです。Wikipedia を参照してください。まず定義を確認してください。

形式としては、$$あ=\lfloor \begin{array}{ccccc}{c}_{}& c_{n-}& c_{n-}& \dots & c_{}\\ c_{}& c_{}& c_{n-}& \cdots & c_{}\\ c_{}& c_{}& c_{}& \cdots & c_{}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ c_{n-}& c_{n-}& c_{n-}& & c_{}\end{array}\rfloor$$の行列は循環行列です。

私たちはこの性質に注目します。循環行列の固有ベクトル行列は同じ次元の離散フーリエ変換行列であるため、循環行列の固有値は高速フーリエ変換によって簡単に計算でき、循環行列は次のように計算できます。フーリエ行列対角化によって計算されます。つまり、
$$AF=F\Lambda \_\Rightarrow L=F^{H}AFまたはA=F\Lambda F\_{\_}^H$$
3 つの主要な前提条件があることを簡単に証明しましょう。1 つは DFT の定義、もう 1 つはその時間領域の巡回シフト特性、そして 3 つ目は対称性です。つまり、
$$\begin{gathered} 条件1:X\left(k\right)=\sum _{n=0}^{N-}x\left(n\right)w_N^{}、k=0、1、\cdots 、N-1 \\ 条件2:x((n+ム）{）}_{}{R}_{}\left(n\right)\iff w_N^{-km}X\left(k\right) \\ 条件3:\times (N-n)\iff X(N-k) \end{gathered}$$
2 行目を例にとると、
$$c_{}{w}^{0\times 1}+c_{}{w}^{1\times 1}+c_{N-}{w}^{2\times 1}+\cdots +c_{}{w}^{N-1\times 1}=\sum _{n=0}^{N-}c((N-n+1\left){)}_{}{R}_{}\right(n)w^{n\times 1}=w^{-1\times 1}\sum _{n=0}^{N-}c((N-ん）{）}_{}{R}_{}(n)w^{n\times 1}=C(N-1)w^{}k{}^{の}場合{}^{-1}{}^{\times }{}^1=1$$
など、$i\; は$シフトされたmmです$m$、iiDFT 結果では$i$$k$、$j$はシリアル番号$\sum$ j = 0 N − 1 c ( ( N − j + i ) ) NRN ( n ) wj × i = C ( ( N − i ) ) NRN ( n ) w − i 2 i ( k , m )、
$$\sum _{j=0}^{N-}c((N-j+私）{）}_{}{R}_{}\left(n\right)w^{j\times i}=C((N-私）{）}_{}{R}_{}\left(n\right)w^{-{私}^2}i(k,メートル）、j(n)=0、1、2、\cdots 、N-1$$
上記の形式を行列として書きます。つまり
$$[\begin{array}{c}c((N-j+私）{）}_{}{R}_{}(n\end{array}】[\begin{array}{c}{w}^{i\times }\end{array}】=[\begin{array}{c}C((N-私）{）}_{}{R}_{}(n\end{array}】\left[\begin{array}{c}{w}^{-{私}^{}}\end{array}\right]$$
を両辺で割って$\sqrt{N}$正規化すると、フーリエ行列の形式で書くことができます。
$$AF=\lfloor \begin{array}{ccccc}C\left(0\right)& 0& 0& \cdots & 0\\ 0& C(N-1)& 0& \cdots & 0\\ 0& 0& C(N-2)& \cdots & 0\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ & & & & C(1\end{array}\rfloor F^H=\Lambda F{\_}^H=HF{\_}^H$$この証明プロセスから、 iiが
次のこともわかります。$ラインi$の入力信号シーケンス$c((N-j+私）{）}_{}{R}_{}\left(n\right)$、対応する出力の固有値は$C((N-私）{）}_{}{R}_{}\left(n\right)$。これは、通信路応答に相当する畳み込み演算をFFT演算に変換することが目的であり、FFTは演算効率が高い、つまりこのときの固有値が通信路応答に相当する。デジタル信号処理技術の進歩が通信技術の進歩の基礎を築き、そのすべてに数学が必要であることがわかります。

循環行列が次の形式で書かれている場合に注意してください。
$$あ=\lfloor \begin{array}{ccccc}{c}_{}& c_{}& c_{}& \dots & c_{n-}\\ c_{n-}& c_{}& c_{}& \cdots & c_{n-}\\ c_{n-}& c_{n-}& c_{}& \cdots & c_{n-}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ c_{}& c_{}& c_{}& & c_{}\end{array}\rfloor$$
次に、得られる固有値は$C\left(i\right)$。これは、書籍「Toeplitz and Circulant Matrices: A review」に記載されている行列の例でもあります。この本では循環行列の対角化の一般的な証明を示しています (第 3 章) が、ここでは DFT の特性を組み合わせてより単純に説明している点が異なります。