LEQNet: 地震検出と位相ピッキングのための軽い地震深層ニューラル ネットワーク 論文読書メモ

LEQNet: 地震検出と位相ピッキングのための軽い地震深層ニューラル ネットワーク 論文読書メモ

まとめ

• この論文では、軽量のディープ ニューラル ネットワーク モデルを設計します。
• モデルは軽量のエッジデバイス上で実行可能
• より深いボトルネックの再帰構造化された深さ方向の分離可能な畳み込みを使用した深層学習モデルのサイズ削減
• スタンフォード地震データセットを使用してトレーニング済み
• ベンチマークの EQTransformer モデルのサイズは 87.68% 削減されていますが、このモデルのパフォーマンスは EQTransformer のパフォーマンスと同等です。

導入

• 従来のP/S波検出方法: STA/LTAは、連続地震波伝播振幅の短期および長期平均値を使用して地震信号を処理します 短所: 地理的位置や環境によって引き起こされるさまざまなノイズを避ける必要があります地震監視装置の開発
• PhaseNet EQTransformer は深層学習手法を使用して地震信号を検出します
• EQTransformer は、エンコーダーと 3 つのデコーダーを使用してそれらを合成し、長期短期記憶ネットワーク LSTM と注意メカニズム接続を使用してデータを圧縮および復元します。EQTransoformer モデルは、地震と P/S 波の確率統計マップを出力します。

 上図の緑色の点線は地震の発生確率を示し、青色の点線はP波の始点、赤色の点線はS波の始点を示します。

• EQTransformer モデルは地震と P/S 位相ピッキングを高精度で検出できますが、限られたコンピューティング リソースを備えた地震計器に導入することはほとんど不可能です。

• LEQNET は、再帰的、より深いボトルネック、深さ方向の分離可能な畳み込みなど、さまざまな軽量の深層学習技術を使用して、STEAD データセット評価システムを使用して深層学習モデルのサイズを削減します。LEQNET はパラメータを大幅に削減するだけでなく、大幅なパフォーマンスの低下もありません。

• LEQNet は 4 つの主要な部分で構成されます。再帰型 CNN を使用した深さ方向の分離可能な畳み込みを使用するエンコーダー、再帰型 CNN を使用した深さ方向の分離可能な CNN を使用したデコーダー、残留ボトルネック CNN、および LSTM とトランスフォーマー

ベースライン モデル EQTransformer

• EQTransformer は、エンコーダ、デコーダ、ResNet、LSTM、および Transformer によって設計された構造を使用します。エンコーダーは 7 つの畳み込みニューラル ネットワーク (CNN) レイヤーで構成されます。地震信号に関しては、これにより STEAD 地震信号データがより低い次元に削減され、モデル内のパラメーターの数を減らすことができます。

• EQTransformer には 3 つのデコーダーがあり、ResNet は 5 つの残差ブロックで構成され、各残差ブロックの出力は線形に接続された 2 つの CNN レイヤーの入力と出力を加算します。残差の導入により、多数のレイヤーによって引き起こされるパフォーマンスの低下が回避され、LSTM はエンコーダーによって抽出された連続的な特徴を学習し、ネットワークは地震信号の特徴を各デコーダーに伝達します。

• EQTransformer 構造では、合計 323,063 個のパラメーターが使用されます。合計 34,672 個のパラメータがエンコーダで使用され、109,696 個が ResNet で、42,372 個が LSTM と Transformer で使用されました。

LEQNETで使用されている技術

• LEQNet は 4 つの主要部分で構成されます。再帰型 CNN を使用した深さ方向の分離可能な畳み込みを使用するエンコーダー、再帰型 CNN を使用した深さ方向の分離可能な CNN を使用したデコーダー、残留ボトルネック CNN および LSTM、およびトランスフォーマーです。

次の図は、各パートのパラメータの量を示しています。

モデルの軽量化テクノロジー

深さ方向に分離可能な CNN 深さ方向に分離可能な畳み込み

• 深さ方向の畳み込みは、各チャネルで畳み込み演算を実行することによってチャネル特徴を抽出するため、入力チャネルと出力チャネルには同じ数のチャネルが含まれます。

• ポイントワイズ畳み込みは、各チャネル内の同じ位置でデータを圧縮します。チャネル間の特徴抽出、入力と出力間のチャネル数の制御、CNNの畳み込み演算が複数のチャネル間で重複して実行される場合、深さ分離可能な畳み込みによりチャネル間で必要な大量の計算量を削減

より深いボトルネック アーキテクチャ BottleNeck

1 つの大きなコンボリューション カーネルの代わりに複数の小さなコンボリューション カーネルを使用すると、パラメータの量が大幅に削減されます。

• 最初のものは、3 x 3 コンボリューション カーネルの 256 次元入力を直接使用してコンボリューション層を通過させ、出力は 256 個の特徴マップ パラメーター量を取得します: 256 x 3 x 3 x 256 = 589824

• 2 つ目は、最初に 1x1 を使用し、次に 3 x 3 を使用し、次に 1x 1 を使用します。パラメータの量は 256 x 1 x 1 x 64 + 64 x 3 x 3 x 64 + 64 x 1 x 1 x 256 = 69632 です。

• パラメータの数が大幅に削減されました。

再帰的 CNN 再帰的 CNN

• 再帰的 CNN は、CNN 層の出力を再利用する概念です。
• 再帰的 CNN を使用するには、入力と出力が同じ数のチャネルと同じカーネル形状を持つ必要があります。
• 再帰的 CNN をエンコーダとデコーダに個別に適用し、パラメータを再利用することでモデルのサイズを削減します。
• 新しい層を導入することなく畳み込み層が再利用され、パフォーマンスが向上し、層の再利用により多くのパラメータが節約されます。
• 再利用されたレイヤーパラメータは一度だけフェッチできるため、メモリアクセスコスト（MAC）を削減できます。

紙：

Convolutional Neural Networks with Layer Reuse

レックネット

• STEADでサンプリングした5万件の地震データと騒音データから検知モデルを学習し、学習プロセスを10サイクル繰り返す
• P 相および S 相ピッキングの地震検出確率としきい値は、検出確率 = 0.5、P = 0.3、および S = 0.3 に設定されます。

構造

• 深さ方向に分離可能な畳み込みが、特徴圧縮および伸張ステップでエンコーダーとデコーダーに適用されます。
• より深いボトルネック
• 再帰的 CNN は、パラメータを 1 回取得するだけでメモリ アクセス時間を大幅に短縮し、モデル サイズを削減します。

• LEQNET のエンコーダとデコーダは 4 層の BottleNeck で構成されており、エンコーダの出力チャネル数は入力チャネル数と同様の 32 チャネル、EQTransformer は 64 チャネルです。

モデルサイズの縮小

 LEQNet は軽量技術によりパラメータ数と計算時間を大幅に削減しており、EQTransformer と比較して、本研究における LEQNet のパラメータ数は 88% 削減されています。カウントされる浮動小数点演算の数が 79687040 から 5271488 に減少しました。これらの結果により、EQTransformer と比較してモデル サイズが約 79% 削減されました (4.5MB から 0.94MB に)

性能比較

• LEQNet と他の方式の比較 EQTransformer PhaseNet Yews STA/LTA ​​方式
• LEQNetとEQTransformerのF1スコアはほぼ同じ
• P相を拾う場合、LEQNetはPhaseNetより0.02ポイント高く、S相を拾う場合、PhaseNetより0.03ポイント高くなります。

話し合う

• EQTransformer と比較して、CNN 層のパラメータ数が 87.68% 削減され、深さ方向の分離可能な畳み込みと再帰的 CNN を適用することでモデルの最適化が達成されます。
• ResNet の出力チャネルの数を減らすと、LEQNet のパラメーターの数も減らすことができますが、エンコーダーとデコーダーの一部のパラメーターが減るとパフォーマンスが低下します。この問題を解決するために、より深いボトルネック アーキテクチャ EQTransformer がモデルで使用されます。 、LEQNet と Netscore の情報密度が向上します。