微分方程式系列 4 を解くための深層学習: 適応活性化関数に基づく PINN 解法 - バーガー方程式逆問題

以下では、微分方程式を解くための組み込み物理知識ニューラル ネットワーク (PINN) を紹介します。まず,PINNの基本的な方法を紹介し,適応活性化関数に基づくPINN解法フレームワークを使用して,Pytorchを使用して時間項を持つ1次元Burger方程式の逆問題を解く。
Embedded Physical Knowledge Neural Network (PINN) の概要と関連論文
微分方程式を解くためのディープ ラーニング シリーズ 1: PINN ソリューション フレームワーク (ポアソン 1d)
微分方程式を解くためのディープ ラーニング シリーズ 2: バーガー方程式の前方問題を解くための PINN
微分方程式を解くためのディープ ラーニングシリーズ 3: PINN はバーガー方程式の逆問題を解く
微分方程式シリーズ IV を解くためのディープラーニング: 適応活性化関数に基づいて、PINN はバーガー方程式の逆問題を解く
微分方程式シリーズ V を解くためのディープラーニング: PINN はナビエ・ストークス方程式の直接問題と逆問題

1. PINN の概要

ニューラル ネットワークは、強力な情報処理ツールとして、コンピューター ビジョン、生物医学、石油およびガス工学の分野で広く使用されており、多くの分野で技術革新を引き起こしています。深層学習ネットワークは非常に強力な学習能力を備えており、物理法則を発見できるだけでなく、偏微分方程式を解くこともできます。近年、深層学習に基づく偏微分方程式の解法が新たな研究の注目スポットとなっています。埋め込み物理情報ニューラル ネットワーク (PINN) は、従来の数値領域における科学マシンのアプリケーションであり、方程式の解決、パラメーターの反転、モデルの発見、制御、モデルの検出など、偏微分方程式 (PDE) に関連するさまざまな問題を解決するために使用できます。最適化など

2.PINN方式

PINN の主な概念を図 1 に示します。まず、出力結果を$\widehat{あなた}$のニューラル ネットワークは PDE 解のプロキシ モデルとして使用され、PDE 情報は制約として使用され、トレーニング用のニューラル ネットワーク損失関数にエンコードされます。損失関数は主に、偏微分構造損失 (PDE 損失)、境界値条件損失 (BC 損失)、初期値条件損失 (IC 損失)、実データ条件損失 (データ損失) の 4 つの部分で構成されます。

図 1: PINN の概略図

特に、次の偏微分方程式問題を考えてみましょう。偏微分方程式の解$u\left(x\right)$在$おお\subset R^d$の定義、ここで$バツ=\left({\times }_{}、\dots 、{バツ}_{}\right)$：
$$f\left(x;\frac{\partial }{\partial {\times }_{}}、\dots 、\frac{\partial }{\partial {\times }_{}};\frac{{\partial }^2}{\partial {\times }_{}\partial {\times }_{}}、\dots 、\frac{{\partial }^2}{\partial {\times }_{}\partial {\times }_{}}\right)=0、バツ\in \Omega$$
同時に、次の境界
$$B(u、\times ）=0\text{ の上 }\partial \Omega \_$$

PINN ソリューションのプロセスには主に次のものが含まれます。

• 最初のステップは、D 層の全結合層のニューラル ネットワーク モデルを定義することです:
  $$N_{}:=L_{}○p○L_{D-}○p○\cdots ○p○L_{}$$
  式中：
  $$\begin{array}{rl}{L}_{}(\times )& :=W_{}バツ+b_{}、W_{}\in R^{d_{}\times d}、b_{}\in R^{d_{}}\\ L_{}(\times )& :=W_{}バツ+b_{}、W_{}\in R^{d_{}\times d_{i-}}、b_{}\in R^{d_{}}、\forall i\_=2、3、\cdots D-1、\\ L_{}(x& :=W_{}バツ+b_{}、W_{}\in R^{N\times d_{D-}}、b_{}\in R^N\end{array}$$
  と$\sigma$は活性化関数、$W$と$b$は重みとバイアスのパラメータです。
• 2 番目のステップは、ニューラル ネットワークu ^ \hat{u}を測定するためです。$\widehat{あなた}$と近束の間の差、失関数を考慮して:
  $$L\left(私\right)=w_{}{L}_{ＰＤＥ\_}\left(私;T_{}\right)+w_{}{L}_{IC}\left(私;T_{}\right)+w_{}{L}_{BC}\left(私、;T_{}\right)+w_{}{L}_{データ\_\_}\left(私、;T_{ダタ\_\_}\right)$$
  ここで:
  $$\begin{array}{rl}{L}_{ＰＤＥ\_}\left(私;T_{}\right)& =\frac{}{|T_{}|}\underset{x\in T_{}}{}{\Vert f\left(x;\frac{\partial あなた}{\partial {\times }_{}}、\dots 、\frac{\partial あなた}{\partial {\times }_{}};\frac{{\partial }^2あなた}{\partial {\times }_{}\partial {\times }_{}}、\dots 、\frac{{\partial }^2あなた}{\partial {\times }_{}\partial {\times }_{}}\right)\Vert }_2^{}\\ L_{IC}\left(私;T_{}\right)& =\frac{}{|T_{}|}\underset{x\in T_{}}{}\Vert \widehat{あなた}(\times )-u\left(x\right){\Vert }_2^{}\\ L_{BC}\left(私;T_{}\right)& =\frac{}{|T_{}|}\underset{x\in T_{}}{}\Vert B(\widehat{あなた}、x){\Vert }_2^{}\\ L_{データ\_\_}(私;T_{ダタ\_\_}& =\frac{}{|T_{ダタ\_\_}|}\underset{x\in T_{ダタ\_\_}}{}\Vert \widehat{あなた}(\times )-u\left(x\right){\Vert }_2^{}\end{array}$$
  $w_{}$、$w_{}$、$w_{}$そして$w_{}$重量です。$T_{}$，$T_{}$、$T_{}$和$T_{ダタ\_\_}$PDEからの残差点、初期値、境界値、真値を表します。ここで$T_{}\subset \Omega \; は、$ニューラル ネットワークの出力$\widehat{あなた}$ PDE との一致の程度。
• 最後に、予測精度を満たすネットワーク パラメーターが見つかるまで、勾配最適化アルゴリズムを使用して損失関数を最小化します。KaTeX 解析エラー: 未定義の制御シーケンス: \theat 位置 1: \̲t̲h̲e̲a̲t̲^{*}。

逆問題の場合、つまり方程式内の一部のパラメーターが不明であることに注意してください。PDE 方程式と境界条件のみがわかっており、PDE パラメーターが不明な場合、逆問題は不定問題となるため、いくつかの観測点などの他の情報がわかっている必要があります$u$の値。この場合、PINN メソッドは方程式内のパラメーターを未知の変数として使用し、それらをトレーナーに追加して最適化することができます。損失関数にはデータ損失が含まれます。

3. 適応活性化関数に基づくPINN

ブラウン大学 Jagtap は 19 年に適応活性化関数に基づく PINN を提案しました。具体的には、活性化関数にトレーニング可能なパラメータが導入され、最適化プロセスに関与する損失関数のトポロジーが動的に変化するため、このパラメータはトレーニング プロセス中に最適化され、ネットワークの最高のパフォーマンスが達成されます。固定活性化関数を備えた従来の PINN と比較して、適応活性化関数に基づく PINN は学習能力が優れており、特に初期トレーニングにおいて、収束速度と解の精度が大幅に向上します。

• 固定活性化関数を持つニューラル ネットワークは次のように表されます。
  $$\begin{array}{rl}& L_{}\left({\times }^{k-1}\right):=w^k{\times }^{k-1}+b^k\\ & {あなた}_{}(\times )=\left(L_{}○p○L_{k-}○\dots ○p○L_{}\right)(x\end{array}$$
  式では、固定活性化関数を使用します。
• 適応パラメーターに基づくニューラル ネットワークの取得では、出力が活性化関数を通過する前にパラメーターが追加されます。
  $$\begin{array}{rl}& p\left(L{\_}_{}\left({\times }^{k-1}\right)\right)\\ & {ある}^{\ast }=\underset{a\in R^{+}\backslash \left\{0\right\}}{arg\_}\left(J\right(a)\end{array}$$
  式内: 変数パラメータ${ある}^{\ast }$はニューラル ネットワーク オプティマイザーに追加され、トレーニング プロセス中にニューラル ネットワークの重みパラメーターを使用して最適化されます。

Jagtap AD、Kawaguchi K、Karniadakis G E. 適応活性化関数は、物理学に基づいたディープ ニューラル ネットワークの収束を加速します [J]。計算物理学ジャーナル、2020、404: 109136。

4. 問題定義の解決 - 逆問題

$\begin{array}{rl}{あなた}_{}+あなた{、あなた}_{}& =あなた{\_}_{\times }、バツ\in [-1、1]、t>0\\ u(x,0)& =-罪\left(\pi x\right)\\ u(-1,t& =u(1,t)=\end{array}$

式内: パラメータ$v$は未知のパラメータであり、実際の値は$v\in [0,0.1/\pi ]$ .$\_$$\_$図 2 に示すように、数値解はホップ・コール変換によって得られます。
タスクの要件:

• 課題は、境界条件と微分方程式を知ることですが、方程式のパラメーターは不明であり、u と方程式パラメーターを解くことです。
• この問題は典型的な逆問題、方程式パラメータ最適化の逆問題です。
  ​
  

図 2: バーガーの数値解法

5. 結果表示

トレーニングプロセスとパラメータ変更図を図 3 に示します。トレーニングの初期段階では、適応活性化関数を使用した PINN がより速く下降し、正確な値に収束できることがはっきりとわかります。
​

図 3: 学習プロセスの問題パラメータと学習誤差の変化図

トレーニング中の予測結果を図 4-6 に示します。

図 4: 予測誤差のプロット

図 5: 予測グラフ

図 6: さまざまな時点での予測結果 ​