以下では、微分方程式を解くための組み込み物理知識ニューラルネットワーク (PINN) を紹介します。まず、PINN の基本的な方法を紹介し、Pytorch の PINN 解法フレームワークに基づいて、時間項を伴う 2 次元のナビエ・ストークス方程式を解きます。

Embedded Physical Knowledge Neural Network (PINN) の概要と関連論文
 微分方程式を解くためのディープラーニングシリーズ 1: PINN ソリューションフレームワーク (ポアソン 1d)
微分方程式を解くためのディープラーニングシリーズ 2: バーガー方程式の前方問題を解くための PINN
微分方程式を解くためのディープラーニングシリーズ 3: PINN はバーガー方程式の逆問題を解く
 微分方程式シリーズ IV を解くためのディープラーニング: 適応活性化関数に基づいて、PINN はバーガー方程式の逆問題を解く
 微分方程式シリーズ V を解くためのディープラーニング: PINN はナビエ・ストークス方程式の直接問題と逆問題

1. PINN の概要

ニューラルネットワークは、強力な情報処理ツールとして、コンピュータービジョン、生物医学、石油およびガス工学の分野で広く使用されており、多くの分野で技術革新を引き起こしています。深層学習ネットワークは非常に強力な学習能力を備えており、物理法則を発見できるだけでなく、偏微分方程式を解くこともできます。近年、深層学習に基づく偏微分方程式の解法が新たな研究の注目スポットとなっています。埋め込み物理情報ニューラルネットワーク (PINN) は、従来の数値領域における科学マシンのアプリケーションであり、方程式の解決、パラメーターの反転、モデルの発見、制御、モデルの検出など、偏微分方程式 (PDE) に関連するさまざまな問題を解決するために使用できます。最適化など

2.PINN方式

PINN の主な概念を図 1 に示します。まず、出力結果を $\hat{u}として構築します。$ のニューラルネットワークは PDE 解のプロキシモデルとして使用され、PDE 情報は制約として使用され、トレーニング用のニューラルネットワーク損失関数にエンコードされます。損失関数は主に、偏微分構造損失 (PDE 損失)、境界値条件損失 (BC 損失)、初期値条件損失 (IC 損失)、実データ条件損失 (データ損失) の 4 つの部分で構成されます。
ここに画像の説明を挿入

図 1: PINN の概略図

特に、次の偏微分方程式問題を考えてみましょう。偏微分方程式の解 $u (x)$ 在 $\Omega \subset \mathbb{R}^{d}$ の定義、ここで $\mathbf{x}=\left(x_{1}, \ldots, x_{d}\right)$ ：
$f\left( \mathbf{x} ; \frac{\partial u}{\partial x_{1}}, \ldots, \frac{\partial u}{\partial x_{d}} ; \frac{\partial^{2} u}{\partial x_{1} \partial x_{1}}, \ldots, \frac{\partial^{2} u}{\partial x_{1} \partial x_{d}} \right)=0 , \quad \mathbf{x} \in \Omega$
同時に、次の境界
$\mathcal{B}(u, \mathbf{x})=0 \quad \text { on } \quad \partial \Omega を満たします。$

PINN ソリューションのプロセスには主に次のものが含まれます。

最初のステップは、D 層の全結合層のニューラルネットワークモデルを定義することです:
$N_{\Theta}:=L_D \circ \シグマ \circ L_{D-1} \circ \sigma \circ \cdots \circ \sigma \circ L_1$
式中：
$。\begin{aligned} L_1(x) &:=W_1 x+b_1, \quad W_1 \in \mathbb{R}^{d_1 \times d}, b_1 \in \mathbb{R}^{d_1} \\ L_i (x) &:=W_i x+b_i, \quad W_i \in \mathbb{R}^{d_i \times d_{i-1}}, b_i \in \mathbb{R}^{d_i}, \forall i =2,3, \cdots D-1, \\ L_D(x) &:=W_D x+b_D, \quad W_D \in \mathbb{R}^{N \times d_{D-1}}, b_D \ \mathbb{R}^N で。\end{整列}$
と $\sigma$ は活性化関数、 $W$ と $b$ は重みとバイアスのパラメータです。
$\hat{u}$ を測定するためです。 $\overset{あなた}{^}$ と近束の間の差、失関数を考慮して:
$\mathcal{L}\left(\boldsymbol{\theta}\right)=w_{f} \mathcal{L}_{PDE}\left(\boldsymbol{\theta}; \mathcal{ T}_{f}\right)+w_{i} \mathcal{L}_{IC}\left(\boldsymbol{\theta} ; \mathcal{T}_{i}\right)+w_{b} \mathcal{L}_{BC}\left(\boldsymbol{\theta},; \mathcal{T}_{b}\right)+w_{d} \mathcal{L}_{データ}\left(\ボールドシンボル{\theta},; \mathcal{T}_{data}\right)$
ここで:
$\begin{aligned} \mathcal{L}_{PDE}\left(\boldsymbol{\theta} ; \mathcal{T}_{f}\right) &=\frac{1 }{\left|\mathcal{T}_{f}\right|} \sum_{\mathbf{x} \in \mathcal{T}_{f}}\left\|f\left(\mathbf{x } ; \frac{\partial \hat{u}}{\partial x_{1}}, \ldots, \frac{\partial \hat{u}}{\partial x_{d}} ; \frac{\partial ^{2} \hat{u}}{\partial x_{1} \partial x_{1}}、\ldots、\frac{\partial^{2} \hat{u}}{\partial x_{1} \partial x_{d}} \right)\right\|_{2}^{2} \\ \mathcal{L}_{IC}\left(\boldsymbol{\theta};\mathcal{T}_{i}\right) &=\frac{1}{\left|\mathcal{T}_{i}\right|} \sum_{\mathbf{x}\in \mathcal{T }_{i}}\|\hat{u}(\mathbf{x})-u(\mathbf{x})\|_{2}^{2} \\ \mathcal{L}_{BC} \left(\ballsymbol{\theta};\mathcal{T}_{b}\right) &=\frac{1}{\left|\mathcal{T}_{b}\right|}\sum_{\ mathbf{x} \in \mathcal{T}_{b}}\|\mathcal{B}(\hat{u}, \mathbf{x})\|_{2}^{2}\\ \mathcal {L}_{データ}\left(\太字記号{\theta}; \mathcal{T}_{データ}\right) &=\frac{1}{\left|\mathcal{T}_{データ} \ right|} \sum_{\mathbf{x} \in \mathcal{T}_{data}}\|\hat{u}(\mathbf{x})-u(\mathbf{x})\|_ { 2}^{2} \end{整列}=\frac{1}{\left|\mathcal{T}_{b}\right|}\sum_{\mathbf{x}\in \mathcal{T}_{b}}\|\mathcal{B} (\hat{u}, \mathbf{x})\|_{2}^{2}\\ \mathcal{L}_{データ}\left(\太字記号{\theta}; \mathcal{T} _ {データ}\right) &=\frac{1}{\left|\mathcal{T}_{data}\right|} \sum_{\mathbf{x}\in \mathcal{T}_{data} } \|\hat{u}(\mathbf{x})-u(\mathbf{x})\|_{2}^{2} \end{aligned}=\frac{1}{\left|\mathcal{T}_{b}\right|}\sum_{\mathbf{x}\in \mathcal{T}_{b}}\|\mathcal{B} (\hat{u}, \mathbf{x})\|_{2}^{2}\\ \mathcal{L}_{データ}\left(\太字記号{\theta}; \mathcal{T} _ {データ}\right) &=\frac{1}{\left|\mathcal{T}_{data}\right|} \sum_{\mathbf{x}\in \mathcal{T}_{data} } \|\hat{u}(\mathbf{x})-u(\mathbf{x})\|_{2}^{2} \end{aligned}$
$わ、わ_{f}$ 、 $ウィウィ_{イ}$ 、 $w_{b}$ そして $w_{d}$ 重量です。 $\mathcal{T}_{f}$ ， $\mathcal{T}_{i}$ 、 $\mathcal{T}_{b}$ 和 $\mathcal{T}_{data}$ PDEからの残差点、初期値、境界値、真値を表します。ここで $\mathcal{T}_{f} \subset \Omega$ ニューラルネットワークの出力 $\hat{u}$ PDE との一致の程度。
最後に、予測精度を満たすネットワークパラメーターが見つかるまで、勾配最適化アルゴリズムを使用して損失関数を最小化します。KaTeX 解析エラー $: 未定義の制御シーケンス: \theat 位置 1: \̲t̲h̲e̲a̲t̲^{*}$ 。

逆問題の場合、つまり方程式内の一部のパラメーターが不明であることに注意してください。PDE 方程式と境界条件のみがわかっており、PDE パラメーターが不明な場合、逆問題は不定問題となるため、いくつかの観測点などの他の情報がわかっている必要があります $u$ の値。この場合、PINN メソッドは方程式内のパラメーターを未知の変数として使用し、それらをトレーナーに追加して最適化することができます。損失関数にはデータ損失が含まれます。

3. 問題定義の解決 - 順問題と逆問題

不可圧流体は次の NS 方程式で解釈できます:
$\begin{aligned} &u_t+\lambda_1\left(u u_x+v u_y\right)=-p_x+\lambda_2\left(u_{xx}+u_{yy}\right) \\ &v_t+\lambda_1\left(u v_x+ v v_y\right)=-p_y+\lambda_2\left(v_{xx}+v_{yy}\right) \end{aligned}$
肯定的な問題:

パラメータλ $\lambda_{1}=1$ , $\lambda_{2}=0$ は既知のパラメータであり、問題は既知の境界条件と微分方程式であり、u、v、p が解かれます。
逆問題:
単一 $\lambda_{1}、\lambda_{2}$ 未知のパラメーターの場合、問題は既知の境界条件と微分方程式ですが、方程式内のパラメーターが不明であるため、u、v、p および方程式パラメーターを解きます。

図 2 に示す長方形領域内の非圧縮性流れ場を解くことを考えてみましょう。特に、流体方程式の解は発散のない関数を同時に満たし、次のように表すことができます。 ux + vy = 0 u_x+ v_y=
$あなた + v = 0$
ネットワークの場合、出力は 3 次元になるはずです ( $あなた、 v 、 p$ ) ですが、解法過程では潜在関数 $\psi(x,y,t) を$ は、要件
$xu=\psi_y、 \quad v=-\psi_x を満たします。$
ネットワーク出力は 2 次元 ( $\psi,p$ ）
。