深度学习求解微分方程系列五：PINN求解Navier-Stokes方程正逆问题

下面我将介绍内嵌物理知识神经网络（PINN）求解微分方程。首先介绍PINN基本方法，并基于Pytorch的PINN求解框架实现求解含时间项的二维Navier-Stokes方程。

内嵌物理知识神经网络（PINN）入门及相关论文
深度学习求解微分方程系列一：PINN求解框架（Poisson 1d）
深度学习求解微分方程系列二：PINN求解burger方程正问题
深度学习求解微分方程系列三：PINN求解burger方程逆问题
深度学习求解微分方程系列四：基于自适应激活函数PINN求解burger方程逆问题
深度学习求解微分方程系列五：PINN求解Navier-Stokes方程正逆问题

1.PINN简介

神经网络作为一种强大的信息处理工具在计算机视觉、生物医学、 油气工程领域得到广泛应用, 引发多领域技术变革.。深度学习网络具有非常强的学习能力, 不仅能发现物理规律, 还能求解偏微分方程.。近年来，基于深度学习的偏微分方程求解已是研究新热点。内嵌物理知识神经网络（PINN）是一种科学机器在传统数值领域的应用方法，能够用于解决与偏微分方程 （PDE） 相关的各种问题，包括方程求解、参数反演、模型发现、控制与优化等。

2.PINN方法

PINN的主要思想如图1，先构建一个输出结果为$\hat{u}$的神经网络，将其作为PDE解的代理模型，将PDE信息作为约束，编码到神经网络损失函数中进行训练。损失函数主要包括4部分：偏微分结构损失(PDE loss)，边值条件损失(BC loss)、初值条件损失(IC loss)以及真实数据条件损失(Data loss)。

图1：PINN示意图

特别的，考虑下面这个的PDE问题，其中PDE的解$u(x)$在$\Omega \subset {\mathbb{R}}^d$定义，其中$\mathbf{x}=\left(x_1,\dots ,x_d\right)$：
$$f\left(\mathbf{x};\frac{\partial u}{\partial x_1},\dots ,\frac{\partial u}{\partial x_d};\frac{{\partial }^{2}u}{\partial x_1\partial x_1},\dots ,\frac{{\partial }^{2}u}{\partial x_1\partial x_d}\right)=0,\mathbf{x}\in \Omega$$
同时，满足下面的边界
$$\mathcal{B}(u,\mathbf{x})=0\text{ on }\partial \Omega$$

PINN求解过程主要包括：

• 第一步，首先定义D层全连接层的神经网络模型：
  $$N_{\Theta }:=L_D\circ \sigma \circ L_{D-1}\circ \sigma \circ \cdots \circ \sigma \circ L_1$$
  式中：
  $$\begin{array}{rl}{L}_1(x)& :=W_{1}x+b_1,W_1\in {\mathbb{R}}^{d_1\times d},b_1\in {\mathbb{R}}^{d_1}\\ L_i(x)& :=W_{i}x+b_i,W_i\in {\mathbb{R}}^{d_i\times d_{i-1}},b_i\in {\mathbb{R}}^{d_i},\forall i=2,3,\cdots D-1,\\ L_D(x)& :=W_{D}x+b_D,W_D\in {\mathbb{R}}^{N\times d_{D-1}},b_D\in {\mathbb{R}}^N.\end{array}$$
  以及 $\sigma$ 为激活函数， $W$ 和 $b$ 为权重和偏差参数。
• 第二步，为了衡量神经网络$\hat{u}$和约束之间的差异，考虑损失函数定义：
  $$\mathcal{L}\left(\mathbf{\theta }\right)=w_f{\mathcal{L}}_{PDE}\left(\mathbf{\theta };{\mathcal{T}}_f\right)+w_i{\mathcal{L}}_{IC}\left(\mathbf{\theta };{\mathcal{T}}_i\right)+w_b{\mathcal{L}}_{BC}\left(\mathbf{\theta },;{\mathcal{T}}_b\right)+w_d{\mathcal{L}}_{Data}\left(\mathbf{\theta },;{\mathcal{T}}_{data}\right)$$
  式中：
  $$\begin{array}{rl}{\mathcal{L}}_{PDE}\left(\mathbf{\theta };{\mathcal{T}}_f\right)& =\frac{1}{\left|{\mathcal{T}}_f\right|}\sum _{\mathbf{x}\in {\mathcal{T}}_f}{\Vert f\left(\mathbf{x};\frac{\partial \hat{u}}{\partial x_1},\dots ,\frac{\partial \hat{u}}{\partial x_d};\frac{{\partial }^2\hat{u}}{\partial x_1\partial x_1},\dots ,\frac{{\partial }^2\hat{u}}{\partial x_1\partial x_d}\right)\Vert }_2^2\\ {\mathcal{L}}_{IC}\left(\mathbf{\theta };{\mathcal{T}}_i\right)& =\frac{1}{\left|{\mathcal{T}}_i\right|}\sum _{\mathbf{x}\in {\mathcal{T}}_i}\Vert \hat{u}(\mathbf{x})-u(\mathbf{x}){\Vert }_2^2\\ {\mathcal{L}}_{BC}\left(\mathbf{\theta };{\mathcal{T}}_b\right)& =\frac{1}{\left|{\mathcal{T}}_b\right|}\sum _{\mathbf{x}\in {\mathcal{T}}_b}\Vert \mathcal{B}(\hat{u},\mathbf{x}){\Vert }_2^2\\ {\mathcal{L}}_{Data}\left(\mathbf{\theta };{\mathcal{T}}_{data}\right)& =\frac{1}{\left|{\mathcal{T}}_{data}\right|}\sum _{\mathbf{x}\in {\mathcal{T}}_{data}}\Vert \hat{u}(\mathbf{x})-u(\mathbf{x}){\Vert }_2^2\end{array}$$
  $w_f$，$w_i$、$w_b$和$w_d$是权重。${\mathcal{T}}_f$，${\mathcal{T}}_i$、${\mathcal{T}}_b$和${\mathcal{T}}_{data}$表示来自PDE，初值、边值以及真值的residual points。这里的${\mathcal{T}}_f\subset \Omega$是一组预定义的点来衡量神经网络输出$\hat{u}$与PDE的匹配程度。
• 最后，利用梯度优化算法最小化损失函数，直到找到满足预测精度的网络参数 KaTeX parse error: Undefined control sequence: \theat at position 1: \̲t̲h̲e̲a̲t̲^{*}。

值得注意的是，对于逆问题，即方程中的某些参数未知。若只知道PDE方程及边界条件，PDE参数未知，该逆问题为非定问题，所以必须要知道其他信息，如部分观测点$u$ 的值。在这种情况下，PINN做法可将方程中的参数作为未知变量，加到训练器中进行优化，损失函数包括Data loss。

3.求解问题定义——正、逆问题

不可压缩流体可以由如下NS方程求解：
$$\begin{array}{rl}& u_t+{\lambda }_1\left(u{u}_x+v{u}_y\right)=-p_x+{\lambda }_2\left(u_{xx}+u_{yy}\right)\\ & v_t+{\lambda }_1\left(u{v}_x+v{v}_y\right)=-p_y+{\lambda }_2\left(v_{xx}+v_{yy}\right)\end{array}$$
正问题：

• 参数 ${\lambda }_1=1$，${\lambda }_2=0.01$为已知参数，该问题为已知边界条件和微分方程，求解 u,v,p 。
  逆问题：
• 参数${\lambda }_1,{\lambda }_2$为未知参数，该问题为已知边界条件和微分方程，，但方程中参数未知，求解 u,v,p 以及方程参数。

考虑如图2所示长方形区域内，求解不可压缩流场，特别地，流体方程的解同时满足divergence-free functions，可以表述为：
$$u_x+v_y=0$$
网络，输出应该为三维（ $u,v,p$ ），但在求解过程，可引入latent function， $\psi (x,y,t)$ ，满足，
$$u={\psi }_y,v=-{\psi }_x$$
网络输出，则可表示为二维（ $\psi ,p$）。
​

图2：圆柱绕流问题 ​

图3：二维空间内流场

特别地，为了展示效果，这里我们选择10s下的流场对比预测效果。

图4：10s下的u，v

​

图5：10s下的p

4.结果展示

4.1 正问题实验结果

实验结果如图6-8所示，通过训练，PINN能实现u，v，p的准确预测
​

图6：预测u及误差图

​

图7：预测v及误差图

​

图8：预测p及误差图