システム生物学に基づいた深層学習によるパラメータと隠れたダイナミクスの推論

作宇：Alireza Yazdani1, Lu Lu1, Maziar Raissi2, George Em Karniadakis1
ユニット：

応用数学部門、ブラウン大学、プロビデンス、RI 02912、米国、
コロラド大学応用数学学部、ボルダー、コロラド州 80309、米国

1 動機:

システムセット内の生物学的応答の数学的モデルは、未知のパラメーターを使用して ODE によって記述することができ、パラメーター推論と解予測のための信頼性が高く堅牢なアルゴリズムの使用は、システム生物学の重要な核心です。

2 主な研究内容：

ODE をニューラルネットワークに統合できる、システム生物学に基づいた新しい深層学習アルゴリズムを提案する
少数の散乱およびノイズの多い測定値を使用して、未観測種のダイナミクス、外部ダイナミクス、未知のモデルパラメータを推論する機能
3 つの異なるベンチマーク問題でテスト済み

3 問題点と方法

3.1 問題の定義

$KaTeX 解析エラー: {equation} は表示モードでのみ使用できます。$ (1)
ただし、 $\mathbf{x}=\left(x_{1}, x_{2}, \ldots, x_{S}\right)$ です $S$ ， $\mathbf{p}=\left(p_{1}, p_{2}, \ldots, p_{K}\right)$ です $K$ パラメータを推定する必要があります。回分 $p$ が決まれば、システムの ODE を決定できます。 $\mathbf{y}$ です $M 個の$ 測定信号 (ガウスノイズを含むデータ)。 $\mathbf{h}$ 仮定します。
$\ left(\begin{array}{c} y_{1} \\ y_{2} \\ \cdots \\ y_{M} \end{array}\right)=\left(\begin{配列}{c} x_{s_{1}} \\ x_{s_{2}} \\ \cdots \\ x_{s_{M}} \end{array}\right)+\left(\begin{array }{c} \ epsilon_{s_{1}} \\ \epsilon_{s_{2}} \\ \cdots \\ \epsilon_{s_{M}} \end{array}\right)$ （2）

3.2 システム情報を活用したニューラルネットワークとパラメータ推論

![image.png](https://img-blog.csdnimg.cn/img_convert/eadcfac9abb0b3c4c3e6589ed0731c2b.png#align=left&display=inline&height=379&margin=[object オブジェクト]&name=image.png&originHeight=758&originWidth=1523&size=222031&status =完了&スタイル=none&width=761.5)
$KaTeX 解析エラー: {equation} は表示モードでのみ使用できます。$ （3）
$\mathcal{L}^{data}(\boldsymbol{\theta})=\sum_{m=1}^{M} w_{m}^{data} \mathcal{L}_{m}^{data }=\sum_{m=1}^{M} w_{m}^{data}\left[\frac{1}{N^{data}} \sum_{n=1}^{N^{data} }\left(y_{m}\left(t_{n}\right)-\hat{x}_{s_{m}}\left(t_{n} ; \boldsymbol{\theta}\right)\right )^{2}\右]$ （4）
$\mathcal{L}^{ode}(\boldsymbol{\theta}, \mathbf{p})=\sum_{s=1}^{S } w_{s}^{ode} \mathcal{L}_{s}^{ode}=\sum_{s=1}^{S} w_{s}^{ode}\left[\frac{1} {N^{ode}} \sum_{n=1}^{N^{ode}}\left(\left.\frac{d \hat{x}_{s}}{dt}\right|_{ \tau_{n}}-f_{s}\left(\hat{x}_{s}\left(\tau_{n} ; \boldsymbol{\theta}\right), \tau_{n} ; \mathbf {p}\right)\right)^{2}\right]$ （5）
$\mathcal{L}^{aux}(\boldsymbol{\theta})=\sum_{s=1}^{S} w_{s}^{aux } \mathcal{L}_{s}^{aux}=\sum_{s=1}^{S} w_{s}^{aux} \frac{\left(x_{s}\left(T_{0 }\right)-\hat{x}_{s}\left(T_{0} ; \boldsymbol{\theta}\right)\right)^{2}+\left(x_{s}\left(T_ {1}\right)-\hat{x}_{s}\left(T_{1} ; \boldsymbol{\theta}\right)\right)^{2}}{2}$ (6)
最初の 2 つの項目はデータ損失と ODE 損失で、最後の項目は補助損失であり、2 つの時点 $T_{0}を含むシステムの追加情報です。$ そして $T_{1}$ 、1番目と3番目の項目は教師あり損失に属し、2番目の項目は教師なし損失に属します。

(4-6) 係数 $M + 2 S$ 損失項目この論文では、重み付けされた損失がネットワークトレーニングで同じオーダーの大きさを維持するように重み係数を手動で選択します (理解するには、なぜ同じデータセットが必要なのか、またその特性は何ですか?)
最初の項目 $t_{1}、 t_{2}、 \ldots、 t_{N^{data}} の場合$ 、ランダムな時点、 $\tau_{1}, \tau_{2}, \ldots, \tau_{N^{od} e} について$ 等間隔のグリッドで選択します。3 番目の項目 $T_{0}$ は初期点、 $T_{1}$ トレーニングタイムチェーン上の任意の時間を選択できます (ただし、 $T_{0}からそれほど遠くない時間)$ 近すぎる）

4 システムの識別可能性の分析

システム識別問題では、主に構造的識別可能性と実用的識別可能性の 2 つのタイプの識別可能性があります。による構造認識不能 $による、 y の$ 解のパラメータ化が冗長です $y$ まで $不足しているx$ $\mathbf{h}$ のマッピング h $h$ 実験データの無視による事実上の非識別
構造的に識別可能なパラメータは、実際には識別できない場合もあります。実際の非識別は、測定データの量と質に関連しており、無限の信頼区間で示されます。

ステップ

ネットワークが観測データに迅速に適合できるように、最初にトレーニング用の教師付き損失 (1 番目と 3 番目の項目) を考慮します。
その後、3 敗でトレーニングします

実験を通じて、この 2 段階のトレーニング戦略によりネットワークの収束速度が加速されることがわかりました。

5つの実験

画像.png

5.1 酵母の解糖系

画像.png

ODE 損失を追加すると、ネットワークのオーバーフィットを防ぐことができます
標準偏差は、パラメータ信頼区間を取得するための FIM、構造/実際の識別可能性分析、またはブートストラップ法に基づいて取得されます。ここでは FIM が使用されます。

6 まとめ

ネットワークトレーニングを使用したモデルパラメータのフィッティング
隠れたダイナミクスを確実かつ正確に推論できる、システム生物学に基づいたニューラルアルゴリズムが提案されています。
わずかな観測データからダイナミクスとモデルパラメータを推測する機能