最近、時系列について学びました。次に、時系列に適用されるハイブリッドニューラルネットワークの事例を紹介します。
記事：「時系列のトレンドを学習するためのハイブリッドニューラルネットワーク」
TreNet：時系列の傾向を予測するためにローカルおよびグローバルのバックグラウンド機能を学習するための新しいエンドツーエンドのハイブリッドニューラルネットワーク。
ロングショートメモリリカレントニューラルネットワーク（RNN）LSTMを使用して、ヒストリカルトレンドシーケンスの長期依存をキャプチャします。
CNNは通常、元のデータから特徴的な特徴を抽出し、アクティビティ/アクション認識のために元の時系列データから特徴を抽出するために使用されます。
特徴融合層は、傾向の共同表現を予測することを学習します。
TreNetは、CNN、LSTM、CNN、LSTMのカスケード、隠しマルコフモデルに基づく方法、および実際のデータセットに基づくさまざまなカーネルベースのベースラインを通じて、TreNetの有効性を証明しました。
時系列は、医学的および生物学的実験の観察、株式市場の日々の変動、電力消費の記録、データセンターのパフォーマンス監視など、幅広い分野で生成されている一連の時系列データポイントです。
基本的な表現：
データポイントのシーケンス：
Xの実際のトレンド：トレンド
に対応する特定のサブシーケンスを表す線形関数。lkとskはそれぞれ継続時間とトレンドスロープk、連続値を表し、Tは互いに重なりません。
ローカルデータの各履歴トレンドをサイズwのデータポイントのセットとして定義します。
目的：ニューラルネットワークベースの方法を提案して、後続のトレンドを予測する関数を学習します。
ポイントはここにあります
。TreNetのアイデアは、CNNとLSTMを組み合わせて、データのさまざまな側面（LとT）でそれらの表現機能を利用し、トレンド予測の共同機能を学ぶことです。時間Tと勾配Lをそれぞれ予測および計算します。
トレンドおよびR（T）およびC（L）関連関数。
R（T）：シーケンスLでLSTMをトレーニングして、履歴トレンド変化の依存関係を取得します。
C（L）：LのローカルデータセットからCNNによって抽出されたローカルフィーチャに対応します。
フィーチャフュージョンレイヤーは、後続の傾向を予測するために使用されるフィーチャをマージします。最後に、トレンド予測は、機能の融合と出力層に対応する関数によって実装されます。
ヒストリカルトレンドシーケンスの依存関係を学ぶ最初に
式を
説明します。ステップkのLSTMレイヤーでのj番目のニューロンのストレージを表します。出力用。
LSTMニューロンの出力ゲートです。
トレンドkと勾配の継続時間の連結で、hk-1とckはそれぞれのベクトル化です。
σはロジスティックシグモイド関数です。理解できない場合はBaiduを使用できます。
次の方法で更新し、既存のレコードをいくつか削除して、新しいレコードを追加します。
制御の忘却（既存の忘却）および入力制御（新規の取得）：
Vf、Viは対角行列です。
これは、エレメントリークのReLUアクティベーション関数です。Woとboは、出力層の重みと偏差です。
Wとbは、重みと偏差パラメータを表します。
λは正則化項のハイパーパラメーターです。コスト関数は微分可能であり、TreNetのアーキテクチャにより、損失関数の勾配をLSTMおよびCNNパーツに伝搬させることができます。
実験的分析：
TreNetは、CNN、LSTM、ConvNet + LAT（CLSTM）、SVR、パターンベースのHMM、ナイーブと比較されます。
評価パラメーターは次のとおりです。RMSE、二乗平均二乗誤差
データセットは、消費電力（PC）、ガスセンサー（GasSensor）、在庫トランザクション（在庫）です。
比較結果はすぐ下に表示されます
。RMSEは、各データセットのトレンド期間と勾配を予測します。
TreNetは、PC、Stock、GasSensorデータセットの例の傾向予測を視覚化します。黄色の点は時系列を表し、各グラフの紫色の線は関連する履歴トレンド系列を表します。
TreNetは、より優れた予測特性と安定性を示します。
週末にリラックスする準備ができて、ようやく書き終えました。
