tensorflowとニューラルネットワークの問題点と解決策[継続的に更新]

接続された機能の完全な層をスプライスする方法1、?

一つの方法は、数が2つの連結することができるニューロンの数は、であり、二つの入力、一つの入力層、最終的に完全に接続されたネットワーク、完全接続ネットワークに直接接続された他の入力を有することです。もちろん、機能もフル連結接続層に直接入力してもよいが、前者が優れているといわれています。

2、どのようにword2vec単語ベクトルは、ネットワーク内で更新しますか?

私のモデルの一つ(ネットワーク層軽い)で、私は、ランダムな単語ベクトルよりも単語ベクトル効果word2vecを使用して、結果ははるか遠く劣っている更新します!非常に絶望的な、word2vec単語ベクトル生成テンソルを更新することはできません、あなたが微調整することはできません発見!解決策は2つあります:

  • 完全に接続された第一層に接続word2vecワードベクトル入力は、パラメータが更新されます。ライン上に緻密層を追加します。
  • これは、重量が訓練するために、次のコードを変更します:
  1. W = TF。get_variable 名= "W" 形状=埋込み。、初期= TF。constant_initializer 埋め込み、訓練可能=

3、出力、状態および出力のRNN?

参考記事:https://blog.csdn.net/taoqick/article/details/79475350

簡単に言えば、単層又は単層GRU通常RNN場合、出力状態が同じであり、それはLSTM細胞である場合、状態は、CおよびH、H及び出力のみが含まれているので、我々は、一般的に床を取りましたネットワーク以下の処理は、その時間を用いて行われる場合、これは場合は、出力と同じです。それは、出力はまた、実際には、時間で表され、多層セルであるが、これは一番上のセルHの出力hであれば、見て!

4、tensorflow行列は転置しますか?

例えば、時々形状テンソルは(A、B、C)であります

私はに形にしたいこの時間(A、C、B)

()関数、tf.transposeを使用します

参考記事:https://blog.csdn.net/banana1006034246/article/details/75126815

テンソルのテンソルに(A、B、C)(A、C、B)

アウト= tf.transpose(入力、パーマ= [0,2,1])

 

おすすめ

転載: www.cnblogs.com/zhouxiaosong/p/11113747.html