接続された機能の完全な層をスプライスする方法1、?
一つの方法は、数が2つの連結することができるニューロンの数は、であり、二つの入力、一つの入力層、最終的に完全に接続されたネットワーク、完全接続ネットワークに直接接続された他の入力を有することです。もちろん、機能もフル連結接続層に直接入力してもよいが、前者が優れているといわれています。
2、どのようにword2vec単語ベクトルは、ネットワーク内で更新しますか?
私のモデルの一つ(ネットワーク層軽い)で、私は、ランダムな単語ベクトルよりも単語ベクトル効果word2vecを使用して、結果ははるか遠く劣っている更新します!!!非常に絶望的な、word2vec単語ベクトル生成テンソルを更新することはできません、あなたが微調整することはできません発見!解決策は2つあります:
- 完全に接続された第一層に接続word2vecワードベクトル入力は、パラメータが更新されます。ライン上に緻密層を追加します。
- これは、重量が訓練するために、次のコードを変更します:
- W = TF。get_variable (名= "W" 、形状=埋込み。形、初期= TF。constant_initializer (埋め込み)、訓練可能= 偽)
3、出力、状態および出力のRNN?
参考記事:https://blog.csdn.net/taoqick/article/details/79475350
簡単に言えば、単層又は単層GRU通常RNN場合、出力状態が同じであり、それはLSTM細胞である場合、状態は、CおよびH、H及び出力のみが含まれているので、我々は、一般的に床を取りましたネットワーク以下の処理は、その時間を用いて行われる場合、これは場合は、出力と同じです。それは、出力はまた、実際には、時間で表され、多層セルであるが、これは一番上のセルHの出力hであれば、見て!
4、tensorflow行列は転置しますか?
例えば、時々形状テンソルは(A、B、C)であります
私はに形にしたいこの時間(A、C、B)
()関数、tf.transposeを使用します
参考記事:https://blog.csdn.net/banana1006034246/article/details/75126815
テンソルのテンソルに(A、B、C)(A、C、B)
アウト= tf.transpose(入力、パーマ= [0,2,1])