ボーゆうGongyiのAI「ハンズオン科学のPyTorch深さバージョン学習」タスク02の研究ノートを
タスク02：テキストの前処理、言語モデル、リカレントニューラルネットワークインフラストラクチャ
これらの三つのクラス、本当にハードコア真実を教えてください。（私の知識ブラインドタッチ）
また、NLPに従事するために彼の意志をやって、兄弟の顔認識の前に作られたグループは、この事は、リスニングが（実際には非常に木が成熟）木材と非常に高いです。
私はこの問題を見て3の映像を保持している、このようなものは、それを達成するために正確にどのようにということでしょうか？私は情報をチェックしていないとして、彼らはそれをしたい、文と、出力文に入る方法、Zezhengを知りません。
これは、NBの兄を反映して、半分我々は全体の、他の人がフレームの外に少しを取得しますたいのか分かりません。
まず、テキストの前処理です。今、私たちは、この毛皮の内部に学ぶ、それは前単語で、英語の単語が分割され、中国はさらに残忍で、個別に各単語を指示し（しかし、これは明らかに欠点があります）。だから、単語頻度統計の各単語（または文字）のコーパスがあり、その後、デジタルにマッピングされている各単語（または文字）のIDに単語間の対応を確立する（ツーショットOH！）。
第二は、言語モデルです。また別の話子供だけの犠牲者を見つけるために、学校を知らない学ぶないでください。マルコフがセットでここに移動直接的にnグラムと呼ばれる初期の言語モデルSBは、全体の式はない難しさの半分の内部ベイジアンフィルタSLAMを得ています。だから、多くの問題は、コミュニティのギャング内部の議論の声明によると、そこにある：スパース機能に加えて、パラメータ空間があまりにも大きな問題は、少ない語彙、疎な特徴は、中国語テキスト処理では、中国のセマンティック単語の存在は、英語よりも複雑であり、 、分類精度率（人々は、これは詠唱兄であると言って、私たちは知りません）。要するに、それはテキストを事前にすることが重要である、言語モデルは、より重要です。
言語モデルは、サンプリング時系列データ（文自体がタイミング情報が含まれている）こと、また、一つのことがあります。無作為にサンプリングし、隣接するサンプル：二つの方法。ちょうど内側から完成したものを使用する任意のn段を取り、次いでトレーニング時間、n個のセグメントの間に重複がない、セグメントに時間ステップnはカットによれば、全体のコーパス進歩であるランダムサンプリング、。アクセス部を確保するために、より興味深い隣接サンプリング、第コーパス記載BATCHSIZEアクセスが、長くできるだけバッチサイズ及び到達の整数倍である（コードでよく、これを達成するために）。次いで、バッチサイズは（均等バッチサイズに分割されている長い期間を想像する）に従って分離この期間にアクセスし、次いで、これらは、データの行のバッチサイズの行列形式、アクセスに対応し、バッチサイズ縦断面を積層されています我々はこのマトリックス中に左から右にスライディングウィンドウに対応するアクセス時間ステップのデータに基づいて、この列の行列を押したときに、このウィンドウは、時間ステップ幅高いのBatchSize、です。しかし、代わりに、各使用スライド、右にユニットを移動させる最後の時間ステップの位置に比べ。注意！これは非常に興味深い現象をもたらした、我々は、以下の喜喜喜について説明します。
最後に、このリカレントニューラルネットワークインフラストラクチャです。犬の日は、ああの重みとバイアスが共有されている、長いプルは明らかでした。（旧、脳が機能しません）。実際には、それ自体は、より多くの素晴らしい隠された層、中間層の出力ステータス情報の真ん中で、非常に簡単に理解することでした。層を隠された演算周期ニューラルネットワークを使用する必要があることに注意してください と 二つの量、この 興味深いことに、この変数は、情報の隠れた層（もちろん、そこには、実際に言葉にすべての情報の前に残されている）の後に去る前の単語と同等であることが、隣接するサンプリングを使用して、我々は保つことができます最後のバッチの最後の言葉 、どのその後、次のバッチの最初の言葉が続くデタッチ、およびランダムサンプリングは、こののメリットを享受しません。
基本的にはこれらの困難と焦点は、コードの所与の例は非常にシンプルできれいな本当に内側に書かれ、1というものがあります。
