NLP最初のレッスン(私も勉強し始めました)

  アイドル退屈、私はプログラミングで5年以上の経験を持って、CRUDに加えて、面接に私は意志、私が辞め一日を、行くも、自分自身を求めるだろう、私は給料を期待し、より若いものをすることができます若い卒業生の低い、実際にソフトウェアのプログラミング、すべての良いドラマを行い、徐々に自分自身が、彼らが訓練機関の外であることを忘れて洗脳与える、私が持っている利点は何ですか、と私は電気の部門のちょうど大学生だ、と彼は言いました非常に多くの研修機関は、我々は一定の割合で生まれ、大学教育を受けた人々の間の差は、最終的な分析ではまだそれを学ぶ必要があることを言わなかった、悪く言わなかった、文句を言う、半年以上パイソン自分自身を教え休暇は今NLPを学ぶために訓練報告英語は欠陥がある、彼自身は、彼は無力だったと述べました。

  自宅に近いが、私は、あなたと共有するために来ている私は何を学んだこの時点(2019年7月1日に2019年6月15日)。

  私たちは、人工知能を選択しているので、我々は人工知能が何であるかを知っておくべき、NLPとは何か、我々は最初にその権利いくつかの用語を定義します。

  AI(人工知能)、AIのための英語の略語。これは、シミュレーション、拡張して、新しい人間科学技術知能の理論、方法、技術および用途の拡大のための研究開発です。人工知能は、知能の本質を理解し、新しいインテリジェントなマシンは、人間の知性と同様に対応できる生産しようとするコンピュータサイエンスの枝で、この分野の研究は、ロボット工学、音声認識、画像認識などが自然言語処理や専門家のシステム。人工知能、理論と技術の誕生は、より洗練されたなってきたので、応用分野が拡大し続け、将来は人工知能技術製品をもたらし、それは人間の知恵であると考えられる「コンテナ。」人工知能、意識は人間の思考プロセスの情報をシミュレートすることができます。AIは人間の知性ではなく、人々のように考えることができ、人間の知性を超える可能性があります。人工知能は、コンピュータの知識、心理学や哲学を理解する必要があり、この作業に従事する挑戦的な科学、です。人工知能は、科学の非常に広い範囲で、このような機械学習、コンピュータビジョンなどさまざまな分野で構成され、そのため、一般的には、人工知能の研究の主要な目的は、いくつかのマシンができるようにすることです通常はそれが完了するために、人間の知性が必要です複雑な作業。しかし、異なる時間、この「複雑な作業」の異なる人々の理解が異なっています。 [1] 2017年12月には、人工知能はに登場し、「2017年度トップ10中国メディア流行語。」(Baiduの除去)

  私の部分については、私は人工知能が当社の既存の機器は、人々がより多くのことを行うと、人間の心に与えることができる助けるために(例えば、コンピュータ、ロボットなど)、機械が人間の理性と人間性を動作するようにすることだと思います。例えば、我々は今ようにスマート駐車場、音声通話、自動ロボット工場としています。

  NLPは、NLP(神経言語プログラミング)は略語です。一般的に、自然言語処理として知られ、NLPは、私は、これは主に機械が人間の心の交流や機能を与える正常な人間の言語を与えることができるようにすることだと思います。ニュースなどのようなチャットロボットは、スパムを分類します。

  私たちは、中国の文法がよりであることを知っている、のは、シンプルを取る単語を生成してみましょう。一般的に従来のテキスト、

=ホスト「」 " 
ホスト=時間名詞動詞形容詞名詞被験者は名詞の重要
時間=名詞午前、午後、昨日の正午、真夜中、昨年、明日を
主語名詞=学生、人、古い、女性、同性愛者、叔父の
形容詞素早く=素早く、静かに、静かに
動詞=戦うために、追いかける、ドキドキ、叫んで、見つめ
情勢は名詞=カタツムリ、チーター、オットー、野球、戦闘機、冥王星
。「」 "

私たちは、例えば、単語を構成することができる文の要素のテキストの最初の行は、何時間名詞+対象+(形容詞)+動詞+(名詞事務を)持っていることがわかります、今夜私たちは激しく残業しなければなりません。また、明日の指導者たちは大きな食事を食べるために私たちを招待ことがあります。

私たちの時間名詞+対象+(形容詞)+動詞+(総務名詞)形式は、上記のテキストのいずれかで構成することができに従い、すべてのステートメント(流暢ではないを通じて問題のいくつかを考慮していない)、のは、コードの実装を見てみましょう。

アイデアは、フォーマットに従って文にスプライス要素の次のセット、5- 4ランダム値を与えるために、2-、3-形式の文章構成要素を切断予定ラインによれば、1-テキストを得ました。

コード:

!は/ usr / binに/のenv Pythonの- * -コーディング:UTF-8 - * - 
インポートランダム

ホスト = "" " 
ホスト=時間NP対象は、形容詞、動詞総務は名詞名詞
時間名詞=午前、午後、昨日の正午、真夜中を昨年、明日
主語名詞=学生、人、古い、女性、同性愛者、叔父の
形容詞=すぐに、すぐに、静かに、静かに
戦うために=動詞、追撃、ドキドキ、叫んで、見つめ
事務名詞を=カタツムリ、チーター、オットー、野球、戦闘機、冥王星
"" " 


主に辞書にテキストデータを変換
DEF create_grammar(grammar_str、スプリット= ' = '、line_split = ' \ N- '、code_split = " ' ):
    文法 = {}
     のためのラインgrammar_str.split(line_split):
         場合行がある '' 続ける
        K、V = line.split(スプリット)
        文法[k.strip()] = [s.split()のために S v.split(code_split)]
     リターン文法


#の随机の选择の 
選択= random.choice 


得到句子
デフ(グラム、ターゲット)を生成します
     場合は対象ではない グラム:
         リターン・ターゲット
     
        リー = 選択(グラム[対象]) =''   最终句子的 
        AA = [生成する(グラム、T)のための T のLi]
         のために S におけるAA:
             場合に sがあり ません ' / N '  + = S
         リターン


なら __name__ == ' __main__ ' のために、私は範囲(10 ):
        形容詞 =(create_grammarを(ホスト、生成' = ')、目標= ' ホスト ' プリント(ADJ)

操作の後、我々は多くの文章は、私たちのスピーチ習慣と完全に矛盾し、間違っているでしょう、私たちは、このようなランダム選択は賢明な選択ではありませんが、我々はこの賢明な選択に対処しようとしているので、彼は人間に従うことができることをやろう音声出力モード「固定フォーマット」の言葉。

  今、また、一般的なテレビ番組で、少しゲームをやるのヒントを与え、あなたは、金の鍋などの単語を推測させ、点灯して、私たちのほとんどは、最初のJDBを考えるだろう、例えば、私たちは教室を言って、黒私たちは黒板と思います。もう一つの例は、午後6:00に、我々は残業と思います。など、人間が先に与えられた言葉に従っもあり、私たちはすぐに応答が得られます。これは私が最近学んだことであるNグラム

  N-gram言語モデルは、モデル(言語モデル、LM)は、言語モデルは、入力ワード(シーケンスの語順)、文の出力確率、すなわち、それらの単語である確率モデルの決意、あります同時確率(同時確率)。

  Nグラムは仮定に基づいている:n番目の単語が(隠れマルコフの仮定の中でもある)は、任意の他の用語と関連していないが、以前のN-1ワードに関連する表示されます。文全体の出現確率は、各単語出現の確率の積に相当します。各単語の確率は統計的なコーパスで計算することができます。通常、N-グラムまたはテキストコーパスから。いうユニグラムN = 1、N = 2のバイグラムを参照されたときに、2つに依存しているから、N = 3、すなわち、次のワードが仮定されるでバイグラムのが前面に表示されるように、ワード依存の前に表示されるように、トリグラムの想定される次のワードと呼ばれように単語、そのトライグラム、と。理論的には、nはより大きく、より良い、経験、使用されるほとんどのトライグラムは、しかし、原則的には、バイグラムを解決するために使用することができ、決してトライグラムを使用していません。

  のは、いくつかの式を見てみましょう:

  1グラム:P(W1、W2、W3、...、WN)= P(W1)P(W2 | W1)P(W3 | w1w2)P(W4 | w1w2w3)... P(WN | w1w2 ... WN-1) ≈P(W1)P(W2 | W1)P(W3 | W2)P(W4 | W3)... P(WN | WN-1)

  2グラム:P(W1、W2、W3、...、WN)= P(W1)P(W2 | W1)P(W3 | w1w2)P(W4 | w1w2w3)... P(WN | w1w2 ... WN-1) ≈P(W1)P(W2 | W1)P(W3 | w1w2)P(W4 | w2w3)... P(WN | WN-2wn-1)

  何だろう(W1)確率はコーパスPに現れるW1、つまり、(W1)/総カウントされ、その説明を、P(W2 | W1)確率W1が後ろに現れW2と、その回数(w1w2 )/数(W2);私たちは、その後、実際の例を見て2グラム。

  P(参照|私たちが好き)|私たちは、その後、P(私たちは、本を見たい)= P(私たち)は、p(私たちのように)なると、私たちは本を見たいワードに切断した後、読むのが好きP(書籍|見たいです)

  P(我々は)「私たち」という言葉は、内部のコーパスに出現する確率を表します。

   (単語が分母として表示された回数、単語の出現回数のようにあなたが分子を好きなように);この言葉は、「私たち」確率の後ろに表示されます|(私たちのような)に「のように」P

 

   | pが(参照私たちが好きな)言葉は、「私たちが好き」の背後にある確率で表示される「を参照してください。」を表し;(数が分母として現れる参照、我々は分子として見たいと出現回数)

 

   P(書籍|見たいとは)単語が確率の背中を「我々が見たい」に表示される「ブック」を意味します。(分母として書籍の出現数は、分子として読むよう表示されます)

  

  我々は2グラムを使用した場合とそう、それだけで最初の二つの単語を考えます。

 

  そして、我々はその数が0-1を掛けてしまいます、0に無制限に近いが1の時に限りなく近い、文が間違っている可能性があることを示している文は右である可能性が高いことを示しています

 

  コードの実装はまだ完了していません。より最近の研究のジレンマ、コードの一部を書き込み、完全にそれがで終らされていません。数日が記入されます。

おすすめ

転載: www.cnblogs.com/cxiaocai/p/11121574.html