*最初に明確にすることは、私の思考が合理主義と経験論に偏っていないということです。結局のところ、2つの学校についての私の知識はまだ不十分であるため、思考の過程で、どちらが優れているかはわかりません。私はそれをもっと支持します。すべての学校は平等に扱われます。第二に、この考えは、登録されていない低レベルの将来の大学院生のペンに書かれていましたが、これは少しばかげているかもしれません。
LiWei先生とGuoJin先生が出版した新刊「自然言語処理に関する質問と回答」の最初の部分を読んだ後、最初の反応は、この本が明確かつ簡単に書かれていることです。 。ブランチ。この本は最初に質疑応答の形で書かれているので、この質問と回答をする人は非常に重要です。質問の過程で、郭金氏は現在の人工知能の発達に基づいてよく質問をしましたが、よく質問され、私も同じ質問をしていると感じました。答える過程で、李仁氏は深遠なことを簡単に説明し、例はわかりやすく、私のような初心者の方にもとてもフレンドリーでわかりやすいです。
この本の最初の部分を読んだ後、最初に理解できることは、人工知能の分野が2つの一般的な方向に分かれているということです：合理主義と経験論。現在の一般的な画像認識、ディープラーニング、その他のテクノロジーは、経験論の方向性に属しています。経験論の中核は、実際には確率と統計モデルであると思います。これにより、全体的な状況を制御できます。そして、合理主義とは、人々の日常生活におけるさまざまな活動を記号で形式化することです。確率は含まれません。記号形式化によって人間の行動プロセスや認知プロセスを抽象化するようなものです。経験論と合理主義についてある程度理解できたので、最近OpenAIによって開発されたニューラルネットワークによって駆動される新世代の言語モデルGPT3について考えます。
よるの導入GPT3インターネット上で、我々はそれが持っていることを知ることができる175個の前世代モデルの百倍である億パラメータを、。GPT3は、入力した自然言語を使用して必要なものを判断し、対応するhtml言語コードを生成できます。つまり、自然言語の説明を使用してWebサイトを構築すると、発言内容がわかります。また、法的規定を言語に変換することもできます。また、エッセイ、ジョーク、小説を書いたり、人間とチャットしたりすることもできます。これはニューラルネットワークによって駆動される言語モデルであるため、学習するには大量のラベル付きデータが必要です。これが統計手法の最大の制限です。で使用するプロセスGPT3を、我々はときがわかりますGPT3がチャットしている人の質問に答えるに加えて、人々と、それはまた、その理解の範囲を絞り込むことが人間をお願いします。それは正確に答えると、より見て効果的な方法です人間のようです。しかし、GPT3のチャットと記事の執筆の過程で、私は1つのことを発見しました。このGPT3モデルの値が歪んでいる場合や、値がまったくない場合があります。私はこれについて推測しています：GPT3はニューラルネットワークによって駆動されるため、トレーニングと学習には大量のデータが必要であり、その値は実際にはトレーニングデータによって提示された値から導出されます。そして、それは実際には真の知恵の意味での人工知能ではありません。ある程度、前世代のGPT2モデルと根本的な違いはありません。違いは、そのパラメータが前世代の100倍であり、人間のように「見える」ことです。Li Wei先生は、「自然言語処理の質問と回答」で、認知知能のコアはGPT3のような自然言語理解であると明確に述べています。この自然言語モデルの理解は未成熟のようです。もう1つの問題は、GPT3が、強力な人工知能である自律性について話していることをまだ実行していないことです。合理的でタイムリーな自己推薦や対話を行うことはできません。GPT3 、あなたが自分のニーズにそれを伝える場合にのみ、それはあなたのフィードバックを与えることができます。しかし、多くの場合、GPT3はまだ自然言語処理に欠けているため、あなたが彼にあなたのニーズを伝えた可能性はありますが、あなたがあなたの理想に望むものを与えることはできません。 Li Weiの本に書かれている形式文法が言語形式に基づいて規則を形成するプロセスについて、私はこのプロセスを赤ちゃんが生まれた後の認知プロセスと比較できるかどうかという疑問を考えました。赤ちゃんが生まれてからは、この世の顔は全く知られていないと言え、人間社会の自然言語を全く理解していません。彼が成長するにつれて、彼の両親は「お父さん」、「お母さん」などの個々の言葉を繰り返していました。繰り返し繰り返すと、赤ちゃんは「お父さん」と「お母さん」という言葉が誰を指しているのかわかるかもしれませんが、実際、赤ちゃんは「お父さん」と「お母さん」という言葉の意味を理解していません。赤ちゃんの最初の理解は、彼の両親の「名前」がママとパパと呼ばれるかもしれないということです。彼らは、「お父さん」が「お父さん」という言葉の意味ではなく、父親の個人を指していることを理解しているだけです。赤ちゃんは、世界に気づいて初めて、「お父さん」や「お母さん」などの言葉が他人にも使えることを理解します。その過程で、人間特有の認知メカニズムに加えて、社会で常に形成されている多くの経験も必要だと思います。
言い換えれば、経験論と合理主義が組み合わされた場合、新しい火花が生まれますか？Li Wei先生は本の中で非常に古典的な文章を述べ、「機械学習で森は見えるが木は見えないことが多い場合、計算文法は森ではなく森を見ることです」と述べています。機械学習はよりグローバルで、計算文法はより正確なので、2つを組み合わせてみてはいかがでしょうか。これは、一方向に巨視的な制御を行うだけでなく、正確な処理が必要な場所でも最適です。人間にとって、学校に行く過程で学ぶのは、より合理的な知識であり、徐々に独自の知識システムと認知メカニズムを確立しますが、人生における経験の役割を否定することはありません。実践が完璧になるケースが多く見られます。多くの分野の教師も経験を使って物事を判断します。これは人間社会に存在する事実です。人間社会では、言葉の由来をいつの間にか変えることがよくあります。意味や私たちのいくつかの単語の使用は非常に多様です。中国語を使う過程で、状況によって意味が異なります。たとえば、カップルの話をするとき、女の子は助けが必要ないと言うこともありますが、実際には、彼女は非常に助けたいと思っているので、合理主義のためにとはいえ、この問題を解決するのはそれほど簡単ではないかもしれません。人工知能の分野に移行すると、機械の場合、シンボリック手法を使用して人間の抽象的な思考をシミュレートし、機械に基本的な認知メカニズムを与え、通常の3つのビューを含むラベル付きデータを使用してトレーニングします。機械に異常を発生させる同じ効果。GPT3を例にとると、合理的な自然言語パーサーが追加され、さまざまなシナリオでのデータトレーニングを通じて、より優れた自然言語処理の条件下で、さまざまなシナリオでのさまざまな言語の問題を解決できますか？この質問。合理的な自然言語パーサーは専門家がコーディングする必要があることは誰もが知っています。機械学習と比較すると、自然言語処理の精度が高いため、学習するマシンのさまざまなコンテキストでデータを追加します。問題。もちろん、GPT3で使用される言語は英語です。英語と比較して、中国語はあいまいさを生み出しやすい場合があります。したがって、Li Wei先生が表現したように、言語の種類によって、明示的および非表示の形式に異なる重点が置かれます。自然言語処理では難易度にもさまざまなレベルがあります。したがって、一般に、目に見えない形を強調する中国語のような言語の場合、合理主義と経験論を組み合わせると、機械は人間の認知メカニズムをより厳密にシミュレートできますか？それが人工知能を促進するかどうか？役割、これには学者も必要になる可能性があります