時系列モデルとニューラル ネットワーク モデルの違いは何ですか?
Google AI ライティング プロジェクト: ニューラル ネットワーク疑似オリジナル
ニューラル ネットワーク マイニング モデルとロジスティック回帰マイニング モデルの違いは何ですか?
ロジスティック回帰は線形回帰に少し似ていますが、従属変数が数値でない場合はcat と書きます。たとえば、従属変数がブール変数 (はい/いいえの応答など) である場合、ロジスティック回帰が必要です。これは回帰と呼ばれますが、実際には、従属変数を 2 つのクラスのいずれかに分類する回帰に関する分類です。
Web リンク 上記のように、バイナリ出力の予測にはロジスティック回帰が使用されます。たとえば、クレジット カード会社が顧客にクレジット カードを発行するかどうかを決定するモデルを構築する場合、顧客がクレジット カードを必要とするか、またはクレジット カードを購入できるかどうかをシミュレートします。
イベントが発生しなかった確率を記録するために、イベントが発生する確率の対数を与えます。最後に、いずれかのクラスの高い確率に基づいて変数を分類します。
ニューラル ネットワーク (Neutral Network) は、数学的アルゴリズムによって人間の脳の思考を模倣したものであり、データ マイニングにおける機械学習の代表的なものです。
ニューラル ネットワークは、人間の脳の抽象的な計算モデルです. 人間の脳には何百億ものニューロン (人間の脳内で情報を処理するマイクロユニット) があることがわかっています. これらのニューロンは互いに接続されているため、人間の脳は洗練された論理的思考を生み出します。
データマイニングにおける「ニューラルネットワーク」も多数の人工ニューロン（マイクロプロセッシングユニット）を並列に分散させて構成されており、接続強度を調整することで経験的知識から学習し、その知識を応用することができます。
ニューラル ネットワークは、学習が大好きな子供のようなものです. 彼女はあなたが教えたことを決して忘れず、学んだことを適用します. Learning Set の各入力をニューラル ネットワークにフィードし、ニューラル ネットワークに出力の分類を指示します。
すべての学習セットが実行された後、ニューラル ネットワークはこれらの例に基づいて彼女自身のアイデアを要約します。彼女がそれをどのように要約するかはブラック ボックスです。
その後、テスト セット (Testing Set) 内のテスト例をニューラル ネットワークで個別にテストできます. テストに合格した場合 (80% または 90% の正答率など)、ニューラル ネットワークが正常に構築されます。
次に、このニューラル ネットワークを使用して、トランザクションの分類を判断できます。具体的には、「ニューラル ネットワーク」は相互接続された入出力ユニットのセットであり、各接続はトークンに関連付けられています。
学習フェーズでは、これらの接続の重みを調整することで、入力観測値の正しいクラス ラベルを予測できます。したがって、人工ニューラルネットワークは、豊富で完全な接続、サンプリング、単純化、およびシミュレーションを通じて、多数のニューラルネットワーク要素によって形成される情報処理システムであることが理解できます。
ディープラーニングとニューラルネットワークの違いは何ですか
ディープ ラーニングとニューラル ネットワークの関係 2017-01-10 最近ディープ ラーニングを学び始めました. 基本的に, それらはすべてブロガー zouxy09 によって書かれた記事です. それらは非常によく書かれており、包括的です. また、私に従ってそれらを削除および改良します.自分の考え。
5. 深層学習の基本的な考え方 n 層 (S1,...Sn) を持つシステム S があるとします。その入力は I、出力は O であり、次のように表されます。I =>S1 =>S2=>… ..=>Sn => O、出力 O が入力 I と等しい場合、つまり、システム変更後に入力 I に情報損失がない場合 (へへ、ダニエルは、これは不可能だと言いました。
情報理論で「層ごとに情報が失われる（情報処理の不平等）」という言葉がありますが、aの情報を加工してbを得て、bの情報を加工してcを得たとします。 a と c の相互情報量が a と b の相互情報量を超えないことを証明する。これは、情報処理が情報を追加するのではなく、ほとんどの処理が情報を失うことを示唆しています。
もちろん、失われたのが役に立たない情報だったらいいのですが）、そのままにしておきます。つまり、入力 I は情報を失うことなく各層 Si を通過するということです。つまり、どの層 Si においても、元の情報の表現 (つまり、入力 I)。
トピックの深層学習に戻ります。自動的に機能を学習する必要があります。大量の入力 I (大量の画像やテキストなど) があると仮定し、システム S (n 層) を設計すると仮定して、パラメータを調整します。その出力が依然として入力 I であるように、入力 I の一連の階層的特徴、すなわち S1、...、Sn を自動的に取得できます。
深層学習では、複数の層を積み重ねる、つまり、この層の出力を次の層の入力として使用するという考え方です。このようにして、入力情報の階層表現を実現することができる。
さらに、前の仮定は、出力が入力と厳密に等しいということでした. この制限は厳しすぎます. この制限を少し緩和することができます. たとえば, 入力と出力の差をできるだけ小さくすればよいだけです. . この緩和は、別の種類の深層学習方法につながります。
以上がディープラーニングの基本的な考え方です。6. 浅い学習と深い学習 浅い学習は、機械学習の最初の波です。
1980 年代後半、人工ニューラル ネットワーク用のバックプロパゲーション アルゴリズム (バック プロパゲーション アルゴリズムまたは BP アルゴリズムとも呼ばれる) の発明は、機械学習に希望をもたらし、統計モデルに基づく機械学習の波を引き起こしました。この熱狂は今日まで続いています。
BP アルゴリズムを使用すると、人工ニューラル ネットワーク モデルが多数のトレーニング サンプルから統計法則を学習し、未知のイベントを予測できることがわかりました。この統計ベースの機械学習アプローチは、過去の手動ルール ベースのシステムよりも多くの点で優れています。
このときの人工ニューラルネットワークは多層パーセプトロン(Multi-layer Perceptron)とも呼ばれますが、実際には隠れ層ノードを1層だけ含む浅いモデルです。
1990 年代には、サポート ベクター マシン (SVM、サポート ベクター マシン)、ブースティング、最大エントロピー法 (LR、ロジスティック回帰など) など、さまざまな浅い機械学習モデルが次々と提案されました。
これらのモデルの構造は、基本的に、隠れ層ノード (SVM、Boosting など) の層があるか、隠れ層ノードがない (LR など) と見なすことができます。これらのモデルは、理論解析と応用の両方で大きな成功を収めています。
対照的に、理論的分析の難しさと、トレーニング方法に関する多くの経験とスキルが必要なため、この時期の浅い人工ニューラル ネットワークは比較的静かでした。ディープ ラーニングは、機械学習の第 2 の波です。
2006 年、カナダのトロント大学の教授で機械学習の分野の修士号を持つ Geoffrey Hinton と、彼の学生である Ruslan Salakhutdinov が「Science」に論文を発表し、学界と産業界に深層学習の波が開かれました。
この記事には 2 つの主な視点があります: 1) 多層隠れ層人工ニューラル ネットワークには優れた特徴学習能力があり、学習された特徴にはデータのより本質的な記述があり、視覚化または分類に役立ちます; 2) ディープ ニューラルネットワークのトレーニングの難しさは、「レイヤーごとの事前トレーニング」によって効果的に克服できます. この記事では、レイヤーごとの初期化は教師なし学習によって実現されます.
分類や回帰などの現在の学習方法のほとんどは浅い構造のアルゴリズムであり、限られたサンプルと計算ユニットの条件下で複雑な関数を表現する能力に制限があり、複雑な分類問題に対する一般化能力はある程度制限されています。 .
深層学習は、深い非線形ネットワーク構造を学習することで複雑な関数近似を実現し、入力データの分散表現を特徴付け、少数のサンプル セットからデータ セットの本質的な特性を学習する強力な能力を実証できます。
(複数層の利点は、複雑な関数をより少ないパラメーターで表現できることです。) ディープ ラーニングの本質は、多くの隠れ層と大量のトレーニング データを使用して機械学習モデルを構築することにより、より有用な機能を学習し、最終的に分類を改善することです。または予測精度。
したがって、「深層モデル」は手段であり、「特徴学習」は目的です。
従来の浅い学習とは異なり、ディープ ラーニングは次の点で異なります: 1) モデル構造の深さを強調し、通常は 5、6、または 10 層の隠れ層ノードを使用します; 2) 特徴学習の重要性を明確に強調します。つまり、レイヤーごとの特徴変換により、元の空間のサンプルの特徴表現が新しい特徴空間に変換され、分類または予測が容易になります。
人為的な規則によって特徴を構築する方法と比較して、ビッグデータを使用して特徴を学習すると、データの豊富な内部情報をより適切に説明できます。
7. 深層学習とニューラル ネットワーク 深層学習は、機械学習研究の新しい分野です. その動機は、分析と学習のために人間の脳のニューラル ネットワークを確立してシミュレートすることです. データを説明するために人間の脳のメカニズムを模倣します.画像、音声、テキストとして。
深層学習は、教師なし学習の一種です。ディープ ラーニングの概念は、人工ニューラル ネットワークの研究から生まれました。複数の隠れ層を持つ多層パーセプトロンは、深層学習構造です。深層学習は、低レベルの特徴を組み合わせて、より抽象的な高レベルの表現属性カテゴリまたは特徴を形成し、データの分散特徴表現を発見します。
深層学習自体は機械学習の一分野であり、単純にニューラル ネットワークの開発として理解できます。
20～30年ほど前、ニューラルネットワークは機械学習の分野で特にホットな方向性でしたが、次第に衰退していきました.その理由としては、1)比較的オーバーフィットしやすいこと、パラメータの調整が難しいことなどが挙げられます.より少ないトリック; 2) トレーニング速度は比較的遅く、層数が少ない場合 (3 以下) は他の方法よりも効果が高くないため、中間に約 20 年あり、ニューラル上記は SVM とブースティング アルゴリズムの世界です。
しかし、熱狂的な老紳士ヒントンである彼は固執し、最終的に (Bengio、Yann.lecun などと共に) 実用的な深層学習フレームワークを提案しました。
ディープ ラーニングと従来のニューラル ネットワークには、多くの類似点と相違点があります。
両者の違いは、深層学習がニューラルネットワークと同様の階層構造を採用していることで、システムは入力層、隠れ層（多層）、出力層からなる多層ネットワークで構成されています。隣接する層は接続されており、クロス層のノード間には接続がなく、各層はロジスティック回帰モデルとみなすことができ、この層構造は人間の脳の構造に比較的近いものです。
ニューラル ネットワークのトレーニングの問題を克服するために、DL はニューラル ネットワークとは非常に異なるトレーニング メカニズムを採用しています。
従来のニューラルネットワーク（ここでは、主に順方向ニューラルネットワークを指します）では、バックプロパゲーションの方法が採用されています. 簡単に言えば、反復アルゴリズムを使用してネットワーク全体をトレーニングし、初期値をランダムに設定し、計算します.現在のネットワークの出力、そして現在の出力とラベルの違いに応じて、収束するまで前のレイヤーのパラメーターが変更されます（全体は勾配降下法です）。
そして、深層学習は全体として層単位のトレーニング メカニズムです。
これは、バックプロパゲーションのメカニズムを利用すると、深いネットワーク（7層以上）の場合、フロントレイヤへの残留伝播が小さくなりすぎて、いわゆる勾配拡散（勾配拡散）が現れるためです。
この問題については次に説明します。
Eight. ディープ ラーニングのトレーニング プロセス 8.1. 従来のニューラル ネットワークのトレーニング方法をディープ ニューラル ネットワークで使用できないのはなぜですか? .
ディープ アーキテクチャ (非線形処理ユニットの複数のレイヤーを含む) の非凸目的コスト関数の遍在する極小値は、トレーニングの困難さの主な原因です。
BP アルゴリズムの問題点: (1) 勾配がまばらになる: エラー訂正信号が最上層からどんどん小さくなる; (2) 極小値に収束する: 特に最適な領域 (ランダム値) から離れて開始する場合(3) 一般に、トレーニングにはラベル付きデータのみを使用できます: しかし、ほとんどのデータはラベル付けされておらず、脳はラベル付けされていないデータから学習できます; 8.2 深層学習トレーニング プロセスでは、すべての層がが同時にトレーニングされると、時間の複雑さが高くなりすぎます。毎回 1 つのレイヤーがトレーニングされると、偏差がレイヤーごとに送信されます。
これは、上記の教師あり学習とは逆の問題に直面し、深刻な適合不足になります (ディープ ネットワークにはニューロンとパラメーターが多すぎるため)。
ヒントンは 2006 年に教師なしデータに多層ニューラル ネットワークを構築する効果的な方法を提案しました. 簡単に言えば, 2 つのステップに分けられます.元の表現 x は上向きに生成されます. 高水準表現 r の高水準表現 r は、高水準表現 r によって下向きに生成された x' と可能な限り一致しています.
その方法は次のとおりです。1) まず、単層ニューロンをレイヤーごとに構築して、単層ネットワークがトレーニングされるたびにします。2) すべてのレイヤーがトレーニングされると、Hinton は調整に wake-sleep アルゴリズムを使用します。
最上位層を除く他の層の間の重みを双方向に変更して、最上位層が単層ニューラル ネットワークのままで、他の層がグラフ モデルになるようにします。重みを上げるのは「認知」用で、重みを下げるのは「生成」用です。すべての重みは、Wake-Sleep アルゴリズムを使用して調整されます。
認識と生成がコンセンサスに達するようにします。つまり、生成されたトップレベルの表現がボトムレベルのノードを可能な限り正しく復元できるようにします。
たとえば、最上層のノードが人間の顔を表している場合、すべての顔の画像がこのノードをアクティブにする必要があり、結果の画像は大まかな人間の顔の画像を表すことができる必要があります。Wake-Sleep アルゴリズムは、ウェイクとスリープの 2 つの部分に分かれています。
1) ウェイク段階: 外部特徴と上向きの重み (認知重み) を通じて各レイヤーの抽象的な表現 (ノード状態) を生成し、勾配降下法を使用してレイヤー間のダウンリンクの重み (生成された重み) を変更する認知プロセス。
それは、「想像と現実が違うなら、自分の想像がこうなるように重みを変えればいい」ということです。2) 睡眠段階: 生成プロセス、トップレベルの表現 (覚醒中に学習した概念) と下向きの重みを通じて、基になる状態が生成され、レイヤー間の上向きの重みが同時に変更されます。
つまり、「夢の中のシーンが私の心の中で対応する概念ではない場合、そのシーンが概念であると私に見えるように私の認知的重みを変更する」.
ディープ ラーニングのトレーニング プロセスは次のとおりです。このステップは、従来のニューラル ネットワークと最も異なる部分である教師なしトレーニング プロセスと見なすことができます (このプロセスは、特徴学習プロセスと見なすことができます): 具体的には、まず最初のレイヤーをトレーニングします。モデルの容量とスパース制約、得られたモデルはデータ自体の構造を学習し、入力よりも表現力のある特徴を取得できます; n-1 層を学習した後、n-1 層の出力は n の入力として使用されます。層、n 層を訓練し、それによって各層を得る. パラメーター; 2) トップダウン教師あり学習 (つまり、ラベル付きデータによるトレーニング、上から下へのエラー伝達、およびネットワークの微調整) : 最初のステップで得られた各層のパラメータに基づいて、マルチレイヤ全体をさらに微調整します モデルのパラメータ、このステップは教師ありトレーニング プロセスです; 最初のステップは、ランダム初期化初期値プロセスに似ていますニューラル ネットワーク、DL の最初のステップはランダムな初期化ではなく、入力データの構造を学習することによって得られるため、この初期値はグローバル最適値に近くなり、より良い結果が得られるため、良い効果が得られます。深層学習の主な原因は、最初のステップの特徴学習プロセスによるものです。
時系列モデルとニューラル ネットワーク モデルの違いは何ですか?
ニューラルネットワークとディープニューラルネットワークの違いは何ですか
人工知能もコンピューターサイエンス専攻ですか？
まず、専攻が強いアドバンテージを持っているかどうかの判断は、専攻の成長見通しだけでなく、専攻の就職状況や難易度など、多面的に考える必要があります。例えば、人工知能専攻は学習者の数学的基礎に対する要求が高いなど、それぞれの知識構造や能力特性の違いにより、すべての人が特定の種類の専攻を学習するのに適しているわけではありません。
通常、コンピュータ分野は新しい技術に非常に敏感です. 新しい技術には、多くの場合、より多くの仕事があり、開発の余地があり、給与が高くなります. したがって、コンピュータ関連の専攻を勉強するとき、学習者はしばしば新しい技術に対してより熱心です. 現在、次のような専攻ビッグデータ、モノのインターネット、人工知能は、コンピューター分野で人気のある専攻です。
開発の見通しと雇用状況の観点から、これらの専攻には独自の長所と短所があります。
技術成熟度の観点から、人工知能技術は産業発展の初期段階にあり、将来の発展の見通しは非常に広いですが、現在のIT産業における人工知能人材の需要は研究開発人材に集中していることが多いため、人工知能専攻では、通常、大学院生について読む必要があります。
人工知能の専攻は比較的難しく、多くの学習内容を必要とするため、人工知能の専攻を学ぶことは依然として比較的困難であり、学習者の知識構造と学習能力に対する要件が高くなります。
さらに、現在、学部レベルで人工知能専攻を開設している大学はごくわずかであり、選択の余地は比較的少ない.
人工知能専攻と比較して、ビッグデータ、クラウドコンピューティング、モノのインターネット技術はすでに比較的成熟した技術システムを持っており、IT 業界全体の人材ニーズもより多様化しています.同時に、多くのカレッジや大学は、関連する専攻が開設されているので、学部レベルでこれらの専攻を選択することも理想的な選択です。