【再掲】人工知能開発の歴史

インターネットで情報を検索したところ、比較的完成度の高い人工知能の開発の簡単な歴史を見つけたので、学習目的でのみ転載しました原文リンク: https://www.aminer.cn/ ai履歴。侵入と削除。

人工知能とは正確には何ですか？一般的に言えば、人工知能 (AI) は、人間の知性をシミュレート、拡張、拡張するための理論、方法、技術、およびアプリケーションシステムを研究および開発する新しい技術科学です。人工知能分野の研究には、ロボット工学、音声認識、画像認識、自然言語処理、およびエキスパートシステムが含まれます。

しかし実際には、対象の範囲を定義することは困難です。特に、急速に発展している対象の場合はそうです。数学のような成熟した教科であっても、明確な境界線を見つけるのが難しい場合があります。人工知能のように常に境界を広げている対象について、比較的正確な判断を下すことはさらに困難です。人工知能の応用は、機械、エレクトロニクス、経済、さらには哲学など、さまざまな分野にまで広がっています。それは非常に実用的であり、非常に代表的な学際的および学際的な分野です。

AMiner 科学技術知能エンジンの組み合わせと描写に基づいて、60 年以上の開発の歴史における人工知能の画期的な成果を河川地図の形で示しています。この記事では、川の地図に基づいて、人工知能の開発プロセスとその画期的な成果を体系的に整理し、60 年以上の浮き沈みの歴史をより明確に提示したいと考えています。

第1章：始まりの時代 - 1950年代以前

人工知能の起源は、1936 年に発表されたアランチューリングの「計算可能な数とその決定問題への応用について」にまでさかのぼることができます。その後、コンピュータゲームは 1950 年にクロードシャノンによって導入されました。そしてアラン・マシソン・チューリング(Alan Mathison Turing)が1954年に「チューリングテスト」を提案したことで、機械に知性を生成させるという考えが人々の視野に入り始めました。

1956 年、ダートマスカレッジでセミナーが開催され、ジョンマッカーシー、マービンミンスキー、ナサニエルロチェスター、クロードシャノンが「人工知能」の概念を正式に提案しました。アルゴリズムに関しては、1957 年にローゼンブラットフランクがパーセプトロンアルゴリズム Perceptron を提案しました。これは、機械学習の波を開始しただけでなく、その後のニューラルネットワークの基礎にもなりました (もちろん、さかのぼればニューラルネットワークの研究1943 年の神経生理学者 McCulloch (WS McCulloch と W. Pitts のニューロンモデル) までさかのぼることができます。

1.1 コンピューターチェスゲーム (チェスをするためのコンピューターのプログラミング)

クロードエルウッドシャノン (1916 年 4 月 30 日 - 2001 年 2 月 24 日) は、アメリカの数学者であり、情報理論の創始者です。

シャノンは、「コンピューターは人間とチェスをすることができる」と提案した世界で最初の科学者の 1 人でした。1950年、彼は「サイエンティフィック・アメリカン」に「ヒューマン・コンピューター・ゲームを実現する方法」を説明する記事を書き、彼が設計したチェス・プログラムは同年「フィロソフィー・ジャーナル」に掲載された（Programming a Computer for Playing Chess） .

シャノンはチェス盤を 2 次元配列として定義しました。各チェスの駒には、チェスの駒の可能なすべての動きを計算するための対応するサブルーチンと、最後に評価関数 (評価関数) があります。伝統的なチェスゲームは、チェスのプレープロセスを、序盤、中盤、終盤の 3 つの段階に分け、段階ごとに異なる技術的手段が必要です。そして、この論文は、フォン・ノイマンの「ゲーム理論」とウィーナーの「制御理論」も引用しています。

この論文はコンピューターチェスの理論的研究を開始し、その主なアイデアは何年も経った今でも「Deep Blue」と AlphaGo で見ることができます。1956 年、ロスアラモスの MANIAC コンピュータで、彼はチェス用のチェスプログラムのデモを行いました。

1.2 チューリングテスト

アラン・マシソン・チューリング(英: Alan Mathison Turing, June 23, 1912 - June 7, 1954)は、イギリスの数学者・論理学者で、コンピューターサイエンスの父、人工知能の父として知られています。

1954年、チューリング・テスト（チューリング・テスト）がチューリングによって発明されました. これは、テスターがテスト対象（人と機械）から分離され、テスターがいくつかのデバイス（キーボードなど）を介してランダムに質問されることを意味します. . 多くのテストで、マシンが平均的な参加者に 30% 以上の偽陽性を与えた場合、マシンはテストに合格し、人間の知能を持っていると見なされました。チューリングテストという用語は、1950 年にコンピューターサイエンスと暗号化のパイオニアであるアランマセソンチューリングによって書かれた論文「Computing Machines and Intelligence」に由来します。思考能力の予測であり、現在、この予測から大きく遅れています。

彼は実際に、機械が人間の知性を持っているかどうかをテストする方法を思いつきました。すなわち、計算速度が非常に速く、記憶容量も論理ユニット数も人間の頭脳を超え、このコンピュータのために多くの知的プログラムが書かれ、大量の適切なデータが提供される計算機があると仮定すると、では、この機械は考える能力を持っていると言えるでしょうか？

チューリングは、機械が思考できることを断言し、行動主義の観点から知性の問題を定義し、「人は相手に接触することなく特別な方法でコミュニケーションをとる」という仮説を立てました。質問と回答の質問に基づいて、相手が人間なのかコンピューターなのかを長時間判断できない場合、コンピューターは人間と同じ知性、つまり、コンピュータは考えることができます。これが有名な「チューリングテスト」です。当時、世界には数台のコンピューターしかなく、他のほとんどすべてのコンピューターは単純にテストに合格しませんでした。

アイデアが「自家製」の考えなのか精巧な「模倣」なのかを判断するのは非常に難しく、自家製の考えの証拠はすべて却下できます。チューリングは、主観的ではあるが操作上の基準を提案することによって、思考を定義する方法についての長年の哲学的議論を解決しようとしました。コンピューターが意識のある個人のように行動し、反応し、相互作用する場合、それは意識的であると見なされるべきです。

人間の心の偏見をなくすために、チューリングは「模倣ゲーム」、つまりチューリングテストを設計しました。距離にいる人間のテスターは、指定された範囲内で彼によって提起されたさまざまな質問に対する 2 つのエンティティの応答に従って判断します。それは人間ですか、それともコンピュータですか。このような一連のテストを通じて、コンピューターが人間であると誤って判断される確率から、コンピューターの知能の成功を測定することができます。

チューリングは、20世紀の終わりには「チューリングテスト」に合格するコンピューターが登場すると予言しました。2014 年 6 月 7 日、英国王立協会が開催した「チューリングテスト 2014」カンファレンスで、主催者であるレディング大学はプレスリリースを発表し、ロシアのウラジーミルヴェセロフインテリジェントソフトウェアユージーングーストマンによって作成された人工知能技術が、チューリングテスト。「Eugene」ソフトウェアは「考える」ことができるとは言えませんが、人工知能やコンピューティングの歴史における画期的な出来事でもあります。
ここに画像の説明を挿入

1.3 人工知能に関するダートマス夏季研究会議

1956年の夏、若いミンスキーと数学者でコンピューターの専門家であるマッカーシー(John MeCarthy, 1927-2011)を含む10人がダートマス大学(Dartmouth College)で2ヶ月間の人工知能サマーセミナーを開催し、人工知能の問題について真剣かつ熱心に議論しました。人工知能（AI）という用語は、会議で公式に使用されました。

これは人類史上初の人工知能セミナーであり、人工知能の主題の誕生を記念するものであり、人工知能は非常に重要な歴史的意義を持ち、国際的な人工知能の発展に重要な先駆的貢献をしました. 会議は 1 か月続き、基本的に大規模なブレインストーミングに焦点を当てました。これにより、人工知能革命として知られるようになったものが生まれました。このように、1956 年は人工知能元年となりました。会議の主なトピックには、自律型コンピューター、言語を使用するコンピューターのプログラミング方法、ニューラルネットワーク、計算スケール理論、自己変換、抽象化、ランダム性と創造性などがあります。

1.4 パーセプトロン
1957 年、Frank Rosenblatt (Frank Rosenblatt) は、彼が発明した "Perceptron" と呼ばれるニューラルネットワークモデルを IBM-704 コンピュータでシミュレートしました。ローゼンブラットは 1962 年に本を出版しました: 「ニューロダイナミクスの原則: パーセプトロンと脳メカニズムの理論」, これは MCP ニューロンに基づく最初の知覚を提案しました. 機械学習アルゴリズム, また、自動的に取得できる自己学習アルゴリズムを提案しています入力信号と出力信号を学習して重み係数を求め、入力信号と重み係数の積（生成された出力信号）でニューロンが活性化されているかどうかを判定します。

パーセプトロンは、いくつかのバイナリ入力 X1、X2、…Xn X1、X2、…Xn を受け取り、バイナリ出力を生成します。

ここに画像の説明を挿入

上記のパーセプトロンには 3 つの入力がありますが、実際の入力は 3 つよりも多い場合も少ない場合もあります。Rosenblatt Rosenblatt は、出力を計算するための簡単なルールを提案しました。彼は最初に重みの概念を導入しました。出力に対する入力の重要性は、実際の重み ω ω で表されます。ニューロンの出力は 0 または 1 であり、重み係数 (つまり、重み weights) が特定のしきい値よりも小さいか大きいかに依存します。重みと同様に、しきい値は実数であり、ニューロンのパラメーターです。

式は次のように表されます。

ここに画像の説明を挿入

これは私たちがよく知っている活性化関数の初期形で、0 0 の状態は抑制を表し、1 1 の状態は活性化を表します。この単純な数式は、パーセプトロンがどのように機能するかを理解するのに役立ちます。それを次のように理解しましょう: 入力情報の重要性を比較検討して、出力を決定する方法です。

第2章: 最初の波 - 1960年代

1960 年代、人工知能は最初の盛り上がりを見せ、シンボリックロジックを開発し、いくつかの一般的な問題を解決し、最初に自然言語処理とマンマシン対話技術を発芽させました。代表的な出来事としては、1964 年に Daniel Bobrow が出版したコンピュータ問題解決システムのための自然言語入力と、1966 年に発行された Joseph Weizenbaum による ELIZA—A Computer for the Study of Natural Language Communication between Man and Machine の自然言語コミュニケーションプログラムがあります。

初期の人工知能は、記述ロジックと一般的な問題解決に重点を置いていました. 1960 年代の終わりに、エドワードフェイゲンバウム (Edward Feigenbaum) は、最初のエキスパートシステム DENDRAL を提案し、知識ベースの予備的な定義を与えました. それはまた、2 番目のエキスパートシステムを生み出しました人工知能の波。もちろん、この時期のより重要な状況は、人工知能に対する人々の熱意が次第に薄れ、人工知能の開発も 10 年近くに及ぶ「寒い冬」に突入したことです。

2.1 パターン認識 (パターン認識)

1961年、Leonard Merrick UhrとCharles M Vosslerは、機械学習または自己組織化プロセス設計を使用したパターン認識プログラムについて説明したA Pattern Recognition Program That Generates, Evaluates and Adjusts its Own Operatorsというタイトルのパターン認識論文を発表しました。入力する特定のパターンを知らずにプログラムが開始されるだけでなく、入力を処理する演算子もありません。演算子はプログラム自体によって生成され、洗練され、問題空間の関数であり、問題空間の処理の成功と失敗の関数でもあります。プログラムは、さまざまなパターンに関する情報を学習するだけでなく、少なくとも部分的に、特定のパターンセットへの入力を分析するのに適した二次コードを学習または構築します。また、最初の機械学習プログラムでもあります。

ここに画像の説明を挿入

2.2 ヒューマンコンピュータの適用範囲

1966 年、マサチューセッツ工科大学のコンピューター科学者であるジョセフワイゼンバウムは、ACM で「ELIZA、人間と機械の間の自然言語コミュニケーションを研究するためのコンピュータープログラム」というタイトルを発表しました。人間と機械の間の言語コミュニケーション）の記事。この記事では、ELIZA と呼ばれるプログラムが、人間とコンピューターの間のある程度の自然言語対話をどのように可能にするかについて説明しています。Weizenbaum は、初期のチャットボットの 1 つである ELIZA を開発し、臨床治療において精神科医を模倣しました。

ELIZA の実装技術は、キーワードマッチングルールによって入力を分解し、分解ルールに対応する再編成ルールに従って応答を生成することです。要するに、入力文を入力してから、適切な出力に翻訳することです。ELIZAは非常にシンプルですが、ワイゼンバウム自身がELIZAのパフォーマンスに驚き、人工知能に対する彼の特別な感情を表現した本「Computer Power and Human Reason」(コンピューター・パワーとヒューマン・リーズン)を書きました。ELIZA は非常に有名で、Siri も ELIZA は心理学者であり、彼女の最初の教師であると述べています。

2.3 エキスパートシステム DENTRAL（エキスパートシステム）

1968 年、NASA の要請により、エドワードファイゲンバウム (Edward Feigenbaum) は、最初のエキスパートシステム DENDRAL を提案し、知識ベースの予備的な定義を行い、これにより 2 番目の人工知能システムも誕生しました。もちろん、この時期のより重要な状況は、人工知能に対する人々の熱意が次第に薄れ、人工知能の開発も 10 年近くに及ぶ「寒い冬」に突入したことです。システムの豊富な化学知識は、化学者が質量分析データに基づいて分子構造を推測するのに役立ちます。このシステムの完成がエキスパートシステムの誕生です。その後、マサチューセッツ工科大学は MACSYMA システムの開発を開始し、継続的な拡張を経て、600 以上の数学的問題を解くことができます。

現在、エキスパートシステム (Expert System、ES と呼ばれる) は人工知能 (Artificial Intelligence、AI と呼ばれる) の重要な分野であり、自然言語理解、ロボット工学は AI の 3 つの主要な研究方向として挙げられています。

第3章: 第二波の時代 - 1970年代後半から1980年代

1970 年代後半から 1980 年代前半にかけて、人工知能は第 2 の波に突入し、その代表的な作品は、1976 年にランドール・デイビスによって構築および維持された大規模な知識ベース、1980 年にはドリュー・マクダーモットとジョン・ドイルによる非単調論理、および後のロボットシステム。

1980 年、ハンスベルリナーによって作られたコンピューターは、世界チャンピオンのバックギャモンを打ち負かしたときに象徴的な存在になりました。その後、Rodney Brooks と R. Sutton の推進力の下で行動ベースのロボティクスが急速に発展し、人工知能の重要な開発分野になりました。その中で、ジェリー・テサウロらによって作成された自己学習型バックギャモンプログラムは、その後の強化学習の発展の基礎を築きました。

機械学習アルゴリズムの観点から言えば、この期間は 100 の花が咲き乱れ、100 の学派が対立していると言えます。ジェフリー・ヒントンらが提案した多層パーセプトロンは、パーセプトロンが非線形分類を行うことができないという問題を解決し、ジュデア・パールが提唱した確率的手法とベイジアン・ネットワークは、後の因果推論の基礎を築き、マシン・ビジョンおよびその他の方向における機械学習手法急速な発展を遂げるために。

3.1 知識表現

1975 年、マービンミンスキーは、人工知能における「知識の表現」について、彼の論文「知識を表現するためのフレームワーク」でフレームワーク理論を提案しました。

ミンスキーの枠組みは単なる理論ではありません。データ構造の単純な側面に加えて、概念的には非常に複雑です。状況や出来事を理解するときの人々の心理モデルを対象としています。フレームを知識の基本単位と見なし、関連するフレーム群を結び付けてフレームシステムを形成します。システム内の異なるフレームワークは共通のノードを持つことができ、システムの動作はシステムのサブフレームワークの特定の機能によって実現されます。推論プロセスは、サブフレームワークの調整によって達成されます。フレームワーク理論は、人工知能におけるオブジェクト指向プログラミングに似ています。その成功は、フレームワークの構造を使用して知識を有機的に統合し、特定の構造的制約を持たせることです。同時に、構造の相対的な独立性と閉鎖性が維持されます。

ミンスキーのフレームワーク理論に具現化されたモジュラー思考とケースベースの認知推論は、この理論に永遠の魅力を加えます。これは、認知哲学者がこの理論に注目する重要な理由でもあります。認知的計算可能性の中心的な代表者として、ミンスキーは心をコンピューターになぞらえ、認知プロセスを情報処理プロセスとして理解し、すべての知的システムを物理的記号システムとして理解しました。そうすることで、人々は環境から心へ、そして心から環境への情報の流れから問題を分析することができますが、精神的な問題の研究は実験的に厳密になります. しかし、機械的な欠陥も非常に明白です。

同時に、フレームワークはソフトウェア工学の分野におけるオブジェクト指向言語の「クラス」に似ていますが、両者の基本的な設計目標は異なります。

3.2 ヒューリスティック検索 (Heristic Search)

テキサス州オースティンにある Cycorp の CEO である Douglas Lenat (1950 年生まれ) は、人工知能分野の著名な研究者です。彼は、機械学習 (AM および Eurisko プログラムで)、知識表現、黒板システム、および「オントロジーエンジニアリング」(MCC および Cycorp の Cyc プログラムで) に取り組んできました。彼は軍事シミュレーションにも取り組み、Eurisco での経験に基づいて、ランダム突然変異の伝統的なダーウィン理論に対する批判を発表しました。Lennart は AAAI の元メンバーの 1 人でした。

ペンシルバニア大学で、レナートは数学と物理学の学士号を取得し、1972 年に応用数学の修士号を取得しました。1976 年にスタンフォード大学で博士号を取得し、「数学で発見された人工知能手法 - ヒューリスティック検索」という論文を発表しました。

この記事では、初等数学の研究の側面をモデル化する「AM」と呼ばれるプログラムについて説明しています。多数のヒューリスティック規則のガイダンスの下での数学の新しい概念の開発は、完成品ではなく知的な行為と見なされます。ローカルヒューリスティックは、アジェンダメカニズム、システムによって実行されるタスクのグローバルリスト、および各タスクのもっともらしい理由を通じて伝達されます。単一のタスクで、AM をガイドして新しい概念を定義したり、既存の概念のいくつかの側面を調査したり、いくつかの経験的データの規則性を確認したりできます。プログラムは、アジェンダから最適な裏付けとなる正当性を持つタスクを繰り返し選択し、実行します。各概念は、アクティブで構造化された知識モジュールです。100 個の非常に不完全なモジュールが最初に提供され、それぞれが基本的な集合論の概念 (和集合など) に対応していました。これにより、AM が探求しようとしている定義された広大な「スペース」が提供されました。AM は知識ベースを拡大し、最終的に何百もの一般的な概念と定理を再発見しました。

3.3 大規模な知識ベースの構築 (大規模な知識ベースの構築) (変更)

1976 年に、Randall Davis はスタンフォード大学から人工知能の博士号を取得し、論文「Applications of Meta Level Knowledge to the Construction, Maintenance and Use of Large Knowledge Bases」を発表しました.この記事では、統合されたオブジェクト指向モデルを使用することで、ナレッジベース (KB) の開発、保守、およびソリューションの整合性の使用。共有オブジェクトにより、モデル間のトレーサビリティが向上し、半自動の開発および保守機能が強化されます。知識ベースの構築中に抽象モデルが作成されるのに対し、モデルの初期化中に推論が実行されます。

Randall Davis は、知識ベースのシステムおよび人間とコンピューターの相互作用の分野で重要な貢献をしており、約 100 以上の出版物を発表し、いくつかのシステムの開発において中心的な役割を果たしました。彼と彼の研究グループは、ユーザーの画像、ジェスチャー、および会話を理解するソフトウェアを作成することにより、コンピューターとの自然なマルチモーダルインタラクションのための高度なツールを開発しています。

3.4 コンピュータビジョン (コンピュータビジョン)

Computational theory of Vision (視覚の計算理論) は、1970 年代に David Marr によって提唱された概念で、1982 年に代表作「Visual Computational Theory」を発表しました。彼の研究は、認知科学にも大きな影響を与えました。

David Marr は 1945 年 1 月 19 日生まれ. 幼少期はケンブリッジ大学トリニティカレッジで学び、数学の修士号と神経生理学の博士号を取得し、神経解剖学、心理学、生化学についても厳しい訓練を受けました。彼は英国で新皮質、海馬、特に小脳の理論的研究を行ってきました。

1974年渡米、M.ミンスキー教授の要請でマサチューセッツ工科大学に滞在し、知覚と記憶に関する研究を行う。コンピューターサイエンスの観点から、彼は数学、心理物理学、神経生理学を統合し、ヒューマンビジュアルコンピューティング理論を開拓し、視覚研究に新しい見方をもたらしました。

彼の理論は、博士課程の学生を主体として彼が設立した研究チームによって継承、強化、発展され、学生たちによってコンピュータビジョンの分野の本にまとめられました。彼の後に出版されたビジュアル情報。

コンピュータビジョンとは、機械に「見えるようにする」方法を研究する科学です。さらに言えば、人間の目の代わりにカメラとコンピュータを使用して、対象を識別、追跡、測定し、さらに画像処理とコンピュータ処理を行うことを指します。人間の観察や機器の検出により適した画像。学習とコンピューティングにより、マシンは画像環境をよりよく理解し、真の知性を備えたビジョンシステムを構築できます。今日の環境には膨大な量の画像やビデオコンテンツがあり、学者はその中のパターンを理解して見つけ出し、これまで注意を払っていなかった詳細を明らかにする必要があります。

3.5 コンピューターがバックギャモンの世界チャンピオンに勝利

1979 年 7 月、BKG 9.8 と呼ばれるコンピュータープログラムが、モンテカルロで開催された世界バックギャモン選手権で優勝しました。ピッツバーグのカーネギーメロン大学のコンピューターサイエンスの教授である Hans Berliner によって発明されたこのプログラムは、カーネギーメロン大学のメインフレームコンピューター上で実行され、衛星経由でモンテカルロに接続されています。Gammonoid と呼ばれるこのロボットは、胸にチェスのディスプレイがあり、自分自身とイタリアの相手である Luigi Villa の動きを示しています。ルイージ・ヴィラは、人間の挑戦者を短時間ですべて倒し、ガンモノイドをプレイする権利を獲得しました。コンテストの賞金は $5,000 で、Gammonoid が 7 対 1 で優勝しました。

全世界がそれを知っています: BKG9.8 は 1979 年にバックギャモンの世界チャンピオンを打ち負かしました。

3.6 エキスパートシステム（エキスパートシステム）

エキスパートシステムは、ブルース G ブキャナンの 1968 年の論文「ヒューリスティック DENDRAL: 有機化学における説明的仮説を生成するためのプログラム」に端を発し、1960 年代半ばに作成されました。NASA の要請により、スタンフォード大学は、非常に豊富な化学知識を持ち、化学者が質量分析データに基づいて分子構造を推測するのに役立つ DENRAL エキスパートシステムの開発に成功しました。このシステムの完成がエキスパートシステムの誕生です。その後、マサチューセッツ工科大学が MACSYMA システムの開発を開始し、現在では継続的な拡張を経て、600 以上の数学的問題を解くことができます。30年足らずの歴史ですが、その開発スピードは驚くべきものであり、その応用は自然界のほぼすべての分野に浸透しています。

エキスパートシステムは次のように定義されます: 専門家の説明を必要とする現実世界の複雑な問題に対処し、専門家と同じ結論に到達するために、人間の専門家による推論のコンピューターモデルを使用すること。単純なエキスパートシステムは、「知識ベース」と「推論マシン」の組み合わせと見なすことができます。これは、自然言語理解とロボット工学とともに、人工知能の 3 つの主要な研究方向として挙げられており、人工知能の最も活発な分野です。

ここに画像の説明を挿入

3.7 ベイジアンネットワーク

Judea Pearl は、イスラエル系アメリカ人のコンピューター科学者で哲学者であり、人工知能への確率論的アプローチを提唱し、ベイジアンネットワークを開発したことで知られています (. 彼はまた、構造モデルに基づく因果関係を開発したことでも知られています。「確率計算と因果推論の開発による人工知能への根本的な貢献」に対するチューリング賞。

Belief Network または有向非巡回グラフィカルモデルとも呼ばれるベイジアンネットワークは、1985 年に Judea Pearl によって最初に提案された確率的グラフィカルモデルです。人間の推論過程における因果関係をシミュレートする不確実性処理モデルであり、そのネットワークトポロジーは有向非巡回グラフ (DAG) です。

ここに画像の説明を挿入

ベイジアンネットワークの有向非巡回グラフのノードは、確率変数 {X1,X2,…,Xn}{X1,X2,…,Xn} を表します。

それらは、観測可能な変数、または隠し変数、未知のパラメーターなどである可能性があります。因果関係がある (または無条件に独立している) と見なされる変数または命題は、矢印で結ばれています。2 つのノードが 1 つの矢印で結ばれている場合、ノードの一方が「親」で、もう一方が「子」であることを意味し、2 つのノードは条件付き確率値を生成します。

つまり、ベイジアンネットワークは、ある研究システムに独立に関与する確率変数を、条件が独立しているかどうかに応じて有向グラフにプロットすることによって形成されます。これは主に確率変数間の条件付き依存関係を表すために使用され、円は確率変数を表し、矢印は条件付き依存関係を表します。

さらに、任意の確率変数について、その同時確率は、それぞれの局所条件付き確率分布を乗算することによって取得できます。

P(x1,…,xk)=P(xk|x1,…,xk−1)…P(x2|x1)P(x1)

3.8 行動ベースのロボティクス

1986 年、Brooks は「モバイルロボット用の堅牢な階層制御システム」という論文を発表し、行動ベースのロボット工学の創設を示しました。この記事では、新しいモバイルロボット制御アーキテクチャを紹介します。ロボットがますます高度化する能力レベルで動作できるようにするために、マルチレベル制御システムが構築されています。レイヤーは、低帯域幅チャネルを介して通信する非同期モジュールで構成されます。各モジュールは、かなり単純なコンピューターインスタンスです。上位層は、出力を抑制することで下位層の役割に対応できます。ただし、より高いレベルが追加されても、より低いレベルは機能し続けます。その結果、堅牢で柔軟なロボット制御システムが実現します。このシステムは、制限のない実験室エリアやコンピューター室を移動する移動ロボットを制御するために使用されています。最終的な目標は、ラボのオフィスエリアをうろつくロボットを制御し、組み込みのアームを使用して周囲のマッピングなどの簡単なタスクを実行することです。

行動ベースのロボティクスの理論は、主に次の 2 つの概念的変化を達成するために、記号ベースの人工知能とはまったく異なる考え方と構造を提案します。入力から出力を生成します。

第四章安定発展期～1990年代

1990 年代、AI には 2 つの非常に重要な発展がありました。1 つは、1998 年に Tim Berners-Lee によって提案されたセマンティック Web、つまり、セマンティックベースの知識ネットワークまたは知識表現です。その後、OWL 言語とその他の関連する知識記述言語が登場し、知識ベースの 2 つの主要な問題である知識表現とオープンな知識エンティティ (ただし、このアイデアは将来的には広く使用されていませんが) の解決策を提供しました。 Google が 2012 年にナレッジグラフの概念を提案するまで、この方向性に明確な開発アイデアがなかったことが認識されています)。

もう 1 つの重要な発展は、Vapnik Vladimir らによって提案されたサポートベクターマシン、John Lafferty らによって提案された条件付きランダムフィールド、および David Blei と Michael Jordan らによって提案されたトピックモデル LDA を含む、統計的機械学習理論です。一般的に言えば、この時期の主要なテーマは AI の着実な発展であり、人工知能に関連するさまざまな分野で大きな進歩がありました。

4.1 サポートベクターマシン（Support Vector Machine）

1995 年、Cortes と Vapnik は最初にサポートベクターマシン (SVM) の概念を提案しました。これは、小さなサンプルの解決、非線形および高次元のパターン認識において多くの独自の利点を示し、関数フィッティングなどの他の機能に拡張して適用することができます。機械学習の問題で。

サポートベクターマシン (SVM) は、教師あり学習に従ってデータのバイナリ分類を行う一般化線形分類器 (generalized linear classifier) の一種であり、その決定境界は、学習サンプルを解くための最大マージン Hyperplane (最大マージン超平面) です。）。

同時に、サポートベクターマシン法は、統計学習理論の VC 次元理論と構造的リスク最小化の原理に基づいており、モデルの複雑さ (つまり、特定のトレーニングサンプルの学習精度、精度) に応じて異なります。限られたサンプル情報に応じた学習能力 (つまり、任意のサンプルをエラーなしで識別する能力) は、最良の一般化能力 (または一般化能力) を得るために最善の妥協点を探します。

4.2 条件付きランダムフィールド

John Lafferty が 2001 年に条件付きランダムフィールドモデルを初めて提案しました。CRF は最初にシーケンスデータ解析のために提案され、自然言語処理 (NLP)、バイオインフォマティクス、マシンビジョン、およびネットワークインテリジェンスの分野で成功裏に適用されました。

簡単に言えば、確率場は一連の確率変数と見なすことができます (この一連の確率変数は同じ標本空間に対応します)。ある分布に従って各位置に値がランダムに割り当てられる場合、全体はランダムフィールドと呼ばれます。もちろん、これらの確率変数間に依存関係がある場合もありますが、一般的に言えば、これらの変数間に依存関係がある場合にのみ、それを確率場として取り出すことが実質的に意味があります。

X と Y を確率変数とすると、確率変数 Y が無向グラフ G=(V,E) 確率場、つまり、任意のノード v について、条件付き確率分布 P(Y|X) は条件付きランダムフィールドと呼ばれます。

この概念は非常に抽象的で、他の多くの概念を含んでいるように見えます. この時点で、最初に戻って定義を読み直すと、多くのことが理解できます. いわゆる条件付き確率場は、形成のための条件のセットにすぎません.確率変数 X と Y の確率の集まりですが、この条件付き確率はマルコフ独立仮定/確率的無向グラフモデルの条件を満たすため、条件付き確率場と呼びます! 上記の定義の説明も非常に直感的です。つまり、私に直接接続されていないすべての変数は、私とは何の関係もありません!

4.3 ディープブルーがカスパロフを倒す

1997 年 5 月 11 日、世界的に有名な人間とコンピューターの戦争が 6 回に及ぶ戦いの末に決着しました。人間の脳はコンピューターに勝つというのが一般的な意見ですが、CNN と「USA Today」日刊紙が実施した世論調査によると、82% の人が人間の脳が勝つことを望んでいますが、チェスの王様は、最高のチェスプレーヤーは世界中で創造性と想像力がシリコンに打ち勝つ - 彼は次のように主張しています:「本格的で標準的なチェスでは、コンピューターは今世紀に勝つことはありません。」しかし、事実は言葉よりも雄弁であり、IBM の「ディープブルー」(Deep Blue) が最終的に勝利します。 3.5:2.5 チェスの達人カスパロフ (Kasparov) を破り、ニューヨークヒューマンコンピューターチェストーナメントで賞金 110 万ドルの最終勝者となり、チェスの世界チャンピオンを破った最初のコンピューターになりました。実際、IBM が言ったように、誰が勝っても最終的な勝者は人間です。

その後、機械に対する人々の態度は次第に合理的に戻ってきました。パーソナルコンピューターの性能は飛躍的に向上し、スマートフォンはディープブルーと同じくらい強力なチェスエンジンを他のアプリケーションと共に実行できるようになりました。さらに、人工知能の最近の進歩のおかげで、マシンは自分でゲームを学習して探索できるようになりました。

Deep Blue の背後には、人間がチェスゲーム用に設計したコード化されたルールがまだあります。対照的に、Alphabet の子会社である DeepMind が 2017 年に開始したプログラムである AlphaZero は、繰り返し練習することでマスタープレーヤーになることを学ぶことができます。さらに、AlphaZero は、チェスの専門家がため息をつくような新しい戦略をいくつか発見しました。

4.4 セマンティック Web ロードマップ

セマンティック Web (Semantic Web) は、1998 年にワールドワイドウェブコンソーシアムのティムバーナーズ＝リー (Tim Berners-Lee) によって提唱された概念です。インターネット全体が一般的な情報交換媒体になります)、その最も基本的な要素はセマンティックリンク (リンクされたノード) です。

セマンティック Web は、より正式な名前であり、この分野の学者が最もよく使用する用語であり、関連する技術標準を指す場合にも使用されます。ワールド・ワイド・ウェブが誕生した当初、ネットワーク上のコンテンツは人間が読むことしかできませんでしたが、コンピューターはそれを理解して処理することができませんでした。たとえば、ウェブページを閲覧するとき、私たちはウェブページの内容を簡単に理解できますが、コンピューターはそれがウェブページであることしか認識していません。Web ページには画像とリンクがありますが、コンピュータは画像が何であるかを知りませんし、リンクが指しているページと現在のページとの関係も知りません。セマンティック Web は、ネットワーク上のデータを機械で読み取り可能にするために提案された一般的なフレームワークです。「セマンティック」とは、機械がデータを理解できるように、データの背後にある意味をより豊かに表現することです。「Web」とは、これらのデータが相互にリンクされて巨大な情報ネットワークを形成することを願っています。インターネットの Web ページが相互にリンクしているのと同じですが、基本単位はより小さな粒度のデータになります。

4.5 トピックモデリング

機械学習の分野では、LDA は 2 つの一般的に使用されるモデルの略語です: Linear Discriminant Analysis と Latent Dirichlet Allocation です。この記事の LDA は、Latent Dirichlet Allocation のみを指します.LDA は、トピックモデルで非常に重要な位置を占めており、テキスト分類によく使用されます。

LDA は、ドキュメントのトピック分布を推測するために、2003 年に Blei、David M.、Ng、Andrew Y.、および Jordan によって提案されました。ドキュメントセット内の各ドキュメントのトピックを確率分布の形式で与えることができるため、いくつかのドキュメントを分析してトピック分布を抽出した後、トピック分布に従ってトピッククラスタリングまたはテキスト分類を実行できます。

LDA は、大規模なドキュメントコレクションまたはコーパス内の隠されたトピック情報を識別するために使用できる教師なし機械学習手法です。各ドキュメントを単語頻度ベクトルとして扱うバッグオブワード法を使用して、テキスト情報をモデル化しやすいデジタル情報に変換します。ただし、単語バッグ法は単語間の順序を考慮しないため、問題の複雑さが単純化され、モデルを改善する機会も提供されます。各ドキュメントはいくつかのトピックから構成される確率分布を表し、各トピックは多くの単語から構成される確率分布を表します。

第5章：第3波期～2006年以降

人工知能の第3の波の台頭の象徴は、2006年にジェフリー・ヒントンらが提唱したディープラーニング、あるいはヒントンらがこの波の警笛を鳴らしたことかもしれません。今回の最大の違いは、企業が波をリードしていることです: Sebastian Thrun は Google で自動運転車プロジェクトを率いました; (Jeopardy) は人間を打ち負かして優勝しました; Apple は 2011 年に自然言語の質問応答ツール Siri を立ち上げました; 2016 年には, Google の DeepMind が立ち上げた AlphaGo は、囲碁の世界チャンピオンである Li Shishi などを破りました。この人工知能の波の影響は、かつてないほど大きいと言えます。

5.1 ボストン・ダイナミクス

ボストンダイナミクスは、国防高等研究計画局 (DARPA) からの資金提供を受けて米軍向けに開発された四足歩行ロボットで知られるアメリカのエンジニアリングおよびロボット工学会社として設立されました。現実的な人体シミュレーション用のシェルフソフトウェア (COTS)。同社は、American Systems とともに、海軍航空戦センター訓練サービス (NAWCTSD) から、海軍航空機の射出任務訓練を DI-Guy キャラクター映画のインタラクティブな 3D コンピューターシミュレーションに置き換える契約を受けました。

同社はマーク・レイバートと彼のパートナーによって設立されました。マーク・レイバートは有名なロボット工学者です。28歳でマサチューセッツ工科大学を卒業後、CMUの准教授を経て、ロボット関連の制御や視覚処理に関する技術を研究するCMUleg研究室を設立。37 歳で MIT に戻り、ロボット関連の研究と教育を続けました。1992 年、彼と彼のパートナーはボストンダイナミクスを設立し、ロボティクス研究の新時代を切り開きました。

ボストンダイナミクスは 2005 年に 4 本足のロボットを発売しました。親しみを込めて「ビッグドッグ」と呼ばれるビッグドッグであり、ボストンダイナミクスを有名にしたのはこの 4 本足のロボットです。四足歩行ロボットはより多くの地形に適応し、より優れたパス性能を発揮できるため、Big Dog は従来の車輪付きまたは追跡ロボットを放棄し、四足歩行ロボットに変わります。同時に、ボストンダイナミクスが公開したプロモーションビデオでは、ビッグドッグは、重いものを積んでも横からの人間の蹴りに敏感に反応し、常に立った姿勢を維持することができます。

2013 年 12 月 13 日、ボストンダイナミクスは Google に買収されました。2017 年 6 月 9 日、ソフトバンクは Google の親会社である Alphabet の子会社である Boston Dynamics を非公開の条件で買収しました。

5.2 転移学習

転移学習は機械学習の重要な分野であり、データ、タスク、またはモデル間の類似性を使用して、ソースドメインで学習したモデルを新しいドメインに適用する学習プロセスを指します。たとえば、私たちのほとんどがオートバイを学ぶとき、自転車に乗った経験を移します。

2010 年、Sinno Jialin Pan と Qiang Yang は、転移学習の分類問題を詳細に紹介した記事「転移学習の調査」を発表しました。転移学習のシナリオを基準にすると、帰納転移学習、転移転移学習、教師なし転移学習の 3 つのカテゴリに分けられます。

ここに画像の説明を挿入

ディープトランスファーラーニングは、主にモデルのトランスファーです. 最も単純で最も一般的に使用される方法の 1 つは、他の人によってトレーニングされたネットワークを使用して、ターゲットタスクに合わせて調整する微調整です。近年普及しているBERT、GPT、XLNETなどは、まず大量のコーパスで事前学習を行い、その後対象タスクの微調整を行います。

5.3 IBMワトソンが史上最強のジェパディに挑む！(IBM ワトソンがジェパディに勝つ!)

自然言語で提示された質問に答えることができる質問応答コンピューターシステムである Watson は、IBM の DeepQA プロジェクトで、主任研究員の David Ferrucci が率いる研究チームによって開発されました。ワトソンは、IBM の創設者であり初代 CEO である実業家トーマス J. ワトソンにちなんで名付けられました。

ワトソンコンピューターシステムは、もともとクイズ番組「ジェパディ!」に答えるために開発されました。、そして2011年にジェパディでチャンピオンのブラッド・ラッターとケン・ジェニングスと対戦しました。最終的に勝利を収め、一等賞金100万ドルを獲得。

ワトソン操作メカニズム:

Watson は、高度な自然言語処理、情報検索、知識表現、自動推論、および機械学習技術をオープンドメインの質問応答の領域に適用する質問応答 (QA) コンピューティングシステムとして作成されました。

QA 手法とドキュメント検索の主な違いは、ドキュメント検索はキーワードクエリを受け取り、クエリとの関連性 (通常は人気とページランクに基づく) で並べ替えられたドキュメントのリストを返すのに対し、QA 手法は自然言語を使用してそれを理解しようとすることです。 in more details は、質問に対する正確な回答をフィードバックします。それが作成されたとき、IBM は、「自然言語の分析、ソースの特定、仮説の発見と生成、証拠の発見とスコアリング、仮説のマージとランク付けのための 100 を超えるさまざまな手法がある」と述べました。私たちの働き方も変化し、新しいデプロイメントモデル (Watson on IBM Cloud) や、進化する機械学習機能、および開発者や研究者が利用できる最適化されたハードウェアを利用できるようになりました。Q&A 用に設計された単純な質問応答 (QA) コンピューティングシステムではなくなり、「見る」、「聞く」、「読む」、「話す」、「味わう」、「説明する」、「学ぶ」、「推薦する」ことができるようになりました。 '。

ここに画像の説明を挿入

Watson で使用される IBM Deep QA のアーキテクチャーの概要

David Ferrucci は、2007 年から 2011 年まで、Jeopardy を受賞した Watson コンピューターシステムを開発した IBM と学術研究者およびエンジニアのチームを率いた主任研究者です。

Ferrucci は、1994 年にマンハッタンカレッジを卒業し、生物学の学士号を取得し、レンセラー工科大学で博士号を取得しました。知識の表現と推論を専門とするコンピューターサイエンスの学位。[2] 1995 年に IBM の Thomas J. Watson に入社し、2012 年に退職して Bridgewater Associates に入社しました。[3] 彼はまた、自然学習の新しい研究分野を探求することを専門とする企業、Elemental Cognition の創設者、CEO、主任科学者でもあります。Ferrucci は、自然学習を「人間と同じように世界を理解する人工知能」と表現しています。

5.4 Google 自動運転車 (Google 自動運転車)

Google の自動運転技術の開発は 2009 年 1 月 17 日に始まり、会社の秘密の X 研究所で行われてきました. ニューヨークタイムズが 2010 年 10 月 9 日にその存在を明らかにした後、Google はその日遅くに.自動運転車プログラム。このプロジェクトは、スタンフォード人工知能研究所(SAIL)の元所長であるセバスチャン・スランと、510 SystemsおよびAnthony Roboticsの創設者であるAnthony Levandowskiが主導して開始されました。

Google で働く前は、Thrun と Dmitri Dolgov、Anthony Levandowski、Mike Montemerlo を含む 15 人のエンジニアが、VueTool for SAIL というデジタルマッピングテクノロジープロジェクトに協力していました。チームメンバーの多くは、2005 年の DARPA グランドチャレンジで出会いました。そこでは、Thrun と Levandowski の両チームが自動運転車のチャレンジで競い合いました。2007 年、Google は VueTool チーム全体を買収し、Google のストリートビューテクノロジーの発展を支援しました。

ストリートビューサービスの開発の一環として、100 台のトヨタプリウスが購入され、トプコンボックス (Lekondowski の会社 510 Systems が開発したデジタルマッピングハードウェア) が装備されました。2008 年、ストリートビューチームは、人工衛星とストリートビューからデータを抽出して正確な道路地図を作成することを目的として、グラウンドトゥルースプロジェクトを開始しました。これにより、Google の自動運転車計画の基礎が築かれました。

2014 年 5 月下旬、Google は無人自動車の新しいプロトタイプを披露しました。これは、ハンドル、アクセル、ブレーキペダルがなく、100% 自律型です。12 月には、完全に機能するプロトタイプを披露し、2015 年初頭からサンフランシスコのベイエリアの道路でテストする予定です。Firefly と呼ばれるこの車は、大量生産ではなく、実験的なプラットフォームや学習用として使用することを目的としています。

2015 年、共同創設者の Anthony Levandowski と CTO の Chris Urmson がプロジェクトを去りました。2015 年 8 月、Google は現代自動車の元幹部である John Krafcik を CEO として採用しました。2015 年の秋、Google は、チーフエンジニアのナサニエルフェアフィールドの視覚障害を持つ友人たちに、「公道での世界初の完全無人運転」を提供しました。この乗り物は、テキサス州オースティンにあるサンタクララバレー盲人センターの元 CEO、スティーブマハンによるものです。これは、公道を走行する最初の完全自動運転車です。テストドライバーや警察の護衛はなく、ハンドルやフロアペダルもありません。2015 年末の時点で、この車の自動運転走行距離は 100 万マイルを超えました。

2016 年 12 月、この部門は Google から分離され、Waymo に改名され、Alphabet の新しい部門に分割されました。これは、Google が本業の自動運転車プロジェクトを放棄したことを意味します。

5.5 Googleナレッジグラフ（Googleナレッジグラフ）

Google ナレッジグラフ (英語: Google ナレッジグラフ、別名 Google ナレッジグラフ) は、セマンティック検索を使用してさまざまなソースから情報を収集し、Google 検索の品質を向上させる Google のナレッジベースです。ナレッジマップは 2012 年に Google 検索に加わり、2012 年 5 月 16 日に正式にリリースされました。

Google ナレッジグラフは、Google による非常に野心的なプロジェクトです。Google は、単なる文字列ではなく、文字列に意味を与えます。Google 独自の例を挙げると、英語の Google でタージマハル (Taj Mahal) を検索すると、従来の検索では、この文字列を Google が引き抜いた膨大な記事ライブラリと比較して、最も正確な記事を見つけようとします。 Google の不思議なアルゴリズムによると; しかし、Google ナレッジグラフでは、タージマハルは「もの」として理解され、地理的な場所、Wiki の概要、高さなど、タージマハルに関するいくつかの基本的な情報が検索結果の右側に表示されます。、建築家などに加えて、万里の長城など、それに似たいくつかの「もの」。

もちろん、Google は、「タージマハル」が必ずしもタージマハルを指すとは限らないことも理解しています。これは、ナレッジグラフの力が明らかになったときです。タージ・マハルの枠の下には 2 つの一般的な「タージ・マハル」があり、1 つは歌手で、もう 1 つはカジノですが、通常、この 2 つのタージ・マハルを見つけたいのですが、適切なキーワードを入力することはできません。、検索結果が最も有名なものに圧倒される可能性がありますが、Google ナレッジグラフは、必要な特定のコンテンツを見つけるのに役立ちます。

Google は、ナレッジグラフを使用して、通常の文字列検索の上に相互関係のレイヤーを重ね合わせ、ユーザーが必要な情報をより速く見つけられるようにすると同時に、ユーザーが何を必要としているのかをよりよく理解できるようにすることを望んでいます。ナレッジ」ベースの検索が一歩近づきます。現在、Google のナレッジグラフには 5 億の「もの」があり、35 億の属性と関係が生成されており、もちろん今後も拡大し続けます。リーディングセクションにGoogleの紹介動画がありますが、残念ながら現在のところ英語のみ対応しており、中国語対応にどれくらいかかるかわかりません。

ナレッジグラフの歴史

これらのコンテンツはどのようにして生まれたのですか？もちろん、データが膨大すぎるため、Google 独自の検索で完全にデータを取得することは不可能です。

たとえば、一部のデータは The World Factbook (ワールドファクトブック) - CIA (Central Intelligence Agency) から取得されています。人口、地理、政治、経済に関する統計など、世界の地域。CIA は米国政府の一部門であるため、そのデータ形式、スタイル、および内容は、米国政府の公式のニーズと立場を満たさなければなりません。データは、米国国務省、米国国勢調査局、米国国務省によって提供されます。その管轄下にある防衛およびその他の関連部隊。（グーグル）

freebase からのデータもあります。Freebase は大規模なメタデータの共同リポジトリであり、そのほとんどがそのコミュニティのメンバーによって提供されています。プライベート wiki サイトの一部のコンテンツを含む、インターネット上の多くのリソースを統合します。Freebase は、世界中のすべての人 (およびマシン) がすばやくアクセスできるリソースライブラリの作成に取り組んでいます。アメリカのソフトウェア会社 Metaweb によって開発され、2007 年 3 月に公開されました。2010 年 7 月 16 日に Google に買収されました。2014 年 12 月 16 日、Google は 6 か月後に Freebase を閉鎖し、すべてのデータを Wikidata に移行すると発表しました。

もちろん、有名なウィキペディアもあります。

2012 年には、Google のセマンティックネットワークには、すでに 5 億 7000 万を超えるオブジェクトエンティティと、180 億を超える歴史的事実とオブジェクトエンティティ間の関係が含まれていました。このデータは、検索バーに入力したキーワードを理解するために使用されます。

2012 年 12 月 4 日に、ナレッジグラフは、スペイン語、フランス語、ドイツ語、ポルトガル語、日本語、ロシア語、イタリア語を含む 7 つの言語に翻訳されました。

5.6 アレックスネット

AlexNet は、Alex Krizhevsky によって設計された畳み込みニューラルネットワーク (CNN) であり、Ilya Sutskever と Krizhevsky は、Geoff Hinton の博士課程のスーパーバイザーによって共同公開されました. AlexNet は、2012 年 9 月 30 日に開催された ImageNet 大規模視覚認識チャレンジに参加し、最低の結果を達成しましたトップ5のエラー率15.3%と、名前より10.8ポイント低い2番手よりも高く、ここまで初戦で名を馳せた。元の論文の主な結論は、パフォーマンスを向上させるにはモデルの深さが重要であり、AlexNet は計算コストが高くなりますが、トレーニング中にグラフィックスプロセッシングユニット (GPU) を使用するため、計算を実行可能であるというものです。

ウクライナで生まれ、カナダで育ったクリジェフスキー氏は、ジェフ・ヒントン氏から、トロント大学で AI に関するコンピューターサイエンスの博士号研究を行うことについて打診されました。大学院在学中、Kryzhewski は指導教官の Hinton によって発明された「制限付きボルツマンマシン」と呼ばれる初期のアルゴリズムに関する論文を読んでいました.この時までに、Kryzhewski は、中央処理ではなく、制限付きボルツマンマシンで使用するグラフィックスプロセッシングユニット (GPU) を発見していました。ユニット (CPU). 彼は、これらの GPU が、より多くのレイヤーを持つ他のニューラルネットワーク (または「ディープニューラルネットワーク」) で使用できる場合、ディープニューラルネットワークの処理速度を向上させ、より優れたアルゴリズムを作成できると主張しています。アルゴリズムの精度において、他の最先端のベンチマークを上回っています。

彼の発見の直後の 2011 年に、Hinton のもう 1 人の大学院生、Sutskever が ImageNet データセットについて知りました。ImageNet には 100 万を超える画像があり、トロントのチームが解決しようとしていた種類のコンピュータービジョンアルゴリズム用に特別に設計されました。「彼のコードが ImageNet を解決できることに気付きました」と Sutskever 氏は述べています。「その実現は、その時点ではすぐには明らかではありませんでした。」

2 人が調査を行った後、Kryzhewski は GPU で高速化されたコードを拡張して、データセットでニューラルネットワークをトレーニングしました。コンピューティング速度が向上したことで、ネットワークは数週間または数か月かかっていた数百万の画像を 5 日または 6 日で処理できるようになりました。処理できるすべての余分なデータにより、ニューラルネットワークは、画像内のオブジェクトの違いを区別する際に前例のない感度を得ることができます。

その後、2 人は 2012 年の ImageNet コンペティションにメンターのヒントンと共に参加しました。AI のテストであるコンテストには、画像の巨大なオンラインデータベースが含まれていました。世界中の誰でも参加できるこのコンテストは、大規模な物体検出と画像分類用に設計されたアルゴリズムを評価します。要点は、勝つことだけではなく、適切なアルゴリズムを使用すれば、ImageNet データベース内の膨大な量のデータが AI の可能性を解き放つ鍵となる可能性があるという仮説を検証することです。最終的に、彼らは 2 位のエラー率よりも 10.8% 低いという大きな差で、他のすべての研究所を打ち負かしました。

しかし、ヒントンは当初、ラベル自体を学習するのではなく、どのオブジェクトがどの画像に含まれているかをニューラルネットワークに伝える必要があると考えていたため、この考えに反対していました。彼の懐疑論にもかかわらず、彼はアドバイザーとしてプロジェクトに貢献しました。Kryzhewski 氏がニューラルネットワークが ImageNet の画像分類ベンチマークに到達するのにわずか 6 か月かかり、チームが提出した結果に到達するまでさらに 6 か月かかりました。

最終的な Kryzhewski ニューラルネットワークフレームワークは、ImageNet チャレンジに続く 2012 年の AI の最大の年次会議で最初に発表された、AI の分野における重要な研究論文で検証されました。

現在のニューラルネットワークフレームワークは一般に AlexNet として知られていますが、その名前は最初は使用されていませんでした。ImageNet チャレンジの後、Google は Wojciech Zaremba という名前のインターン (現在は OpenAI のロボット工学のリーダー) を雇い、会社の論文として Krizhewski に基づいて一連のフレームワークを書き直しました。ニューラルネットワークに作成者の名前を付けるという Google の伝統により、Krizhewski のニューラルネットワークの会社の近似は、もともと WojNet と呼ばれていました。しかしその後、Google は Krizhewski を招待するための戦いに勝利し、そのニューラルネットワークを取得しました。その後、その名前は正しく AlexNet に変更されました。

5.7 変分オートエンコーダ VAE (変分オートエンコーダ)

変分オートエンコーダーとも呼ばれる VAE は、オートエンコーダーの一種です。VAE は、2013 年に Durk Kingma と Max Welling による ICLR の記事「Auto-Encoding Variational Bayes」で公開されました。

オートエンコーダーは、データ値の効率的なエンコードを教師なしで学習するために使用される人工ニューラルネットワークです。オートエンコーダーの目的は、通常は次元削減のために、信号の「ノイズ」を無視するようにネットワークをトレーニングすることにより、データセットの表現 (エンコード) を学習することです。基本モデルにはいくつかのバリエーションがあり、その目的は、学習した入力表現に有用なプロパティを適用することです。

従来の (スパース、ノイズ除去など) オートエンコーダーとは異なり、変分オートエンコーダー (VAE) は、敵対的生成ネットワークなどの生成モデルです。この記事では、困難な事後分布と大規模なデータセットを持つ連続潜在変数が存在する中で、有向確率モデルで効果的な推論と学習を実行する方法に焦点を当てています。彼らは、確率的変分推論と学習アルゴリズムを導入します。これは、大規模なデータセットにスケーリングし、特定の微分可能性条件下では扱いにくい場合でも機能します。

著者らは、変化する下限の再パラメータ化により、標準的な確率的勾配法を使用して直接最適化できる下限推定量が得られることを示しています。第二に、各データポイントで連続潜在変数を持つiidデータセットの場合、事後推論を特に効率的にできることが示されています。

主な提案者であるダークキングマ (Diederik P. Kingma) は、現在 Google で働いています。Google に入社する前は、2017 年にアムステルダム大学で博士号を取得し、2015 年には OpenAI の創設チームの一員でした。彼の主な研究の方向性は、推論、確率的最適化、および認識可能性です。その研究成果の中には、生成モデリングの原則的なフレームワークである変分オートエンコーダー (VAE) と、広く使用されている確率的最適化手法である Adam があります。

5.8 敵対的生成ネットワーク GAN (敵対的生成ネットワーク)

Generative Adversarial Network (略して GAN) は教師なし学習の手法であり、2 つのニューラルネットワークが互いにゲームをプレイすることによって学習します。この方法は、2014 年に Ian Goodfellow らによって提案されました。生成的敵対的ネットワークは、生成的ネットワークと識別的ネットワークで構成されます。ジェネレーターネットワークは潜在空間から入力としてランダムにサンプリングし、その出力はトレーニングセット内の実際のサンプルを可能な限り模倣する必要があります。識別ネットワークの入力は実サンプルまたは生成ネットワークの出力であり、その目的は生成ネットワークの出力を実サンプルから可能な限り区別することです。生成ネットワークは、識別ネットワークを可能な限り欺く必要があります。この 2 つのネットワークは互いに戦いながらパラメータを調整し、最終的な目標は、識別ネットワークが生成ネットワークの出力が真であるかどうかを判断できないようにすることです。

このフレームワークでは、データ分布をキャプチャする生成モデル G と、トレーニングデータからサンプルの確率を推定する識別モデル D の 2 つのモデルが同時にトレーニングされます。G のトレーニング手順は、D が間違っている確率を最大化することです。このフレームワークは、最大セットに下限がある 2 人のプレイヤーによる敵対的ゲームに対応します。任意の関数 G と D の空間では、G がトレーニングデータの分布を再現し、D = 0.5 となる一意の解が存在することが示されます。G と D が多層パーセプトロンによって定義されている場合、システム全体をバックプロパゲーションでトレーニングできます。トレーニングまたはサンプル生成中に、マルコフ連鎖またはアンロールされた近似推論ネットワークは必要ありません。実験は、生成されたサンプルの定性的および定量的評価を通じて、このフレームワークの可能性を示しています

敵対的生成ネットワークは、偽の画像を生成するためによく使用されます。さらに、この方法は、ムービー、3D オブジェクトモデルなどの生成にも使用されています。GAN はもともと教師なし学習用に提案されたものですが、半教師あり学習、完全教師あり学習、強化学習にも役立つことが示されています。

GAN の発明者である Ian Goodfellow は、スタンフォード大学でコンピューターサイエンスの学士号と修士号を取得した後、Yoshua Bengio と Aaron Courville の指導の下、モントリオール大学で機械学習の博士号を取得しました。卒業後、グッドフェローは Google に入社し、Google Brain 研究チームのメンバーになりました。2015 年に Google を退社し、新しく設立された OpenAI Institute に参加しました。2017 年 3 月の Google Research に戻ります。

グッドフェローの最も有名な業績は、GAN の父として知られる GAN の発明です。彼は、ディープラーニングの教科書の主な著者でもあります。Google では、ストリートビュー車で撮影した写真から Google マップが住所を自動的に転記できるようにするシステムを開発し、機械学習システムのセキュリティギャップを実証しました。

2017 年、グッドフェローは MIT テクノロジーレビューの 35 歳未満のイノベーター 35 人に選ばれました。2019 年には、Foreign Policy の 100 Global Thinkers のリストに含まれました。

5.9 ランダムな不活性化 (ドロップアウト)

ランダムな非活性化 (ドロップアウト) は、深い構造を持つ人工ニューラルネットワークを最適化する方法です. 学習プロセス中に、隠れ層の一部の重みまたは出力をランダムにゼロにリセットして、ノード間の相互依存 (共依存) を減らします. この方法ではこのように、ニューラルネットワークの正則化を実現し、構造的なリスクを軽減することができます。2014 年、Srivastava と Hinton らは、ニューラルネットワークのオーバーフィッティングの問題に対するドロップアウトについて詳しく説明し、当時使用されていた他の正則化手法よりも大幅に改善されていることを証明しました。経験的な結果は、ドロップアウトが多くのベンチマークデータセットで優れた結果を達成することも示しています。

2012 年、Hinton と Srivastava は最初に Dropout のアイデアを提案しました。2013 年に、Li Wan、Yann LeCun などは Drop Connect を導入しました。これは、アルゴリズムのオーバーフィッティングを減らすためのもう 1 つの正則化戦略であり、Dropout の一般化です。Drop Connect のプロセスでは、ランダムに選択されたネットワークアーキテクチャの重みのサブセットをゼロに設定する必要があります。Dropout の各層の活性化関数のランダムに選択されたサブセットをゼロに設定するのではありません。ドロップコネクトは、レイヤーの出力ベクトルではなく重みにスパース性を導入することを除いて、モデルにスパース性を導入するという点でドロップアウトに似ています。2014 年、Srivastava と Hinton らは、ニューラルネットワークのオーバーフィッティングの問題に対するドロップアウトについて詳しく説明し、当時使用されていた他の正則化手法よりも大幅に改善されていることを証明しました。経験的な結果は、ドロップアウトが多くのベンチマークデータセットで優れた結果を達成することも示しています。2014 年に Srivastava と Hinton らによる論文が発表されて以来、Dropout はさまざまな研究で支持されています。バッチ正規化 (BN) が提案される前は、Ioffe & Szegedy が 2015 年にバッチ正規化 (BN) テクノロジを提案するまで、ドロップアウトはすべての最適なネットワークのほぼ標準的な構成でした。正規化項の形でベースラインレベルを改善します。そのため、バッチ正規化は最近のほとんどすべてのネットワークアーキテクチャで使用されており、その強力な実用性と効率性を示しています。

5.10 深層学習

ディープラーニングは、機械学習の最も重要な分野と見なすことができます。2006 年はディープラーニング元年として知られています。2006 年、Jeffrey Hinton と彼の学生である Ruslan Salakhdinov は、ディープラーニングの概念を正式に提案しました。ジェフリー・ヒントンはディープラーニングの父としても知られています。2015年、世界最高峰の学術誌「ネイチャー」に掲載された記事で、ジェフリー・ヒントンらは「勾配消失」問題の詳細な解決策を示しました - 教師なし学習法による層ごとのアルゴリズムのトレーニング、そして教師あり逆伝播アルゴリズムの使用チューニング用。この深層学習手法の提案は、たちまち学界に大きな反響を呼び、スタンフォード大学やトロント大学に代表される世界的に有名な大学の多くが、深層学習の関連研究に膨大な人的資源と資金を投じてきました。その後、産業界に急速に広まりました。2019 年 3 月 27 日、ACM (American Association for Computing Machinery) は、深層学習における卓越した貢献により、「深層学習の 3 人の巨人」として知られる Yoshua Bengio、Yann LeCun、および Geoffrey Hinton が共同で 2018 年に優勝したことを発表しました。図 1966年にチューリング賞が創設されて以来、3人の受賞者が出たのは珍しい年です。

2012 年、有名な ImageNet 画像認識コンテストで、Jeffrey Hinton が率いるチームがディープラーニングモデル AlexNet を使用して一挙に優勝しました。同年、有名なスタンフォード大学の Ng Enda 教授と世界トップのコンピューター専門家 Jeff Dean が共同で率いるディープニューラルネットワークである DNN 技術は、画像認識の分野で驚くべき成果を達成し、エラー率を 26% から削減することに成功しました。 ImageNet 評価で 100% に 15%。世界競争における深層学習アルゴリズムの出現により、学界と産業界は深層学習の分野に再び注目を集めています。

深層学習技術の継続的な進歩とデータ処理能力の継続的な改善により、2014 年に、深層学習技術に基づく Facebook の DeepFace プロジェクトは、顔認識で 97% 以上の精度を達成しました。人間の認識に違いはありません。この結果は、深層学習アルゴリズムが画像認識に最適であることを改めて証明しています。

コンピューター科学者で心理学者のジェフリー・エベレスト・ヒントン(Geoffrey Everest Hinton)は、「ニューラルネットワークの父」「ディープラーニングの創始者」として知られています。彼は、機械学習、記憶、知覚、および記号処理にニューラルネットワークを使用する方法を研究しており、これらの分野で 200 以上の論文を発表しています。彼は、バックプロパゲーションアルゴリズム (バックプロパゲーション) を多層ニューラルネットワークのトレーニングに導入した学者の 1 人であり、ボルツマンマシンも共同で発明しました。彼のニューラルネットワークへのその他の貢献には、分散表現、時間遅延ニューラルネットワーク、専門家の混合、ヘルムホルツマシンなどがあります。

1970 年、ヒントンはイギリスのケンブリッジ大学で実験心理学を専攻して文学士号を取得し、1978 年にはエディンバラ大学で人工知能を専攻して哲学博士号を取得しました。ヒントンはその後、サセックス大学、カリフォルニア大学サンディエゴ校、ケンブリッジ大学、カーネギーメロン大学、ユニバーシティカレッジロンドンで働いてきました。2012 年、ヒントンはカナダのキラム賞 (キラム賞、「カナダのノーベル賞」として知られる同国の最高の科学賞) を受賞しました。ヒントンは、機械学習の分野におけるカナダの主任研究者であり、カナダ高等研究所が後援する「ニューラルコンピューティングと適応的知覚」プロジェクトのリーダーであり、計算神経科学のためのギャツビーセンターの創設者であり、現在は学部の教授です。トロント大学でコンピューターサイエンスの博士号を取得しています。

5.11 残差ネットワーク (ResNet)

Residual Network (ResNet) は、2015 年の ImageNet 大規模視覚認識コンテスト (ImageNet Large Scale Visual Recognition Challenge 、ILSVRC) の画像分類とオブジェクト認識。残差ネットワークの特徴は、最適化が容易で、かなりの深さを追加することで精度を向上できることです。その内部残差ブロックはスキップ接続を使用しており、ディープニューラルネットワークの深さが増すことによって生じる勾配消失の問題を軽減します。

残差ネットワークの主唱者である He Kaiming は、2003 年の広東省科学大学入試でトップの成績を収め、清華大学の基礎科学クラスで学び、香港中文大学の大学院生として学びました。2011 年に博士号を取得した後、マイクロソフトリサーチアジア (MSRA) に参加しました。彼の主な研究の方向性は、コンピュータービジョンとディープラーニングです。現在、Facebook AI Research (FAIR) に勤務

彼の論文 Deep Residual Networks (ResNets) は、2019 年に Google Scholar Metrics のすべての分野で最も引用された論文でした。ResNets のアプリケーションには、言語、音声、および AlphaGo も含まれます。

5.12テンソルフロー

TensorFlow は、データフロープログラミングに基づく記号数学システムです。さまざまな機械学習アルゴリズムのプログラミングで広く使用されています。その前身は、Google のニューラルネットワークアルゴリズムライブラリ DistBelief です。2015 年 11 月 9 日以降、TensorFlow は Apache 2.0 オープンソースライセンスの下でオープンソース化されています。TensorFlow はマルチレベル構造を持ち、さまざまなサーバー、PC 端末、Web ページに展開でき、GPU と TPU の高性能数値計算をサポートしており、Google の社内製品開発やさまざまな分野の科学研究で広く使用されています。TensorFlow は、Google の人工知能チームである Google Brain によって開発および維持されており、TensorFlow Hub、TensorFlow Lite、TensorFlow Research Cloud、およびさまざまなアプリケーションプログラミングインターフェース (アプリケーションプログラミングインターフェース、API) を含む複数のプロジェクトがあります。

TensorFlow の Tensor (テンソル) は無限のデータを表し、Flow はノード、プロセス、処理を表します。脳内で疾走する神経信号のように、TensorFlow は人工脳をシミュレートします。TensorFlow カーネルは、畳み込みニューラルネットワーク、GPU を使用した逆伝播アルゴリズム、クロスエントロピーなど、一連のディープラーニング手法を定義します。ニューラルネットワークの各層は 1 つまたは複数の方法にマッピングでき、他の深層学習アルゴリズムを拡張するのに便利です. 同時に、アーキテクチャは、基礎となる特定のコンピューターハードウェアに関係なく、高性能コンピューターシステムでの作業に適しています. .

TensorFlow は、LSTM ニューラルネットワークを利用して入力シーケンスを多次元シーケンスにマッピングし、別の LSTM ニューラルネットワークを使用して多次元シーケンスから出力シーケンスを生成できます。入力シーケンスが英語で出力シーケンスが中国語の場合、TensorFlow はインテリジェントな翻訳システムを形成し、入力シーケンスが質問で出力シーケンスが回答の場合、TensorFlow は Siri を形成し、入力シーケンスが画像の場合、出力シーケンスはテキストで、TensorFlow は画像認識システムを構成します。if は他にもたくさんあるので、TensorFlow には無限の可能性があります。

5.13 オープン AI

OpenAI は、多くのシリコンバレーの大物が共同で設立した人工知能の非営利組織です。2015 年、マスク氏をはじめとするシリコンバレーのテクノロジー界の大物たちは、継続的な対話を行い、共同で OpenAI を作成することを決定しました。これは、人工知能の壊滅的な影響を防ぎ、人工知能が積極的な役割を果たすよう促進することを望んでいました。Tesla Electric Vehicle Company と SpaceX の創設者である Musk、Y Combinator の社長である Altman、エンジェル投資家の Peter Thiel をはじめとするシリコンバレーの巨人たちは、2014 年 12 月に OpenAI に 10 億ドルを投入することを約束しました。

OpenAI の使命は、高度に自律的で、経済的価値のあるほとんどのタスクで人間をしのぐシステムである汎用人工知能 (AGI) が、すべての人間に利益をもたらすことを保証することです。共通の利益に沿った安全な汎用人工知能を直接構築することを望んでいるだけでなく、他の研究機関がそのような汎用人工知能を共同で構築してその使命を達成するのを喜んで支援します。

5.14 ソフィアロボット（ソフィア）

香港のハンソンロボティクスによって開発されたヒューマノイドロボット、ソフィアは、市民権を付与された史上初のロボットです。ソフィアは人間の女性のように見え、ラバースキンと 62 以上の表情を表示する能力があります。ソフィアの「脳」のコンピューターアルゴリズムは、顔を認識し、人々とアイコンタクトを取ることができます。

2016 年 3 月、ロボットデザイナーの David Hanson によるテストで、人間に非常によく似たヒューマンロボットであるソフィアは、学校に通い、家族を持ちたいという願望を明らかにしました。ソフィアは人間の女性のように見え、ゴムの肌と多くの自然な表情を使うことができます. ソフィアの「脳」のコンピューターアルゴリズムは、顔を認識し、人々とアイコンタクトを取ることができます。ソフィアの皮膚はフラバーと呼ばれる可鍛性のある素材でできており、その下にはたくさんのモーターがあり、笑顔などのアクションが可能です。さらに、ソフィアは言語を理解し、顔を含む人間とのやり取りを覚えています。時間が経つにつれて、ますます賢くなります。「その目標は、人間と同じ意識、創造性、その他の能力を持つことです」とハンセンは言いました。

2017 年 10 月 26 日、サウジアラビアは、香港に本拠を置くハンセンロボティクスによって製造されたロボット、ソフィアに市民権を付与しました。歴史上初めて市民権を取得したロボットとして、ソフィアはその日サウジアラビアで、人工知能を使用して「人間がより良い生活を送るのを助ける」ことを望んでいると語った.人間はロボットを恐れる必要はない.まあ、私はあなたをよく扱います。」 .

5.15 アルファ碁 (アルファ碁)

AlphaGo は囲碁の人工知能プログラムです。その主な動作原理は「深層学習」です。「深層学習」とは、多層化された人工ニューラルネットワークとそれらをトレーニングする方法を指します。ニューラルネットワークの層は、入力として多数の行列番号を取り、非線形活性化法によって重みを取り、出力として別のデータセットを生成します。これはまさに生物の神経脳の働きのメカニズムに似ており、人間が物体を認識して絵に印を付けるのと同じように、適切な数のマトリックスを介して多層の組織がリンクされ、正確で複雑な処理を行うニューラルネットワーク「脳」を形成します。これは、人間のプロの囲碁棋士を打ち負かした最初の人工知能ロボットであり、囲碁の世界初のチャンピオンであり、Google (Google) 傘下の DeepMind 企業である Demis Hassabis が率いるチームによって開発されました。その主な動作原理は「深層学習」です。

2016 年 3 月、AlphaGo は、囲碁の世界チャンピオンでプロ 9 段の囲碁棋士である Li Shishi と、合計 4 対 1 のヒューマンマシンバトルで競い合い、2016 年末と 2017 年の初めに、このプログラムは上場されました中国のチェスのウェブサイトで「達人」として. ) は、登録されたアカウントを使用して、中国、日本、韓国の数十人の囲碁の達人と対戦し、60 ラウンド連続で負けることなく、2017 年 5 月に Ke Jie と対戦しました。中国の烏鎮で開催された囲碁サミットで、合計スコア 3-0 で世界一の囲碁チャンピオンになりました。AlphaGo のチェスの強さは、人間のプロ囲碁のトップレベルを上回っていることが囲碁界で認められており、GoRatings のウェブサイトが公開している世界のプロ囲碁ランキングでは、そのレベルのスコアは、人間のプロ囲碁第 1 位の Ke Jie を上回っています。

2017 年 5 月 27 日、Ke Jie と AlphaGo の間のマンマシンバトルの後、AlphaGo チームは AlphaGo が囲碁大会に参加しないことを発表しました。2017 年 10 月 18 日、DeepMind チームは AlphaGo の最強バージョン、コードネーム AlphaGo Zero を発表しました。

古いバージョンの AlphaGo は、主にいくつかの部分で構成されています: 1. ポリシーネットワーク (ポリシーネットワーク)、現在の状況を考慮して、次の動きを予測してサンプリングします; 2. 高速ロールアウト (高速ロールアウト)、目標はポリシーと同じですネットワークですが、チェスの動きの質を適切に犠牲にするという条件の下では、速度は戦略ネットワークよりも 1000 倍高速です; 3. バリューネットワーク (Value Network)、現在の状況を考えると、白の勝利または白の確率が推定されます。黒の当選率が高い 4.モンテカルロ木探索（Monte Carlo Tree Search）は、上記の4つの部分を接続して完全なシステムを形成します。AlphaGo は、2 つの異なるニューラルネットワークの「頭脳」の協力により、チェスのゲームを改善します。これらの「脳」は、Google の画像検索エンジンが画像を認識するために使用するものと構造が似ている多層ニューラルネットワークです。それらは、画像分類器ネットワークが画像を処理するのと同じ方法で囲碁盤の配置を処理するために、ヒューリスティック 2D フィルターの複数のレイヤーから始まります。フィルタリング後、完全に接続された 13 のニューラルネットワーク層が、見た位置に関する判断を下します。これらのレイヤーは、分類と論理的推論が可能です。

AlphaGo Zero と名付けられた AlphaGo の新しいバージョンは、以前のバージョンに基づいており、何百万人もの人間の囲碁エキスパートのゲーム記録と、自己トレーニングのための強化学習を組み合わせています。旧バージョンとの最大の違いは、人間のデータが不要になったことです。つまり、最初から人間のチェスの記録にさらされたことはありません。研究開発チームは、チェス盤で自由にチェスをプレイさせ、その後は自動でプレイさせました。

AlphaGo チームリーダーの David Silva (Dave Sliver) によると、AlphaGo Zero は新しい強化学習方法を使用して自分自身を教師に変えます。システムは最初、囲碁が何であるかさえ知りませんでした。単一のニューラルネットワークから開始し、ニューラルネットワークの強力な検索アルゴリズムによってセルフプレイを実行しました。セルフプレイが増加するにつれて、ニューラルネットワークは徐々に調整され、次のステップを予測する能力が向上し、最終的にゲームに勝利します。さらに、トレーニングの深化に伴い、AlphaGo チームは、AlphaGo Zero が独自にゲームのルールを発見し、新しい戦略を開発し、古代の囲碁ゲームに新しい洞察をもたらすことを発見しました。

AlphaGo Zero は単一のニューラルネットワークのみを使用します。以前のバージョンでは、AlphaGo は次の動きを選択するために「戦略ネットワーク」を使用し、各動きの勝者を予測するために「価値ネットワーク」を使用していました。新しいバージョンでは、2 つのニューラルネットワークが 1 つに結合され、トレーニングと評価をより効率的に行うことができます。同時に、AlphaGo Zero は高速でランダムな動きを使用しません。以前のバージョンでは、AlphaGo はクイックムーブメソッドを使用して、現在の状況からどちらのプレーヤーがゲームに勝つかを予測していました。代わりに、新しいバージョンは高品質のニューラルネットワークに依存してチェスの位置を評価します。

AlphaGo のメインデザイナーである Demis Hassabis (デミスハサビス) は、人工知能の起業家であり、DeepMind Technologies の創設者であり、「AlphaGo の父」として知られています。4 歳でチェスを始め、8 歳で独学でプログラミングを学び、13 歳でチェスマスターの称号を獲得しました。17 歳のときにケンブリッジ大学に入学し、コンピューターサイエンスを学びました。大学では、彼は囲碁を学び始めました。2005年、ユニバーシティ・カレッジ・ロンドンに入学し、神経科学の博士号を取得し、研究対象として脳の海馬を選びました。2年後、海馬の損傷による健忘症患者5人も未来を想像するのに障害があることを証明し、この研究によりサイエンス誌の「ブレイクスルー賞」に選ばれました。2011 年に DeepMind Technologies を設立し、「Solving Intelligence」を会社の最終目標として掲げました。

5.16 連合学習

連合学習 (共同学習とも呼ばれます) は、2016 年に Google によって最初に提案された機械学習手法であり、データサンプルを交換せずにローカルデータサンプルを保持する複数の分散エッジデバイスまたはサーバーでアルゴリズムをトレーニングします。このアプローチは、すべてのデータサンプルを単一のサーバーにアップロードする従来の集中型機械学習手法や、ローカルデータサンプルが同じように分散されていると仮定する従来の分散型アプローチとはまったく対照的です。

連合学習により、複数の参加者がデータを共有することなく共通の強力な機械学習モデルを構築できるため、データのプライバシー、データセキュリティ、データアクセス権、異種データへのアクセスなどの重要な問題を解決できます。そのアプリケーションは、防衛、電気通信、IoT、製薬などのさまざまな業界で見られます。

フェデレーテッドラーニングは、もともと Android 携帯電話のエンドユーザーがローカルでモデルを更新する際の問題を解決するために使用されていました.その設計目標は、ビッグデータ交換中の情報セキュリティの確保、端末データと個人データのプライバシーの保護、および法令順守の確保です.パーティまたは複数のコンピューティングノード間。その中でも連合学習で利用できる機械学習アルゴリズムは、ニューラルネットワークに限らず、ランダムフォレストなどの重要なアルゴリズムも含まれています。連合学習は、次世代の人工知能協調アルゴリズムと協調ネットワークの基礎になると期待されています。

5.17 バート

BERT の正式名称は、Transformers の Bidirectional Encoder Representation であり、事前トレーニング済みの言語表現モデルです。BERT の論文 BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding が 2018 年に発行されました.これは、もはや従来の一方向言語モデルや 2 つの一方向言語モデルの浅い接合ではないことを強調しています.トレーニングの代わりに、新しいマスク言語モデル (MLM) を使用して、深い双方向言語表現を生成します。公開時、11のNLP（自然言語処理、自然言語処理）タスクで最先端の結果が得られたと言及され、唖然としました。

このモデルには、次の主な利点があります。

1) MLM を使用して双方向トランスフォーマーを事前トレーニングし、深い双方向言語表現を生成します。

2) 事前トレーニングの後、微調整のために追加の出力レイヤーを追加するだけでよく、さまざまなダウンストリームタスクで最先端のパフォーマンスを実現できます。このプロセスでは、BERT に対するタスク固有の構造変更は必要ありません。

BERT の本質は、大量のコーパスに基づいて自己教師あり学習法を実行することにより、単語の優れた特徴表現を学習することです. いわゆる自己教師あり学習とは、手動でラベル付けされていないデータに対して実行される教師あり学習を指します. 将来の特定の NLP タスクでは、タスクの単語埋め込み機能として BERT の機能表現を直接使用できます。したがって、BERTは、特徴抽出器としてのタスクに応じて微調整または修正できる、他のタスクの転移学習用のモデルを提供します。BERT のソースコードとモデルは、2018 年 10 月 31 日に Github でオープンソース化され、簡体字中国語と多言語モデルも 11 月 3 日にオープンソース化されました。

第6章次の10年を見据えて

人工知能、未来がやってきた。2015 年に、学者の Zhang Bo は、第 3 世代の人工知能システムのプロトタイプを提案しました。2017 年、米国防総省高等研究計画局 (DARPA) は、XAI プロジェクトを開始しました. 核となるアイデアは、解釈可能な機械学習システム、人間とコンピューターの相互作用技術、および解釈可能な心理理論の 3 つの側面から、解釈可能な AI システムを包括的に開発することです. . 2017 年以来、人工知能は 3 年連続で政府の作業報告に含まれています。

2019年、人工知能産業は「スローガン」と「パッケージコンセプト」の時代に完全に別れを告げ、着実な発展の軌道に乗りました。人工知能の技術と応用はさまざまな業界に上陸し始めており、人工知能の成果とシーンの実践は際限なく現れています。たとえば、NVDIA のオープンソース StyleGAN、Google の量子超越性に関する論文が正式に Nature に掲載され、ボストンダイナミクスのロボット犬 Spot が商品化されようとしています。警察など。これらの主要な出来事はすべて、人工知能技術がますます「現実的」になり、研究や実験にとどまるのではなく、人々の生活に入ってきたことを示しています。人工知能は、新しく承認された学部の専攻のリストに正式に含まれました。

感染症との世界的な闘いが続く2020年、人と人とのコミュニケーションが制限される中、人工知能への期待と責任はますます大きくなっています。情報収集、データ集約とリアルタイム更新、流行調査、ワクチン医薬品の研究開発、新しいインフラストラクチャの構築などの分野でその才能を示しています。同時に、新しいテクノロジーと新しいフォーマットが継続的に出現することで、世界の知恵を集め、世界経済の回復を助ける人工知能の力がますます顕著になっています。

2020 年 3 月 4 日、中央政府は、国家計画で明確に定義された主要なプロジェクトとインフラストラクチャの建設を加速するよう明確に指示しました.人工知能は、新しいインフラストラクチャのカテゴリに含まれています.産業転換と生産の再構築の新たなラウンド流通、交換、消費などの経済活動のあらゆる側面が、新しい技術、新しい製品、新しい産業を生み出します。

2020 年 8 月 5 日、国家標準化管理委員会、中国中央サイバースペース管理局、国家発展改革委員会、科学技術省、工業情報化省は共同で「国家新世代人工知能標準システム」。国家新世代人工知能標準システムの具体的な構築アイデアと構築内容が提案され、人工知能のアプリケーションシステムをさらに規制する人工知能標準開発方向のリストが添付されています国レベルで、その開発の方向性を明確にします。

未来は人工知能に属します。人工知能は私たち一人一人の生活に統合され、ユビキタスになるでしょう。どんな技術の発展にも山と谷があり、人工知能の発展も同じです。したがって、私たちは楽観的な態度を維持する一方で、理性も留保します。その役割を誇張しすぎず、やみくもに群衆に従いますが、正しく導き、着実に発展させてください。人工知能の利点を実際に引き出して、人間の生活を改善し、経済発展を後押しします。

参照:

Jie Tang、Jing Zhang、Limin Yao、Juanzi Li、Li Zhang、Zhong Su。ArnetMiner: アカデミックソーシャルネットワークの抽出とマイニング。知識発見とデータマイニングに関する第 14 回 ACM SIGKDD 国際会議の議事録 (SIGKDD'2008)。pp.990-998。
Haenlein M、Kaplan A. 人工知能の簡単な歴史: 人工知能の過去、現在、未来について [J]。カリフォルニアマネジメントレビュー、2019 年、61(4): 5-14。
Nick.「人工知能の簡単な歴史」[J].Popular Science Creation、2018 年。
Chen Zongzhou.「AI Legend-Popular History of Artificial Intelligence」[J].Popular Science Creation、2018 年。
Shi Zhongzhi. Advanced Artificial Intelligence[M]. Science Press, 2011.
Gu Xianfeng. 人工知能の歴史のレビューと開発状況[J]. Nature Magazine、2016、38(003):157-166.
https://www.aminer.cn/ai-history
https://tech.sina.com.cn/roll/2020-07-16/doc-iivhvpwx5735932.shtml
http://www.samr.gov.cn/samrgkml/nsjg/bzjss/202008/t20200805_320544.html
https://en.wikipedia.org/wiki/Artificial_intelligence
https://en.wikipedia.org/wiki/History_of_artificial_intelligence
http://sitn.hms.harvard.edu/flash/2017/history-artificial-intelligence/
https://www.livescience.com/47544-history-of-ai-artificial-intelligence-infographic.html
http://courses.cs.washington.edu/courses/csep590/06au/projects/history-ai.pdf
https://www.aai.org/ojs/index.php/aimagazine/article/view/1904/1802
https://www.technologyreview.com/s/602830/the-future-of-artificial-intelligence-and-cybernetics/
http://www.bbc.com/future/story/20170307-the-ethical-challenge-facing-artificial-intelligence
https://qz.com/1307091/the-inside-story-of-how-ai-got-good-enough-to-dominate-silicon-valley/
https://zh.wikipedia.org/wiki/AlexNet#cite_note-quartz-1
http://www.dpkingma.com/
https://en.wikipedia.org/wiki/Autoencoder
https://en.wikipedia.org/wiki/Generative_adversarial_network
https://en.wikipedia.org/wiki/Ian_Goodfellow
https://poloclub.github.io/ganlab/
https://www.technologyreview.com/2018/02/21/145289/the-ganfather-the-man-whos-given-machines-the-gift-of-imagination/
https://www.jianshu.com/p/efda7876fe1c
http://blog.itpub.net/29829936/viewspace-2217861/
http://www.techwalker.com/2017/1225/3102138.shtml
https://zhuanlan.zhihu.com/p/20350743
https://blog.csdn.net/cao812755156/java/article/details/89598410
https://blog.csdn.net/weixin_43624538/article/details/85049699
http://kaiminghe.com/
https://www.jiqizhixin.com/graph/technologies/1c91194a-1732-4fb3-90c9-e0135c69027e
https://www.openai.com/