NeurIPS 2018ベイズ学習
2018年12月21日
よる雷鋒ネットワークAIテクノロジーレビュー：ニューラル情報処理システム会議（NeurIPS）は、最も有名な学会人工知能の一つであり、NeurIPS 2018は 8に、最後の12月3日、カナダのモントリオールで開催されました。Zighra.comからチーフサイエンティストのデータは、会議に出席した後、参加者は次のようにAIテクノロジーレビューをまとめてコンパイルベイズ学習雷鋒ネットワーク上の要約記事を書きました。
会議は、ほとんど私を魅了いくつかの非常に興味深い基調講演は、教授のマイケル・レビンについて話しているがあり、すべての講義の放送ライブビデオコンテンツを加えて、NeurIPS Facebookページ上で見つけることができますNeurIPSホームページをサポートしています神経系外の生物学的コンピューティングパワー、オリジナル認知及び全体的な形態。同様に注目すべきその他、教授ジョエル・ピノートピック：再利用可能な、再利用可能と強化学習の強化、デイビット・スピーゲルホールタートピック：信頼できるアルゴリズム、およびクンル・オルコトゥントピック：ソフトウェアバージョン2.0のコンピュータシステム用に設計されました。議論するために非常に興味深いセミナーもあり、分子物理学や材料の分野で機械学習の適用が。
私は主に、最新の動的なベイズ推定と機械学習や人工知能の分野での応用のためにNeurIPS2018心配です。予想通り、6日間の会議、ベイジアン研究70件の以上の記事まで、関連する論文。およそ教授デビッドDunson ベイズ推論REVIEWのスケーラビリティが非常に便利。このチュートリアルでは、大規模なデータセットを分析するためのベイズ統計的方法を使用し、最新の方法の概要を説明します。高速パラレル（EP）MCMC、MCMC近似、確率的近似を、混合、サンプリングおよびモジュラーを最適化するために教授Dunsonは、例えば、単純なマルコフ連鎖モンテカルロ（MCMC）アルゴリズムを論じた従来の方法を拡張しました。これらの方法は、広告、ゲノミクスおよび神経科学コンピューティングの分野で適用されています。
二つの関連セミナーやベイズ推定があります。一つは、ベイジアン深い学習、その他があるノンパラメトリックベイズ推定、現在の研究の非常に活発な分野です。
口頭とポスターは、理論と機械学習への応用の進歩など、ベイズ推定のいくつかの側面をカバーしています。被覆されたトピックは、深ベイズ学習、ベイズ強化学習、ベイズ最適化、歪み推定、変動オートエンコーダ、マルコフ連鎖モンテカルロ法（MCMC）方法、又は員を学習する学習同定を含みます科学、差動プライバシー、おおよそのベイズ法、及びベイジアンネットワークで知られています。このシリーズは、機械学習と人工知能におけるベイズ法のテーマの重要性を示しています。
私は、完全なプレゼンテーション/ポスターは会議論文NeurIPS2018ページのリストで見つけることができ、ここで私の発見は興味深い講演/パネルの一部を要約します。
検索の最適化との最適な送信に基づくベイズ神経のアーキテクチャ
この作品では、著者らは、神経のアーキテクチャのための検索をガウス過程に基づくベイズ最適化フレームワークであるNASBOTを、開発しました。著者は、効果的プログラムを通じて、最適な伝送を計算することができ、ニューラルネットワークアーキテクチャの空間での距離計量を示唆しています。
ニューラルネットワークベイジアンネットワーク構造学習の深さの構築
著者は、教師なしニューラルネットワーク構造学習の深さの原則を説明しています。入力分布は、ネットワーク構造内の条件付き独立階層符号化され、前記ネットワークは、本質的にの深さを決定することができるように、それらは、層間接続と深さの新しい解釈を提案しました。ニューラルネットワーク構造学習問題のこの方法は問題ベイジアンネットワーク構造学習のための暗示します。
学習の深さを説明するためのモデル - ノンパラメトリックベイズアプローチ
この研究において、著者らは、弾性ハイブリッドモデルを複数有するベイジアンノンパラメトリック回帰ネットワークを追加する新しい技術的アプローチを提案します。モデルは、グローバルターゲットモデルによって理解一般的な抽出を近似することができる混合を促進使用。
ベイズ学習対決
標準は、強力な最適化問題であるとして、対立攻撃にニューラルネットワーク脆弱方法守備の深さ。この記事では、に対して推定するデータから生成された最悪の場合の損失分布の点の生成を最小にすることです。この作品は、敵対分布データ生成が対立のデータ生成処理の不確実性を説明するために割り当てられている堅牢なベイズ学習、として知られている新しい強力なトレーニングの枠組みを提示します。
ベイズ分布確率的勾配降下
この作品は、並列クラスタ上の深さでニューラルネットワークを訓練するためのハイスループット方法について説明します。事後予測推定を計算する関節時間勾配を実行した後に、クラスタ固有の方法少量を計算するために共有均等推論モデルを生成するのに使用されるアルゴリズム。具体的には、最適な割り込み（カットオフ）を選択することで、容易にするための勾配に基づいて、同時最適化アルゴリズムは、アルゴリズムの問題点をドロップアウト。
メタ学習ベイズモデルは不明
本論文では、小規模なデータセットから学習するための新しいベイズモデルにとらわれない元の学習方法を提案します。勾配学習および原則フレームワークに組み込まれたノンパラメトリック員変分推論確率の元の方法。
平均米国とその環境規制：ベイズ統計のアカウント
人間が（例えば顔など）、高次元の物体の美しさは、認知科学とAI / ML中で重要な課題である知覚する方法を学びます。文学、心理学から知られている、顔の魅力の人間の評価は、環境に依存しています。この論文では、オブジェクトの下部符号化コストは、特にときにオブジェクトの高いその知覚統計的代表、人間の嗜好が増加する場合、と仮定し、この一貫性のあるコーディングバーロー仮定を画期的。
標準ベイズ推定のプレゼンテーションからタスクの時間
プレゼンテーションの前にタスクを表示するときに、人間弟子がタスクを実行する、実際に専門知識を得ることができます前に、与えられたタスクは、正しく行われていることを知ることができるようになります。著者らは、時相論理式として確率モデル推論タスク仕様であるベイズ推論インデックスを、提案します。推論ベースのサンプリングをサポートするために、彼らの前を定義するために一緒にドメイン独立尤度関数を結合する確率をプログラムする方法。
おおよそのベイズサドルポイント計算によって予測
尤度関数は、取り扱いが困難である場合、近似ベイズ計算（ABC）が重要な方法、ベイズ推論です。この記事では、著者は、従来の方法の欠点に対処し、最適化ベースのABCのフレームワークについて説明します。発電機モデルとマッチングの事後結合分布を使用して、著者らは示し、ABCは鞍点問題として定義することができる、標的試料は直接アクセスすることができます。
多くの専門家の強化学習：ベイズモデルの組み合わせ方法
この記事では、著者ベイズモデルは、より多くの専門家と組み合わせるので、どのように学習の学習過程における専門家の良い組み合わせを信頼します。
変分ベイズ斯蒙特卡罗
ホット確率モデルを学習科学技術計算や機械の多くは、要求勾配や大尤推定、非常に困難です。ここで著者は、変分ベイズ斯蒙特卡罗（VBMC）と推論新しいサンプルフレームワークを紹介します。アクティブサンプリングのためのガウスベイズ統合に基づいてVBMC変推定処理は、後者の効果不可欠な変分近似は、ターゲットを見つけることは困難です。
ガウス確率的勾配深度モンテカルロ推定手順ハミルトニアン
（DGPの）深さガウス過程は、多層モデルの不確実性が十分に較正されている推定された高感度を兼ね備え、階層プロモーションガウス過程、です。これらのモデルが直面する最大の課題の1つは、正確な推論が対処することは困難であるです。この研究において、著者らは、非ガウス後方の性質、及びそれらの確率的勾配ハミルトニアンモンテカルロ法は、事後分布からサンプルを生成するという証拠を提供します。
アルゴリズムは保証します：アクティブな方法を行ったベイジアン最適化アルゴリズムのテストを使用します
この作品では、著者は、このアルゴリズムは、テストマシンがその意図した設計目標の遵守のアルゴリズムの質問に学習することを保証し紹介しています。著者は、これは高価なタスクの最適化のブラックボックス機能で数学的に表現しました。彼らは、最適化問題能動学習ベイズ最適化を解決するために使用されます。
離散緩和変分推論扱いやすいと連続変数
著者は、彼らがの対数尤度（証拠）下限（ELBO）のクロネッカー行列代数効率的に正確な計算を使用し、すなわち、先験的離散潜在変数、新しい方向変分ベイズ推定を探ります。これは、ハードウェアの制約のあるデバイスで高速な推定を可能にする試験サンプルと低まばらな量子化精度の整数をもたらしました。
ワッサー変分推論
この記事では、最適な送信のおおよそのベイズ推論の理論に基づく新しいフォームワッサー変分推論を、説明しています。ワッサー変分推論距離ワッサーF-発散を含み、かつ特殊なケースとして、新しい部署を使用。この技術は、非常に安定したトレーニング方法は、暗黙の確率分布および手順を使用することができる生成します。
潜在的な部分空間変自動エンコーダを学びます
潜在的な空間表現を学習自動エンコーダ（VAE）を用いて説明することがしばしば困難で変化。VAEの生成されたモデルに基づいて、バイナリデータタグに関連する特徴を抽出することが可能であり、その潜在的な部分空間を構成しやすく表現を提案しました。
自動エンコーダ変ための図分子設計上の制約
同時に化学的用途を重視し、著者は観察学習データの分布に合わせて生成された学習のタスクグラフを探ります。彼らは、エンコーダおよびデコーダは、図1の構造である変分モデル自動エンコーダを提案しました。彼らは、実質的に潜在空間の形状を利用して、モデルが最良の所望の特性（部分）分子中に設計することができる、ことを示しています。
私はここNeurIPS2018で発表されたベイズ推定上の他のいくつかの重要な仕事を省略することができます。これは私の個人的な選択であるが、彼らは私がある程度での会議で提出されない場合があります論文やポスターの何百ものに気づきました。読者は会議論文NeurIPS2018によって他の興味深い論文を検索することをお勧めします。
要するに、NeurIPS2018で発表されたベイズ推定上の仕事のリストは、機械学習とトピックの関連性の人工知能の時代に示します。昨年は、より良いアルゴリズムの面でベイズ事後密度推定値は、いくつかの重要な進歩を遂げているし、新しい分子やその他の問題を設計するためのモデルを学習からの深さの説明に適用されています。
経由：https://medium.com/datadriveninvestor/bayesian-research-in-neurips2018-319cdbca71e9