ベイジアン深い学習

ベイズ式

ベイジアン深い学習

ベイジアンニューラルネットワークがどのように使用するには？

バイアスネットワークの重みは、ベイズのニューラルネットワークの重みが重く、オフセットサンプリングは、パラメータのセットを取得するために、前のように実行されてもよく、所望の非伝搬ベイジアンニューラルネットワーク（フィードフォワード）として、分散されていますその後、非ベイジアンニューラルネットワークとすることができます。

もちろん、我々は、複数のパラメータの組み合わせを得るために、複数のサンプリングの重量及び分布を相殺することができ、モデル結果のパラメータを変更するの微妙な影響は、ここで反射させることができます。これは多くの時間がより堅牢な結果に終わるサンプリングし、また、ベイズの深さの研究の利点の一つです。

どの電車にベイジアンディープラーニング

不確実性の深さを測定するためのベイズ学習

内容を知らないモデルは、多くの機械学習システムの重要な一部であることを理解。残念ながら、今日の学習アルゴリズムは、通常、不確実性の深さを理解することはできません。これらのモデルは、多くの場合、盲目的に常にではないが、正確であると仮定されます。このアルゴリズムは、不確実性のエラーのハイレベルの分布を予測することができる場合は、各システムは、より良い意思決定を行うことができて、そして潜在的にAVERT災害ている可能性があります。

画像の不確実性、高次元の入力映像を扱うことができない（ガウス過程など）の伝統的な機械学習方法を理解するために。効果的に高次元のデータを理解するためには、深さが学習する必要があるが、不確実性のシミュレート深度調査することは困難。ベイジアン深い学習（BDL）は、不確実性をモデル化するための綿密な学習フレームワークを提供します。

認知不確実性（認識論的不確実性）
認知不確実性が取得するためのトレーニング・セット指定されたモデルの不確実性を説明しています。提供することにより除去入手可能な不確実十分なデータは、また、モデルの不確実性（モデルの不確実性）と呼びます。

以下のアプリケーションのための不確実性の意識が不可欠である：
（1）セーフティクリティカルなアプリケーションでは、不確実性は、認知モデルの汎化能力を理解する鍵であり、
（2）学習データスパース小さなデータセットは、

随机不确定度（aleatoric uncertainty）
随机不确定度描述了关于数据无法解释的信息的不确定度。例如，图像的随机不确定度可以归因于遮挡、缺乏视觉特征或过度曝光区域等。这种不确定度可通过以更高精度观察所有解释性变量（explanatory variables）的能力来消除。

随机不确定度对下列应用至关重要：
（1）海量数据，此时认知不确定度几乎被完全消除；
（2）实时应用，取消蒙特卡罗采样（Monte Carlo sampling），用输入数据的确知函数（a deterministic function of the input data）表示随机模型（aleatoric models）。

随机不确定度可细分分为两个类：
（1）数据相关（data-dependant）不确定度或异方差不确定度（heteroscedastic uncertainty）：依赖于输入数据且模型输出为预测的随机不确定度。
（2）任务相关（task-dependant）不确定度或同方差不确定度（homoscedastic uncertainty）：不依赖于输入数据的的随机不确定度；对于所有输入数据，它为常量，但是在不同的任务之间变化；它不是模型输出，可用来描述依赖任务的不确定度。
————————————————
贝叶斯深度学习（Bayesian deep learning）是深度学习（deep learning）与贝叶斯概率论（Bayesian probability theory）的交叉领域，它给出了深度学习架构的不确定度评估原理（principled uncertainty estimates）。
It offers principled uncertainty estimates from deep learning architectures. These deep architectures can model complex tasks by leveraging the hierarchical representation power of deep learning, while also being able to infer complex multi-modal posterior distributions.

贝叶斯深度学习利用深度学习的层次表示（hierarchical representation power）对复杂任务进行建模，同时对复杂的多模态后验分布（multi-modal posterior distributions）进行推理。贝叶斯深度学习模型（Bayesian deep learning models）通过模型权重的分布（distributions over model weights），或学习直接映射输出概率（a direct mapping to probabilistic outputs）对不确定度进行估计。
————————————————


多任务学习的不确定度（uncertainty for multi-task learning）

通过共享表示（a shared representation）学习多个目标，多任务学习（multi-task learning）旨提高学习效率和预测精度。多任务学习对限制计算复杂度的系统至关重要。将所有任务合并到一个模型中能够减少计算量，允许系统实时运行（run in real-time）。

大多数多任务模型使用损失加权和训练不同的任务，其性能严重依赖于各子任务损失间的相对权值，权值调整极其困难，因而限制了多任务学习的应用。

由于同方差不确定度与输入数据无关，因此可将其解释为任务不确定度（task uncertainty），用来加权多任务学习模型的损失。

场景理解算法（scene understanding algorithms）必须能够同时理解场景的几何形状和其语义（多任务学习问题）。在深度感知问题中，由于多任务学习能够使用其它子任务（如语义分割）的线索（and vice versa），因此它提高了深度感知的平顺性和准确性。

贝叶斯深度学习和深度学习的区别

在深度学习的基础上把权重和偏置变为 distribution 就是贝叶斯深度学习。

贝叶斯深度学习还有以下优点：
（1）贝叶斯深度学习比非贝叶斯深度学习更加 robust。因为我们可以采样一次又一次，细微改变权重对深度学习造成的影响在贝叶斯深度学习中可以得到解决。
（2）贝叶斯深度学习可以提供不确定性（uncertainty），非 softmax 生成的概率。详情参见 Deep Learning Is Not Good Enough, We Need Bayesian Deep Learning for Safe AI。

挑战

1，实时认知不确定度（real-time epistemic uncertainty）
2，贝叶斯深度学习的基准（benchmarks for Bayesian deep learning models）：如何定量测量不确定度（measure the calibration of uncertainty）
3，描术多模型分布的推理技术（better inference techniques to capture multi-modal distributions）

文献：
私たちは、コンピュータビジョンのためのベイズ深い学習に必要なのかどう不確かA.ケンドール＆Y.ギャル、？、2017
シーンジオメトリの損失を計量するために不確実性を使用してA.ケンドール、Y.ギャル＆R. Cipolla、マルチタスク学習とセマンティクス、2017
----------------
链接：[1]：HTTPS：//alexgkendall.com/computer_vision/bayesian_deep_learning_for_safe_ai/
[2]：https://www.cnblogs.com /wuliytTaotao/p/10281766.html
[3]：https://blog.csdn.net/zhaoyin214/article/details/90231491