1. SIGMOD機能
1.1機能の特性と利点
実際には、多くの場合、ロジスティック関数はシグモイド関数である、の形状がS字カーブ（Sカーブ）であることを特徴とします。
B + W 1 * X1 + W2 * X2：Zは、Zは等しくてもよい、例えば、の線形結合です。見られるG（z）の関数に大きな正または小さな負で置換することによって、結果が0または1になる傾向があります
ロジスティック関数またはロジスティック曲線は、一般的な「S」形状（シグモイド曲線）です。
すなわち、シグモイド関数の機能は、圧縮に0と1の間の実数に相当します。Zは、非常に大きな正の数、G（z）が1に近いとなり、そしてzが非常に小さい負である場合、次いで、G（z）が0に近いであろうとき
それは何を使用0-1に圧縮？我々はそのような活性化関数として出力「の確率的分類は、」それは陽性試料の90％確率として解釈することができ、0.9であるとみなす機能を活性化するために使用できるようにすることです。
利点：
1、（0,1）の間の出力シグモイド関数、限られた出力範囲、安定性の最適化は、出力層として用いることができます。
2、連続関数、簡単に導出。
1.2機能の欠点
シグモイドまた、独自の欠点を有しています。第二に、オフセット現象の活性化機能。0よりシグモイド関数の出力値の大きいので、平均出力は、入力として、非ゼロ平均信号の層の上に得られる後者の層ニューロンを引き起こす、ゼロではないことを、この勾配に影響を与えます。。
第三に、高い計算の複雑さは、シグモイド関数は指数関数的であるため。1.3 SIGMOD導出機能
SIGMOD導出プロセスが簡単で、手動で誘導することができます。
2.ソフトマックス関数
2.1ソフトマックス関数式と自然
ソフトマックス関数は、また、正規化された指数関数として知られています。これは、マルチ分類の推進に関するバイナリシグモイド関数は確率の形に表示するための多目的分類した結果です。次の図に示すソフトマックスの計算方法： 
下の絵は、理解を容易にします：
ソフトマックス関数ので最大値を生成する、各クラスのように確率の違いそのより重要な、分類に適用される正規化された確率分布、前、（指数関数で）入力ベクトルの要素間の差を広げます確率分布の形で出力が真の分布に近くなるように、1に近いです。
2.2Softmaxの機能を説明
ソフトマックスは、3つの異なる角度によって説明することができます。ソフトマックス関数では、さまざまな角度からその適用場面のより深い理解を得ることができます。
2.2.1最大のargスムーズな近似であります
最大力（発生選択する種のarg maxの近似値として平滑化、およびArg最大動作することがソフトマックスワンホットベクトル異なる）を、ソフトマックスは、いくつかのこの出力、ワンホットの、すなわち出力を平滑作ら他の場所に割り当てられている入力要素の最大値に対応する大きさに応じて1。
2.2.2確率分布を生成する正規化
指数分布族の基本的な形と一致ソフトマックス関数出力
これは 。
理解しにくい、ソフトマックス入力ベクトル正規確率分布があるカテゴリにマッピングされていない、 カテゴリの確率分布は、（また、前述）。深さ研究にMLPの最後の層として、クロスエントロピー損失関数（分布間の差の尺度）に沿って、多くの場合、ソフトマックス理由です。
2.2.3確率マップへの結合確率を生じませんでした
確率的グラフィカルモデルの観点から、このような形態は、ソフトマックスのように、図に同時確率の確率を理解することができます。だから、最大エントロピーモデルとソフトマックス回帰モデルの条件は、実質的に同一であるなど、多くのそのような例が、あることがわかります。確率的グラフィカルモデル理論が大きく、熱力学システムの一部を借りているので、あなたはまた、物理的なシステムの観点から、ある意味のソフトマックスを与えることができます。3.まとめ
•モデル出力が非相互排他的なカテゴリであり、同時に複数のカテゴリ、ネットワークを使用して計算生出力シグモイド関数の値を選択することができる場合。
•モデル出力する場合は、ネットワークを使用して、元の出力値ソフトマックス関数の計算相互に排他的なカテゴリであり、唯一のカテゴリを選択します。