容量の概念

例：（1）y = a ₁ x + a ₂、a ₁、a ₂は任意の定数であり、明らかに無数の関数を表現できます。
（2）y = a ₁ x ² + a ₂ x + a ₃、a ₁、a ₂、およびa ₃は任意の定数であり、明らかに前の関数よりも多くの関数を表現できます。
関数が表現できる関数の数を容量と呼びます。注意が必要な概念があります。それは、関数が無限の数の関数を表現できるという意味ではなく、任意の関数を表現できるということです。上記（2）は（1）を表すことができますが、（1）は必ずしも（2）を表すとは限りません。
式が任意の精度で任意の関数を表すことができる場合、その式は普遍関数近似器です。
ニューラルネットワークには2つの未解決の問題があります。
（1）隠れ層に同じ数のニューロンがあるが構造が異なる2つのニューラルネットワークの場合、どちらがより大きな容量を持っているかは明確ではありません。
たとえば、ニューラルネットワークには3つの隠れ層があり、層1、2、および3のニューロンの数はそれぞれ100、200、および300です。もう1つには、それぞれ300と400の2つの隠れ層があります。2つのうちどちらがより大きな容量を持っているかは明らかではありません。
（2）実際的な問題に直面して、ニューラルネットワークの容量をどのように選択するかは明確ではありません。たとえば、隠れたニューラルネットワークの層の数と各層のニューロンの数。
ニューラルネットワークの容量は、過剰適合と過適合に密接に関連しています。一般的に言えば、ニューラルネットワークの容量が大きいほど、過剰適合しやすくなります。ニューラルネットワークの容量が小さいほど、アンダーフィットしやすくなります。