メソッドのハイパーパラメータのチューニング
グリッド検索
検索範囲内のすべてのポイントを見つけることによって、最適な値を決定するには。大きな検索範囲とより小さなステップ場合は、グローバルな最適解を見つけるためのWeb検索の大きな可能性があります。しかし、この検索方式は計算コスト及び時間は、特に必要が経時より多くのチューニングパラメータであり、したがって、実際の応用では、グリッド検索方法は、典型的に広い探索範囲とステップサイズを使用しますグローバル最適な可能な位置を見つけるために、その後徐々に、より正確な最適値を見つけるために、検索範囲とステップサイズを狭くなります。この方式では、時間と必要な計算量を減らすことができますが、一般的な非凸目的関数では、グローバル最適を欠場する可能性があります。
ランダム検索
サンプルセットが十分な大きさであれば、あなたがグローバル最適、またはその近似により大きな確率ランダムサンプリングを見つけることができるという理論に。ランダム検索が一般的に高速グリッド検索よりもなりますが、検索グリッドと同じの迅速なバージョンが、その結果は保証されません。
ベイジアン最適化アルゴリズム
グリッド検索とランダム探索は無視する前にポイントを情報の新しいポイントをテストするときに、ベイジアン最適化アルゴリズムは、前の情報をフルに活用しています。目的関数の形状を学習することにより、ベイジアン最適化アルゴリズムは、全体的な機能を強化するために、目的関数の最適値を見つけます。先験的を更新するために、この情報の目的関数を用いて、目的関数に新しいテストサンプルを使用して、その都度、具体的には、目標関数の形状を学習する方法は、最初の事前分布に応じて収集機能と仮定されています分布;最後に、テストアルゴリズムの事後分布は、グローバルに最も可能性の高い場所の最大値が与えられます。
ベイジアン最適化アルゴリズムの場合には、局所最適値が検出されると、局所最適に陥るのは簡単ですので、それは、地域でサンプリングを継続することに留意すべきです。これを補償するには、ベイジアン最適化アルゴリズムは、検索と利用のバランスを見つけるために、「検索」まだサンプリングされていない地域でのサンプリングポイントを取得することであり、「使用は」最も可能性の高い後の事後分布に基づいていますサンプリングされたグローバル値の最も面積。